Year: 2026
Type: article
Abstract: 저랭크 학습(Low-rank training)은 효율적인 심층 학습을 위한 핵심 전략임에도 불구하고, 모델의 표현력을 영구적으로 제약하고 ‘랭크 붕괴(Rank Collapse)’를 가속화한다는 근본적인 한계를 내포한다. 본 논문에서는 이를 해결하기 위해 동적 랭크 학습(Dynamic-rank training) 프레임워크를 제안한다. 제안된 기술은 모델이 저랭크 제약에서 일시적으로 벗어나 학습 잠재력을 완전히 회복할 수 있다는 직관을 기반으로 한다. 특히 학습률의 노이즈 구간(noise regime)에 맞춰 풀랭크 학습 단계를 전략적으로 도입함으로써 가중치의 유효 랭크와 모델의 표현력을 효과적으로 복원한다. 실험을 통해 본 기술이 저랭크 학습의 연산 효율성을 유지하면서도 풀랭크 모델과 유사한 정확도를 달성함을 입증했다.
Source: Journal of KIISE
Authors: Hyuntak Shin, Sunwoo Lee
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W4416168359
FWCI:
Cites:
Cited by:
Related to: