A Comparative Study on the Quantization Performance of Korean Large Language Models
Year: 2024
Type: article
Abstract: 트랜스포머(Transformer) 아키텍처 기반의 대규모 언어 모델(LLM: Large Language Models)은 자연어 처리 작업에서 매우 높은 수준의 성능을 보인다. 크기와 성능 효율성을 고려한 여러 모델이 개발되었으나, 여전히 모델 운용에는 많은 메모리 자원이 필요하기에 메모리 효율성을 고려한 모델의 경량화가 중요한 과제로 대두되고 있다. 기존 모델의 구조를 유지하면서 파라미터를 저정밀도 데이터 타입으로 변환하는 양자화는 메모리 사용량을 크게 줄일 수 있으며, 추가적인 훈련 없이도 적용할 수 있어 응용 프로그램 통합시 접근성과 효율성을 높여준다. 본 연구에서는 비트 앤 바이트(BitsAndBytes) 양자화 모듈을 활용하여 오픈소스 한국어 언어 모델을 경량화하고, 메모리 사용량과 성능을 비교하여 LLM의 효율적 운용 방안을 제시한다. 8비트 및 4비트 양자화를 통해 각각 평균 약 38%, 67%의 메모리 감소를 확인했으며, 언어 모델 평가 벤치마크에서 평균 성능 변화율이 5% 미만으로 나타나 양자화에 의한 성능 손실이 크지 않음을 확인했다. 또한, 메모리 사용량이 유사한 양자화된 대형 모델과 소형 모델의 성능을 비교한 결과, 13개 벤치마크 중 양자화된 대형 모델이 0-shot 9개, 5-shot 8개 항목에서 성능 우위를 보여, 대형 모델을 양자화하여 사용하는 것이 일반화 성능과 자원 효율성 측면에서 더 효과적임을 입증했다.
Authors: Yeon-Su Noh, Chul-Jin Kim
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: diamond
OpenAlex ID: W4403200951