Get started
Work

Large Language Model Techniques for Ensuring Consistent Code Evaluation in Software Auto-Grading Systems: A LangChain- and RAG-Based Approach

Year: 2025
Type: article
Abstract: 최근 교육 분야에서 대형 언어 모델(Large Language Models, LLMs)의 발전과 함께 AI 기반 코드 평가 시스템의 활용이 확대되고 있다. 본 논문은 LangChain과 RAG(Retrieval-Augmented Generation)을 활용하여 LLM 기반 코드 평가 서비스를 구축하고, 그 평가 방식의 차이와 성능을 비교·분석하는 것을 목적으로 한다. 이를 위해 LangChain 단독 모델과 LangChain+RAG 결합 모델을 구성하고 프롬프트 튜닝을 통한 평가 응답 최적화 수준 및 활용 가능성을 실험적으로 검토하였다. 또한, 코드 평가 기준에 따른 평가 응답의 일관성과 타당성을 분석하여 두 방식의 장단점을 비교하였다. 특히, RAG를 활용한 모델의 채점 방식과 체계적인 체인 구성 방법을 살펴보고, RAG 없이 프롬프트 튜닝만을 이용한 평가 수행 결과의 차이를 규명하였다. LLM으로 채점했을 경우 RAG와 컴파일링을 결합한 방식은 4개 문제 유형에서 총합 72점으로, 기본 LLM의 65점 보다 높은 평균 성능을 보였다.
DOI: 10.5392/jkca.2025.25.09.046
Authors: Jun-Hwi Moon, Won-Sun Shin, Hoe-Kyung Jung
Language: English
Open Access status: diamond
OpenAlex ID: W4415134279
FWCI:
Cites:
Cited by:
Related to: