Domänspecifik maskinöversättning för framtida flygkommunikation : Utvärdering av Quantized Low-Rank Adaptation och Retrieval Augmented Generation tekniker
Year: 2024
Type: dissertation
Abstract: Denna studie undersöker maskinöversättning för Brevity Code inom militär flygkommunikation med hjälp av den anpassade open-source språkmodellen ‘Qwen-32B-Chat’. Studien fokuserar på att evaluera effekten av Quantized Low-Rank Adaptation (QLoRA) fine-tuning och Retrieval Augmented Generation (RAG) för att generera korrekta översättningar, samt att bedöma om BERTScore är ett tillförlitligt mått jämfört med mänsklig bedömning. Studien analyserade fyra varianter av den anpassade språkmodellen ‘Basmodellen’, ‘RAG’, ‘Finetuned’, och ‘RAG + Finetuned’, och utvärderade deras prestanda baserat på precision, recall och F1-mått. Alla tre justerade modeller visade förbättringar jämfört med basmodellen, där Finetuned-modellen hamnade överst på BERTScore-listan. Mänsklig utvärdering avslöjade dock att modeller med högsta BERTScore sällan föredrogs av mänskliga bedömare. Det understryker också vikten av att kombinera automatiserade mått som BERTScore med mänskliga bedömningar för att få en heltäckande bild av språkmodellens översättningsprestanda.
Source: DiVA (Linkoping University)
Author: Ladjarov, Artur
Language: Swedish
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
Funder: Linköpings Universitet
OpenAlex ID: W6990595559