Avoimen lähdekoodin kielimallien evaluointi agenttipohjaisen käyttötapaus- ja testitapausgeneraation kontekstissa
Year: 2026
Type: dissertation
Abstract: Ohjelmistokehityksessä vaatimusmäärittelyn muuntaminen käyttötapauksiksi ja testitapauksiksi on perinteisesti ollut aikaa vievä manuaalinen prosessi. Avoimen lähdekoodin kielimallien soveltuvuudesta tähän tehtävään on olemassa vain vähän systemaattista arviointitutkimusta. Opinnäytetyön tavoitteena oli tutkia avoimen lähdekoodin suurten kielimallien (LLM, 7–8 miljardia parametria) ja pienten kielimallien (SLM, 1–3 miljardia parametria) kykyä generoida käyttötapauskuvauksia ja Robot Framework -testitapauksia tekstuaalisista ohjelmistovaatimuksista. Tutkimuksessa sovellettiin kahden agentin arkkitehtuuria: uc_agent.py muunsi vaatimukset käyttötapauksiksi ja rf_agent.py tuotti näistä Robot Framework -testitapaukset. Tutkimus toteutettiin kokeellisena kehittämistutkimuksena, jossa evaluoitiin yhteensä kymmenen avoimen lähdekoodin mallia. Generointitulosten arvioinnissa käytettiin automaattisia metriikoita, kuten BERTScore-pisteitä, sekä rakenteellista analyysiä Robot Framework -syntaksin oikeellisuuden arvioimiseksi. LLM-luokan mallit tuottivat selvästi rakenteellisesti oikeampia ja semanttisesti yhtenäisempiä käyttötapauksia ja testitapauksia kuin SLM-luokan mallit. Parhaiten suoriutuivat Meta-Llama-3-8B-Instruct ja Qwen2-7B-Instruct erityisesti Robot Framework -syntaksin tuottamisessa. Agenttipohjainen lähestymistapa avoimen lähdekoodin kielimalleilla on lupaava täydentävä työkalu ohjelmistotestaukseen, mutta LLM-mallien käyttö on toistaiseksi suositeltavampaa tuotantotasoisissa sovelluksissa. Jatkotutkimuksessa tulisi tarkastella hienosäädön va-kutusta SLM-mallien suorituskykyyn.
Source: Theseus (Ammattikorkeakoulujen)
Author: Halttunen, Kari
Institution: Microsoft (United States)
Language: Finnish
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7162902887