Year: 2026
Type: dissertation
Abstract: Opinnäytetyössä tarkasteltiin Retrieval‑Augmented Generation (RAG) ‑arkkitehtuuria keskittyen erityisesti tiedonhaun eli retriever-komponentin kehittämiseen. RAG-järjestelmissä kyky löytää käyttäjän kysymykseen relevantti lähdeteksti on keskeinen tekijä lopullisen vastauksen laadun kannalta. Työn päätavoitteena oli selvittää, voidaanko retriever-komponentin toimialakohtaisella fine‑tuningilla parantaa tiedonhaun osumatarkkuutta. Lisäksi tavoitteena oli havainnollistaa, miten mahdollinen hakutarkkuuden paraneminen heijastuu generointivaiheeseen eli tuotettuun vastaukseen. Työ rajattiin hakukomponentin kehittämiseen eikä koko RAG-putkea optimoitu. Fine-tuning toteutettiin eläkevakuuttamisen toimialueen aineistolla, joka koostui verkkosivusisällöistä sekä PDF-muotoisista ohjeista. Aineisto esikäsiteltiin, paloiteltiin semanttisesti sopiviksi tekstikappaleiksi ja indeksoitiin FAISS-vektori-indeksiin. Retriever-mallina käytettiin monikielistä intfloat/multilingual-e5-small -embedding-mallia, jota hienosäädettiin valvotusti Sentence Transformers -kirjastolla. Fine-tuningin onnistumista arvioitiin vertaamalla hienosäädetyn ja alkuperäisen mallin hakutuloksia samalla testiaineistolla käyttäen mittareina Recall@K- ja MRR-mittareita. Tulokset osoittivat, että tiiviillä koulutusaineistolla tiedonhaun tarkkuus parani selvästi: Recall@1 nousi 26 %, Recall@5 22 % ja MRR@5 32 %. Teemakohtaisesti suurimmat parannukset nähtiin työkyvyttömyyseläkemaksun ja työkyvyttömyyseläkkeen kysymyksissä. Laajemmalla, heterogeenisemmalla aineistolla kokonaisparannusta ei saavutettu, mikä viittaa aineiston kohdentamisen ja tasapainon merkitykseen retriever-komponentin hienosäädössä. Generointivaiheen esimerkit osoittivat, että käytetyn monikielisen generointimallin (microsoft/Phi-4-mini-instruct) tuottamien suomenkielisten vastausten laatu ei ole sellaisenaan riittävä asiantuntijatason käyttötarkoituksiin, vaikka joissakin tapauksissa parantunut tiedonhaku heijastuikin myös vastauksen sisältöön. Työn johtopäätöksenä on, että toimialakohtainen fine‑tuning voi parantaa tiedonhaun tarkkuutta jo kohtuullisen pienellä, mutta huolellisesti laaditulla aineistolla. Vaikutus ei kuitenkaan jakaudu tasaisesti kaikkiin teemoihin. Tulokset korostavat datan laadun ja tasapainoisen teema‑edustuksen merkitystä RAG-pohjaisten tiedonhakumenetelmien fine-tuningissa. Tulokset osoittavat, että retriever-komponentin parantaminen yksinään ei välttämättä riitä asiantuntijatason RAG-järjestelmän toteuttamiseen, vaan jatkokehitys edellyttää koko RAG-putken tarkastelua.
Source: Theseus (Ammattikorkeakoulujen)
Author: Tolonen, Katri
Language: Finnish
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7145609843