Year: 2026
Type: dissertation
Abstract: Suuret kielimallit esikoulutetaan monilla kielillä, mutta ne hienosäädetään yleensä yksinomaan englanninkielisellä aineistolla. Tämä tutkielma tarkastelee, selittävätkö kielimallin sisäiset muutokset tällaisen hienosäädön aikana tarkkuuden muutoksia monikielisissä tehtävissä ja millä tavoin. Kuusi suurta kielimallia hienosäädetään englanninkielisellä kysymys-vastaus-aineistolla. Koulutuksen aikana eri vaiheissa tallennetaan kielikohtaiset sisäiset vektorit rinnakkaisista lauseista usealla kielellä, ja kysymyksiin vastaamisen tarkkuus mitataan näiden kielten aineistoilla. Kolme mittausryhmää seuraa kieltenvälistä kohdistumista, representaation muutosta ja neuronien kielikohtaista aktivoitumista. Hienosäädön aikana kieltenvälinen rakenne säilyy kokonaisuudessaan, ja mallit, joiden suorituskyky paranee englanninkielisessä tehtävässä, paranevat yleensä myös muilla kielillä. Kieltenvälisen laadun lähtötaso ennustaa suorituskyvyn muutosta muilla kielillä. Näistä kolmesta mittausryhmästä ainoastaan representaation muutos korreloi muiden kielten kuin englannin tarkkuuden laskun kanssa. Neuronien yleinen kieliselektiivisyys säilyy, mutta 27 % kunkin kielen aktiivisimmista neuroneista vaihtuu hienosäädön loppuun mennessä.
Author: Alkurdi, Besher
Language: English
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
SDG: Quality education
Open Access status: green
OpenAlex ID: W7197979335