Year: 2026
Type: dissertation
Abstract: Jatkuvan oppimisen tavoitteena on mahdollistaa mallien kyky hankkia uutta tietoa dynaamisissa ympäristöissä säilyttäen samalla aiemmin opittu tieto. Nykyiset jatkuvan oppimisen menetelmät kärsivät kuitenkin usein katastrofaalisesta unohtamisesta, rajallisesta skaalautuvuudesta ja tehottomasta sopeutumisesta sovellettaessa perustamalleihin. Näihin haasteisiin vastaten tämä väitöskirja tutkii tehokasta ja hallittavaa jatkuvaa sopeutumista perustamalleille ja esittää uusia menetelmiä adapteripohjaisesta sopeutuksesta esitystason hienosäätöön ja elinikäiseen mallin muokkaukseen. Ensinnäkin tässä työssä esitellään SiME, näkö-kielimalleihin ja epälineaarisiin adaptereihin perustuva inkrementaalisen oppimisen kehys, joka parantaa oppimistehokkuutta ja osoittaa adapteriyhteyksien ja mallin suorituskyvyn välisen epälineaarisen suhteen. Seuraavaksi AVM laajentaa tätä lähestymistapaa neurotieteen sovelluksiin eriyttämällä vakaan visuaalisen koodauksen ja tilannekohtaisen moduloinnin hiiren V1-neuronivasteen ennustamisessa. ProP puolestaan ratkaisee prompt-pohjaisten menetelmien avain–arvo-mekanismiin liittyviä tehtävien välisiä häiriöitä hyödyntämällä avain–arvo-vapaata prompt-prototyyppirakennetta, mikä yksinkertaistaa arkkitehtuuria ja parantaa skaalautuvuutta. Lisäksi esitellään CoRe, jatkuvan esitystason oppimisen paradigma, joka siirtää hienosäädön painopisteen painoavaruudesta esitysavaruuteen. Kohdennettujen interventioiden avulla CoRe rajoittaa esitysten ajautumista ja säilyttää tehokkaan parametrien käytön, mikä parantaa stabiilisuuden ja plastisuuden välistä tasapainoa. Lopuksi esitetään semanttiseen reititykseen perustuva SoLA-kehys, joka mahdollistaa suurten kielimallien tarkan ja palautettavan tiedon muokkauksen sekä hallittavan elinikäisen mallin muokkauksen. Laajat kokeet useilla vertailuaineistoilla osoittavat, että ehdotetut menetelmät saavuttavat kilpailukykyisen suorituskyvyn sekä parantavat tehokkuutta ja skaalautuvuutta. Kokonaisuudessaan tämä väitöskirja muodostaa yhtenäisen näkökulman perustamallien jatkuvaan sopeutumiseen ja tarjoaa näkemyksiä elinikäiseen oppimiseen sekä hallittavaan tiedon evoluutioon kykenevien mallien kehittämiseksi.
Author: Luo, Haihua
Institution: University of Jyväskylä
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7212090766