Detecting folktales in historical newspapers using large language models
Year: 2026
Type: dissertation
Abstract: Ljudske pripovedi so v zgodovinskih časopisih razpršene in praviloma neoznačene, zato je njihovo samodejno prepoznavanje zahtevna naloga klasifikacije besedil. V nalogi se osredotočamo na zaznavanje ljudskih pripovedi v časopisu Kmetijske in rokodelske novice z uporabo velikih jezikovnih modelov. Zlati standard obsega 2.860 člankov, pri čemer je bilo na podlagi uporabljenih klasifikacijskih meril 29 člankov uvrščenih v pozitivni razred ljudskih pripovedi. Primerjamo dva komercialna in šest odprtih lokalnih modelov s tremi različicami poziva. Najuspešnejši komercialni model doseže vrednost Matthewsovega korelacijskega koeficienta (MCC) 0,923, najboljši neprilagojeni odprti lokalni model pa MCC 0,810. Oba pri tem dosegata popoln priklic. Z destilacijo znanja, prilagoditvijo z matrikami nizkega ranga (LoRA) in kvantizirano prilagoditvijo z matrikami nizkega ranga (QLoRA) prenesemo sodbe in utemeljitve komercialnega učiteljskega modela na dva odprta lokalna modela. Vsi adapterji presežejo pripadajoče izhodiščne modele, najvišji MCC lokalnih modelov pa se poveča na 0,861. Popoln priklic najboljših modelov na tem vzorcu kaže na njihov potencial pri predhodnem izboru kandidatov, napačne pozitivne napovedi pa še vedno zahtevajo strokovno preverjanje.
Author: Rejec, Jurij
Institution: University of Ljubljana
Language: Slovenian
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7213569715
