Work

Assessing the Quality of Counterfactual Explanations with Large Language Models

Year: 2024
Type: dissertation
Abstract: Masinõppe mudelite kiire leviku tõttu on nende mudelite keerulisus ja läbipaistmatus üheks levinud murekohaks. "Seletatav tehisintellekt"(Explainable AI) on informaatika ala, mis keskendub meetoditele, millega on võimalik masinõppe mudelite sisemist loogikat uurida. Üks selline meetod on kontrafaktuaalsed seletused, mis vastavad küsimusele "Kuidas peaks olukord erinema, et mudel ennustaks teistsugust tulemust?". Tunnuseid, mis teevad sellise selgituse heaks on vähe uuritud ning neid on raske arvutuslikult hinnata. Selles lõputöös loodi küsimustik, mille abil koguti andmestik kontrafaktuaalsetest\nseletustest ning nendele antud hinnangutest erinevate kriteeriumite põhjal. Selle andmestiku abil uuriti suurte keelemudelite võimet neid kriteeriume automaatselt hinnata, muuhulgas kasutades siirdeõpet. Tulemusena saavutati suurte keelemudelite puhul täpsus 70% kuni 95%, sõltuvalt konkreetsest mudelist ja testimisandmestikust. Väiksemad keelemudelid olid oluliselt vähem võimekad, kuid siirdeõppe abil suutsid saavutada 70% täpsust. Lisaks uuriti kriteeriumivaheliste korrelatsioonide mõju tulemustele ning hinnati asjaolu, kuivõrd on inimeste üldist rahulolu seletusega võimalik automaatselt hinnata. Need tulemused võimaldavad edasisi uuringuid kontrafaktuaalsete seletuste automaatses\nhindamises ning uute kontrafaktuaalsete seletuste otsingualgoritmide arenduses.
Institution: University of Tartu
Language: Estonian
Open Access status: green
OpenAlex ID: W7026580845
Cites: 55
Cited by: 1
Related to: 10