Evaluating chunking strategies across document types and their impact on RAG pipeline and AIagent performance
Year: 2026
Type: dissertation
Abstract: Izvleček: Generacija, podprta s pridobivanjem informacij (RAG), utemeljuje odgovore velikih jezikovnih modelov v zunanjih dokumentih, ki jih je treba pred iskanjem razdeliti na kose; način razdeljevanja je pomembna in premalo raziskana odločitev.Ta naloga sistematično in statistično utemeljeno primerja šest strategij razdeljevanja dokumentov (fiksna velikost, stavčno, pomensko, hierarhično, propozicijsko in kontekstualno) v štirih domenah (znanstveni članki, pravne pogodbe, prepisi sestankov in spletni članki), pri treh metodah pridobivanja, ponovnem rangiranju, dveh arhitekturah agentov in dveh modelih vektorskih vložitev -skupaj 132 nadzorovanih poskusov.Kakovost merimo z ogrodjem RAGAS in z jezikovnim modelom v vlogi ocenjevalca.Ker vse konfiguracije odgovarjajo na isti nabor vprašanj, primerjave opravimo na parnih razlikah po posameznih vprašanjih, z intervali zaupanja za samo razliko, permutacijskim testom in popravkom za večkratno testiranje.Rezultati tvorijo delno urejenost in ne enotne razvrstitve.Propozicijsko razdeljevanje je izrazito slabše od vseh drugih strategij, ker razčlenitev na atomarne trditve generatorju odvzame potrebni kontekst.Hierarhično razdeljevanje je statistično značilno boljše od stavčnega, pomenskega in razdeljevanja na kose fiksne velikosti, ne pa tudi od kontekstualnega, njegova prednost pa se pokaže pri tem, kaj cevovod pridobi, in ne pri kakovosti generiranih odgovorov; preostale štiri strategije so med seboj ekvivalentne v mejah 0,05 točke.Gosto in hibridno iskanje sta ekvivalentna in obe boljši od redkega iskanja BM25; ponovno rangiranje zamenja priklic za natančnost brez neto koristi; večkoračni agent redko iterira.Praktično priporočilo je pogojno: izberimo najcenejšo med zamenljivimi strategijami, razen kadar je merilo prav kakovost pridobivanja.
Author: Petrov, Ilija
Language: English
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7225028353