Year: 2026
Type: dissertation
Abstract: Tato práce se zabývá návrhem, implementací a kritickým vyhodnocením adaptivního systému RAG (Retrieval-Augmented Generation) v rámci aplikace semANT, určené pro práci s českými historickými prameny. Hlavním technickým přínosem je vývoj pokročilé architektury postavené na technologii LangGraph, která integruje techniky Multi-query, Step-back prompting a automatický fallback na vyhledávání v internetové síti. Součástí řešení je inovativní jazykový směrovač, který zajišťuje sémantickou i lingvistickou konzistenci odpovědí v českém jazyce a unikátní funkcionalita interaktivního vysvětlování označených pasáží textu zvyšující věrohodnost systému. Stěžejní část práce představuje systematická analýza spolehlivosti velkých jazykových modelů v roli automatizovaných soudců (LLM-as-a-judge). V rámci experimentů byla provedena validace pěti tříd modelů proti expertnímu lidskému konsenzu na datasetech různé komplexity. Výsledky prokazují statisticky významný nárůst relevance odpovědí o 12 % dle automatizovaných metrik a o 21 % dle lidského úsudku na datové sadě komplexních otázek, přičemž systém vykazuje vysokou věrohodnost. Práce kvantifikuje senzitivní práh LLM soudců v českém jazyce a definuje metodický návod pro predikci nejistoty vyhodnocování v závislosti na parametrech datové sady a zvoleném hodnotiteli.
Author: Andrýsek, Kryštof
Language: Czech
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7166408916