Year: 2026
Type: dissertation
Abstract: Tato práce se zabývá odpovídáním na otázky nad dlouhými mluvenými dokumenty s využitím velkých audio-jazykových modelů bez přepisu do textu. Nejprve je vytvořena textová baseline nad benchmarkem SLUE-SQA5 využívající přepisy, dense retrieval, reranking a extraktivní odpovídání na otázky, následovaná evaluací odpovídání na otázky na základě audia pomocí modelu Qwen2-Audio-7B-Instruct. Práce identifikuje několik omezení tohoto audio-jazykového modelu, mezi která patří ořezávání audio vstupů delších než 30 sekund, neefektivní škálování reprezentací audia a zhoršující se výkon při rostoucím počtu vyhledaných dokumentů. Pro řešení těchto problémů je navržena upravená metoda pro zpracování dlouhého audia společně s několika metodami podvzorkování reprezentací audia. Experimentální výsledky ukazují, že navržené metody zlepšují výkon i škálovatelnost systémů pro odpovídání na otázky nad dlouhým audiem, zatímco parameter-efficient fine-tuning pomocí LoRA adaptérů dále zvyšuje přesnost na benchmarku. Dodatečná analýza však ukazuje, že model se často více spoléhá na interní jazykové znalosti než na informace obsažené ve vyhledaném audiu. Výsledky práce poukazují na současná omezení Qwen2-Audio-7B-Instruct v retrieval-augmented odpovídání na otázky nad dlouhým audiem a zdůrazňují potřebu metod, které budou lépe využívat vyhledané akustické informace.
Author: Plička, Maxim
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7166500417