Year: 2026
Type: dissertation
Abstract: Tato práce se zabývá evolučním návrhem mechanismů vlastní pozornosti pro transformerové neuronové sítě. Navržený systém popisuje kandidátní mechanismy jako orientované acyklické výpočetní grafy a porovnává dvě reprezentace, které jsou součástí návrhu práce: krokovou reprezentaci, která upravuje části mechanismu odděleně, a fúzní reprezentaci, která spojuje větší část výpočtu do jednoho grafu. Pomocí algoritmu NSGA-II optimalizuje chybu modelu a odhadovaný počet operací (FLOPs). Výsledky ukazují, že levnější zástupný model poskytl srovnatelně informativní zpětnou vazbu jako přímá fitness v TinyBERT modelu. Rozhodující vliv měla reprezentace mechanismu navržená v této práci: fúzní reprezentace dosáhla podobnéh průměrné přesnosti jako kroková reprezentace, ale lepších kompromisů mezi kvalitou a cenou. Vybraný kandidát dosáhl průměrné přesnosti 84~\% přes devět klasifikačních úloh při odhadované náročnosti odpovídající 0{,}622 násobku FLOPs původního vícehlavého mechanismu pozornosti (MHA), ale zůstal méně přesný než původní TinyBERT model s MHA. Práce tedy neukazuje absolutní překonání MHA, ale ověřuje, že evoluce dokáže nalézt levnější a přenositelný mechanismus pozornosti.
Author: Nevoral, Leoš
Language: Czech
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7166499119