Work

Generování strukturovaných testovacích dat pomocí LLM

Year: 2026
Type: dissertation
Abstract: Práca sa zameriava na návrh a implementáciu nástroja pre automatické generovanie YAML konfigurácie (receptov) pre generátor testovacích dát Dataster. Manuálne vytváranie takýchto receptov je časovo namáhavé a vyžaduje rozsiahle znalosti o schéme databázy, vzťahoch medzi tabuľkami a charaktere hodnôt. Pomocou navrhnutého nástroja je možné plne automatizovať tento proces, pričom sa nástroj pripojí k relačnej databáze z ktorej získa schému spolu so vzorkami dát. Následne s pomocou lokálneho veľkého jazykového modelu (LLM) cez platformu Ollama vygeneruje recept. Samotné generovanie je rozložené do štyroch fáz, ktoré sú doplnené o validačnú a opravnú vrstvu. Vyhodnotenie úspešnosti je vykonané na troch úrovniach, pri modeli qwen2.5 na sade 31 testovacích databáz pri šiestich teplotách. Pri modeloch llama3.1 a mistral sú spúšťané testy nad 19 databázami pri jednej teplote (0.0). Výsledky ukazujú na to, že zmiešaná konfigurácia modelov qwen2.5 dosahuje kvalitu porovnateľnú s väčším modelom.
Language: Slovak
Subfield: Software
Open Access status: green
OpenAlex ID: W7204152612
Cites: 10
Cited by:
Related to: 10