Development of an Iterative Method for Data Extraction From Unstructured Documents Based on the Use of Large Language Models
Year: 2025
Type: article
Abstract: В умовах стрімкого розвитку інформаційних технологій автоматизація обробки документів стає ключовим фактором підвищення ефективності бізнес-процесів.Особливої актуальності набуває завдання вилучення структурованих даних із неструктурованих чи слабоструктурованих документів, таких, наприклад, як товарні накладні.Метою статті є розробка ключових методів для автоматизованого отримання даних із товарних накладних з використанням великих мовних моделей (LLM).Методологія.Запропоновано методологію, яка передбачає екстракцію даних відповідно до наперед заданої схеми, що відповідає структурі бази даних.Розглянуто два варіанти реалізації: з використанням few-shot prompting та без прикладів.Розроблено класифікацію вхідних документів за обсягом контексту, структурною складністю та багатомовністю.Ефективність оцінювалася за допомогою метрик точності, повноти та F1-міри на вибірці з документів п'яти класів складності.Результати.Розроблено програмне забезпечення, що реалізує запропонований метод вилучення даних.Експериментально підтверджено високу ефективність запропонованих підходів.Установлено, що сучасні мовні моделі демонструють стабільно високі результати на всіх класах складності документів.Розроблена система дає змогу вилучати дані з точністю й повнотою, що значно перевищують показники ручного введення.Оригінальність: 1) запропоновано та реалізовано метод автоматизованого вилучення даних із товарних накладних, що базується на використанні LLM; 2) розроблено класифікацію документів та адаптовано методи обробки для кожного класу; 3) проведено порівняльний аналіз ефективності різних LLM.Практична цінність і висновки.Розроблений програмний продукт дає змогу автоматизувати процес введення даних із товарних накладних, що веде до значного скорочення трудовитрат, зниження кількості помилок і підвищення ефективності роботи підприємства.Результати дослідження можуть бути використані для автоматизації обробки інших типів ділової документації.
Author: Oleksandr Bozhko
Language: English
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: diamond
OpenAlex ID: W4409460288