Year: 2025
Type: dissertation
Abstract: Современные большие языковые модели способны эффективно выявлять семантическую близость между записями нормативно-справочной информации и объединять дубликаты. Предложены методы и алгоритмы для повышения точности и скорости нормализации данных. В работе представлен инструмент, который на основе векторизации с графовым поиском и последующей проверкой через LLM повышает точность выявления дубликатов. Эксперименты на реальных данных показали рост точности нахождения дубликатов. Результаты подтверждают перспективность применения LLM для автоматизации задач очистки и унификации НСИ.
Authors: Толстов, А. Т., Tolstov, A.
Language: Russian
Topic: Data Quality and Management
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7117227746