Гибридный метод автореферирования научно-технических текстов на основе риторического анализа
Year: 2020
Type: article
Abstract: Институт систем информатики им.А.П.Ершова СО РАН, г.Новосибирск, 630090, Россия 2 Новосибирский государственный университет, г.Новосибирск, 630090, Россия 3 Евразийский национальный университет им.Л.Н.Гумилева, г.Астана, 010008, Республика Казахстан Непрерывное увеличение интенсивности потока текстовой информации делает все более важной задачу семантического сжатия текстов.Связи между дискурсивными маркерами в тексте задают иерархию, которая позволяет решать различные задачи обработки текстов на естественном языке, в том числе и задачу автоматического составления краткого реферата по тексту большого объема.В данной статье описан оригинальный метод автореферирования научно-технических текстов на основе риторического анализа и с использованием методов тематического моделирования.Предложенный метод сочетает в себе использование лингвистической базы знаний, графовое представление текстов и машинное обучение.Для обнаружения ключевых терминов используется тематическое моделирование.Сначала строятся униграммные тематические модели, содержащие только однословные термины.Далее эти модели расширяются путем добавления многословных терминов.Наиболее значимые фрагменты исходного документа определяются в процессе риторического анализа при помощи дискурсивных маркеров.Представление текстов в виде графов помогает наглядно продемонстрировать преобразования, необходимые для выделения важных фрагментов текстов.При оценке важности фрагментов текста также учитываются ключевые слова, многословные термины и научная лексика, характеризующая научнотехнические тексты.Для хранения информации о маркерах была создана лингвистическая база знаний.Заключительным этапом формирования аннотации является сглаживание -процедура преобразования текста, позволяющая сделать текст полученного реферата (аннотации) более связным и последователь-
Authors: Т.В. Батура, А.М. Бакиева
Language: Russian
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: diamond
OpenAlex ID: W3011798662
