Work

Гибридный метод автореферирования научно-технических текстов на основе риторического анализа

Year: 2020
Type: article
Abstract: Институт систем информатики им.А.П.Ершова СО РАН, г.Новосибирск, 630090, Россия 2 Новосибирский государственный университет, г.Новосибирск, 630090, Россия 3 Евразийский национальный университет им.Л.Н.Гумилева, г.Астана, 010008, Республика Казахстан Непрерывное увеличение интенсивности потока текстовой информации делает все более важной задачу семантического сжатия текстов.Связи между дискурсивными маркерами в тексте задают иерархию, которая позволяет решать различные задачи обработки текстов на естественном языке, в том числе и задачу автоматического составления краткого реферата по тексту большого объема.В данной статье описан оригинальный метод автореферирования научно-технических текстов на основе риторического анализа и с использованием методов тематического моделирования.Предложенный метод сочетает в себе использование лингвистической базы знаний, графовое представление текстов и машинное обучение.Для обнаружения ключевых терминов используется тематическое моделирование.Сначала строятся униграммные тематические модели, содержащие только однословные термины.Далее эти модели расширяются путем добавления многословных терминов.Наиболее значимые фрагменты исходного документа определяются в процессе риторического анализа при помощи дискурсивных маркеров.Представление текстов в виде графов помогает наглядно продемонстрировать преобразования, необходимые для выделения важных фрагментов текстов.При оценке важности фрагментов текста также учитываются ключевые слова, многословные термины и научная лексика, характеризующая научнотехнические тексты.Для хранения информации о маркерах была создана лингвистическая база знаний.Заключительным этапом формирования аннотации является сглаживание -процедура преобразования текста, позволяющая сделать текст полученного реферата (аннотации) более связным и последователь-
Language: Russian
Open Access status: diamond
OpenAlex ID: W3011798662
FWCI: 0.084
Cites: 19
Cited by: 1
Related to: 10