Type: article
Abstract: Нейронные сети, как и другие методы машинного обучения, являются черными ящиками. Это означает, что невозможно понять, как они принимают то или иное решение. При этом с усложнением нейронных сетей все актуальнее становится развитие методов их объяснимости. В данной работе предлагается новый метод объяснимости трансформеров (вид глубоких нейронных сетей), предназначенных для классификации текстовых данных на русском языке. В статье рассматривается трансформер BERT, дообученный классификации книг по жанрам на основе их аннотаций. Дообученная модель показывает высокую точность при проверке на тестовой выборке – 84%. Кроме того, в работе приводится метод объяснимости модели BERT на основе кластеризации его голов внимания с помощью метода HDBSCAN. С помощью кластерного анализа удалось разбить головы внимания на различные группы, по которым можно проанализировать работу модели.
Source: CyberLeninK (CyberLeninka)
Author: П. Л. Николаев
Language: Russian
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7133384915