An Empirical Comparison and Ensemble Learning Methods of BERT Models on Authorship Attribution
Year: 2024
Type: article
Abstract: BERTは大量の学習データを用いて事前学習を行い，微調整して個別分野のタスクに適応させる汎用言語モデルである．日本語では比較的に入手しやすいWikipedia，青空文庫，日本語ビジネスニュース記事などに基づいて学習したBERTが続々と公開されている．本研究では，著者推定において異なる事前学習データから構築された複数のBERTの性能比較を行い，事前学習データが個別タスクに与える影響を分析した．また，複数のBERTのアンサンブル学習で著者推定モデルの精度を向上させる方法について研究を行った．その結果，青空文庫内の著者の推定において青空文庫から構築されたBERTの性能が高いことがわかった．よって，事前学習データが個別タスクを解く際のモデルの性能に影響を与えていることが明らかになった．また，複数のBERTのアンサンブル学習モデルの性能は，BERTを単体で用いた場合の性能に比べて向上することがわかった．
Source: Joho Chishiki Gakkaishi
Authors: Taisei KANDA, Mingzhe JIN
Institutions: Doshisha University, Kyoto University of Advanced Science
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: diamond
OpenAlex ID: W4404169161