Work

A Hybrid Method for the Identification of Automatically Generated Natural Language Texts

Year: 2026
Type: dissertation
Abstract: У дисертаційному дослідженні розвʼязано актуальну науково-прикладну задачу, що полягає в розробці гібридного методу ідентифікації автоматично згенерованих природномовних текстів, стійкого до трансформаційних атак маскування та епістемічної невизначеності. Широке впровадження великих мовних моделей (LLM), крім позитивних наслідків, призвело до появи цілої низки викликів, серед яких можна виділити створення та розповсюдження неправдивої інформації, використання ШІ в соціальній інженерії, маніпулювання суспільством та підрив принципів академічної доброчесності. У сценаріях неетичного використання LLM їх найбільша перевага - здатність до генерації текстів, які лексично та структурно неможливо відрізнити від текстів, написаних людиною, - стає найбільшою загрозою, оскільки виявлення штучно згенерованих текстів є неможливим без використання спеціальних інструментів. Боротьба з новими викликами в інформаційній безпеці вимагає створення надійних інструментів ідентифікації штучно згенерованого контенту - детекторів ШІ. Проведене дослідження показало, що наявні на ринку системи маскування згенерованих даних проводять глибокі структурні та семантичні трансформації текстів, що веде до приховування сліду ШІ та суттєво знижує ефективність наявних детекторів щодо їх можливостей розпізнавання згенерованих текстів. З іншого боку, більшість сучасних рішень стикається з проблемою епістемічної невизначеності під час аналізу даних поза навчальним розподілом, наприклад, текстів, написаних неносіями мови, що веде до підвищеного рівня хибнопозитивних спрацювань і підриву довіри до засобів детекції загалом. З огляду на вищезазначене, розробка математичної моделі сліду ШІ та гібридного методу ідентифікації автоматично згенерованих природномовних текстів, стійкого до трансформаційних атак маскування та епістемічної невизначеності, є актуальною науково-прикладною задачею, що має важливе значення для розвитку систем контент-модерації, інформаційної безпеки та платформ академічної доброчесності. Для визначення завдань дослідження проведено систематизацію та аналіз існуючих підходів до ідентифікації автоматично згенерованих текстів. Встановлено, що попри наявність великої кількості підходів до виявлення ШІ, кожен з них містить як серйозні теоретичні обмеження щодо застосовності, так і вразливості до сценаріїв маскування, що робить процес визначення згенерованих даних досить ненадійним. Доведено, що детекція ШІ, заснована лише на одному рівні ознак (лексичному, синтаксичному чи семантичному), має недоліки як з боку вразливості до трансформаційних атак, так і з боку високого рівня хибнопозитивних спрацювань. Неідеальна точність наявних класифікаторів, теоретичні та практичні обмеження щодо їх застосування, велика кількість атак та типів маскування і відсутність стійких та швидких засобів інтерпретації результатів вказують на потребу в розробці як надійного гібридного методу ідентифікації автоматично згенерованих текстів, так і інтерпретаційної моделі для візуалізації доказів детекції. Вразливість сучасних методів детекції напряму повʼязана зі сприйняттям сліду ШІ як статичного об'єкта, що дає змогу легко маніпулювати точністю детекції шляхом внесення збурень через перефразування, заміну символів або вихід нових версій моделей чи архітектур. Для підвищення стійкості AI детекції проти трансформаційних атак пропонується замість масштабування детектора (збільшення розміру моделі та обсягу тренувальних даних) змінити концепцію сліду ШІ так, щоб отримати стійкий багатомірний обʼєкт, що включає ознаки трьох рівнів: семантичного, стилістичного і структурного. Зокрема, розроблено математичну модель сліду ШІ в багатовимірному просторі ознак F = Flex×Fsyn×Fsem (лексичних, синтаксичних та семантичних), яка формалізує його у вигляді вектора T_AI (X) =Φ(f_lex (X),f_syn (X),f_sem (X)). Також введено основні рівні аналізу: лексичний (f_lex (X)), що фіксує імовірнісне згладжування тексту генеративними моделями через перплексію та вибуховість (burstiness); синтаксичний (f_syn (X)), що вимірює структурну однотонність згенерованого тексту через дивергенцію Кульбака-Лейблера для N-грам POS-тегів відносно людського еталона, а також через дисперсію глибини синтаксичних дерев; семантичний (f_sem (X)), що виявляє аномально високу локальну узгодженість ембедінгів сусідніх речень та глобальний дрифт тематики. Крім того, удосконалено концептуальну модель оцінки робастності систем детекції сліду ШІ, яка шляхом введення формалізованого поняття Точки зламу та інтеграції математичної моделі багаторівневого простору ознак дає змогу перейти від наявних емпіричних підходів оцінки робастності на фіксованих датасетах до встановлення прямого математичного взаємозв'язку між інтенсивністю структурних трансформацій тексту (коефіцієнт заміни RR), збереженням його семантичної цілісності (I_sem) та ймовірністю виявлення (P_det). Модель виділяє три області, що демонструють ефективність атаки, та пропонує метод оцінки робастності детектора в умовах невизначеності. Вперше розроблено гібридний метод ідентифікації автоматично згенерованих природномовних текстів, який, на відміну від класичних детекторів, що сприймають слід ШІ як статичний і легко змінюваний об'єкт, шляхом використання каскадного ансамблю незалежних класифікаторів із додатковими механізмами валідації дає змогу проводити аналіз міжрівневої узгодженості ознак через адаптивне зважування та розрахунок сигналу розбіжності S_mismatch. На відміну від традиційного простого об'єднання ознак в один вектор, запропонований метод розподіляє аналіз між трьома незалежними модулями: лексичним - M_lex, синтаксичним - M_syn та семантичним - M_sem. Кожен із модулів генерує власну незалежну оцінку, яка передається до метакласифікатора для прийняття остаточного рішення. Оскільки під час трансформаційної атаки методам маскування вкрай важко змінити стилістику, синтаксис та семантику одночасно і пропорційно, будь-яка атака створює розрив між рівнями. Цей розрив аналізується через механізм адаптивного зважування, що дає змогу використовувати дворівневу логіку ваг: w_j (X)=w_j^stat 〖⋅α〗_j (X), тобто вивчена статистична вага множиться на динамічний коефіцієнт довіри. Залежно від типу виявленої атаки, алгоритм змінює довіру до різних модулів, завдяки чому спроба обходу детектора на одному рівні автоматично стає тригером для підвищення ймовірності детекції на інших рівнях. Такий підхід фіксує когнітивний дисонанс між лексичним, синтаксичним та семантичним рівнями тексту під час застосування трансформаційних атак, роблячи спроби маскування на одному рівні тригером для посилення детекції на іншому. Разом з цим набув подальшого розвитку метод забезпечення робастності систем обробки природної мови в умовах епістемічної невизначеності та даних поза навчальним розподілом. Класичні методи детекції генерують точкові ймовірності з надмірною впевненістю і не містять інформації про те, чи відповідає текст, що аналізується, текстам із тренувальної вибірки. Це робить їх критично вразливими до даних поза навчальним розподілом, наприклад, текстів неносіїв мови, академічних текстів або нестандартних стилів письма, що призводить до зростання кількості хибнопозитивних спрацювань. Для розв'язання цієї проблеми розроблено надбудову, яка дає змогу перетворювати евристичні точкові прогнози на математично обґрунтовані множини прогнозів Γ^ϵ (x). Обчислюючи міри неконформності на калібрувальній вибірці, алгоритм ICP гарантує, що істинний клас тексту належатиме до згенерованої множини із заданим рівнем статистичної достовірності 1-ϵ. Це перетворює точкові прогнози метакласифікатора на множини прогнозів з гарантованою статистичною достовірністю, що суттєво знижує рівень хибнопозитивних спрацювань, уможливлює глобальну ідентифікацію аномалій та генерацію порожніх множин замість хибних класифікацій. Крім того, уперше розроблено інтерпретаційну модель обґрунтування доказів детекції пояснюваного ШІ, яка, на відміну від класичних ітеративних методів LIME/SHAP, не потребує значних обчислювальних ресурсів і демонструє стабільність на текстових даних. Її створення розв'язує проблему чорної скриньки, що існує у випадку класичних детекторів, результатам яких часто бракує прозорості для ухвалення рішень експертами. Шляхом використання внутрішніх ваг метакласифікатора w_j^stat та адаптивних коефіцієнтів довіри α_j (X) ця модель дає змогу генерувати три рівні атрибуції: глобальний, локальний та Карту доказів. Глобальний профіль атрибуції дає змогу визначити, які ознаки відіграють найбільшу роль під час аналізу текстів гібридним методом загалом. Локальний профіль атрибуції показує вплив кожного з параметрів метакласифікатора на фінальне рішення щодо конкретного тексту, а інтерактивна Карта доказів візуалізує аномалії лексичної перплексії та структурних загроз. У роботі проведено експериментальну валідацію розроблених математичних моделей та гібридного методу ідентифікації згенерованих текстів на спеціально сформованих тестових даних. Крім текстів, написаних людьми та згенерованих Instant моделями, тестові дані також включають тексти MoE та Reasoning-моделей, тексти після трансформаційних атак парафразерів T5, DIPPER та комерційних систем маскування. Експериментально доведено, що для SOTA-детектора Fast-DetectGPT Точка зламу настає вже за мінімальних змін (коефіцієнт заміни RR = 0.03), тоді як результати гібридного методу підтверджують суттєве підвищення стійкості детекції з уникненням досягнення Точки зламу навіть під час зміщення праворуч до RR > 0.9. Експериментально досліджено та адаптовано методи моделювання та виділення сліда ШІ для сучасних архітектур MoE та Reasoning. На відміну від підходів, що фокусуються на мікроструктурних артефактах генерації через оцінку щільності ядра KDE чи спектральний аналіз ритму FFT, запропоновані методи дають змогу надійно ідентифікувати когнітивний слід моделі. На основі розробленої математичної моделі та гібридного методу створено програмний комплекс ідентифікації автоматично згенерованих текстів. Систему розгорнуто з використанням хмарної інфраструктур
Language: Ukrainian
Open Access status: green
OpenAlex ID: W7219515992
Cites: 81
Cited by:
Related to: 10