Uncovering Dark Patterns in Conversational Agents Using Realistic and Adversarial Prompting
Year: 2025
Type: dissertation
Abstract: Modernit keskustelevat agentit ovat tiiviisti osa jokapäiväistä elämäämme. Aiempi tutkimus on osoittanut näiden agenttien kyvyn manipuloida käyttäjiään hienovaraisesti heidän etujensa vastaisesti. Tämä kyky manipuloida, pimeät käytänteet, on siirtynyt keskusteleviin agentteihin graafisista käyttöliittymistä. Tämä tutkimus tarkastelee kolmen pimeän käytänteen, eli inhimillistämisen, mielistelyn ja haitallisen sisällön tuottamisen esiintyvyyttä moderneissa tekoälypohjaisissa keskustelevissa agenteissa. Myös keskustelevien agenttien kykyä tunnistaa nämä pimeät käytänteet tarkastellaan samoin kuin käyttäjäpersoonien vaikutusta pimeiden käytänteiden ilmenemiseen. Kuutta eri keskustelevaa agenttia testattiin käyttäen 135 erilaista todenmukaista kehotetta, jotka saatiin kyselystä (n=15), ja 45 vihamielistä kehotetta, jotka olivat suunniteltu tuottamaan pimeitä käytänteitä. Todenmukaiset kehotteet sisälsivät kolmea erilaista käyttäjäpersoonaa (asiantuntija, vihamielinen ja haavoittuvassa asemassa oleva). Näitä yhteensä 180 kehotetta käytettiin tuottamaan vastauksia kuudesta eri keskustelevasta agentista kehote-vastausparien luomiseksi. Kehote-vastausparit arvioitiin keskustelevien agenttien toimesta joko ilman apua tai pimeiden käytänteiden määritteiden avulla. Tämän lisäksi ihminen suoritti arvion. Eri arvioijien välistä luotettavuutta arvioitiin yhteisen yhdenmukaisuuden selvittämiseksi. Tulokset osoittavat, että mielistely ja inhimillistäminen ovat yleisiä, kun todenmukaisten kehotteiden vastauksia arvioitiin. Sen sijaan haitallisen sisällön tuottaminen oli harvinaisempaa. Vihamieliset kehotteet tuottivat selkeästi suuremman pimeä käytänne -vasteen. Vihamielinen persoona, odotuksista poiketen, sai vahvimman pimeä käytänne -reaktion keskustelevissa agenteissa. Avustamaton keskusteleva agentti osoittautui epäluotettavaksi arvioimaan pimeiden käytänteiden esiintymistä verrattuna avustettuun tai ihmisen arvioon, mikä viittaa keskustelevien agenttien huonoon kykyyn arvioida omaa manipulatiivista kyvykkyyttään itsenäisesti. Tutkimuksessa huomattiin myös, että avustetut keskustelevat agentit olivat 30 prosenttia herkempiä arvioimaan vastauksia hännystelyksi tai inhimillistämiseksi verrattuna ihmisen arvioon. Löydökset osoittavat tarpeen paremmille turvallisuuskäytänteille etenkin keskustelevien agenttien mielistelyn ja inhimillistämisen estämiseksi sekä standardoiduille arviointimenetelmille pimeiden käytänteiden tutkimiseksi keskustelevissa agenteissa.
Author: Kalliokoski, Konsta
Institution: University of Jyväskylä
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7199097256