Year: 2023
Type: dissertation
Abstract: Opiskelija, Hannu Sillanpää: Deepfake-videoiden tunnistaminen syväoppimisen ja erotuskuvien avulla Pro gradu -tutkielma, 36 s.Pro gradu -tutkielman ohjaajat: FT Ville Hautamäki Joulukuu 2022 Tiivistelmä: Deepfake-tekniikka on mullistanut väärennettyjen videoiden luomisen.Videomateriaalin kasvojen manipulointi onnistuu huomattavasti vähemmällä työllä deepfake-menetelmää hyödyntäen kuin aiemmilla työkaluilla.Pahantahtoiset tahot voivat hyödyntää tätä menetelmää esimerkiksi valeuutisiin, kiristykseen ja petoksiin.Näiden käyttötarkoitusten estämiseksi deepfake-videot tulisi kyetä tunnistamaan mahdollisimman luotettavasti.Tässä tutkielmassa pyritään parantamaan tunnistusmenetelmien suorituskykyä videon kuvien välisestä liikkeestä syntyvien erotuskuvien avulla.Suorituskykyä tarkastellaan kokeessa, jossa kolmea neuroverkkomallia sekä yhtä tukivektorikonetta optimoidaan erotuskuvilla sekä tavallisilla kuvilla.Kuvat on rajattu kasvojen alueelle käyttäen automaattista kasvojentunnistusmallia. Mallien opetusta varten on muodostettu yhdistetty datasetti, joka sisältää näytteitä viidestä deepfake datasetistä.Mallien arviointia varten on luotu uusi datasetti, johon on kerätty deepfake-videoita YouTube:sta sekä aitoja videoita VoxCeleb2-datasetistä.Uudella arviointidatasetillä pyritään pääsemään lähelle totuudenmukaisia olosuhteita tunnistusmenetelmien arvioinnissa.Yksittäisten kuvien tunnistuksessa erotuskuvat johtavat tavallisia kuvia huonompiin tuloksiin, mutta kun yksittäisten videoiden kaikkien kuvien tuloksista muodostetaan yhdistetty tunnistustulos, erotuskuvat kohottavat mallien suorituskyvyn paremmaksi kuin tavallisilla kuvilla.Tämä johtuu mahdollisesti siitä, että deepfake-videoiden virheet erottuvat selkeästi joissain erotuskuvissa, mutta iso osa erotuskuvista ei sisällä tunnistukselle hyödyllisiä vihjeitä.
Author: Sillanpää, Hannu
Institution: University of Eastern Finland
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7215653998
