Year: 2025
Type: dissertation
Abstract: Die Bedeutung der Auswertung digitaler Kommunikationsdaten im Kontext der Strafverfolgung hat in den letzten Jahren stark zugenommen. Auf Grund der erheblichen Datenmenge ist eine manuelle Analyse meist nicht umsetzbar. Aktuelle Forschungsarbeiten beschäftigten sich mit der maschinellen Auswertung digitaler Kommunikationsdaten. Eine bestehende Herausforderung stellt die gemeinsame Auswertung von Daten unterschiedlicher Modalitäten, wie zum Beispiel Texte, Bilder und Videos, dar. Ein aktueller Forschungstrend zum Umgang mit multimodalen Daten ist die Verwendung von multimodalen Embeddings. Dabei werden Daten unterschiedlicher Modalitäten als Vektoren in einem gemeinsamen Embeddingraum repräsentiert. Zur Erzeugung solcher Embeddings werden häufig Vision-Language Modelle verwendet. Das Ziel dieser Arbeit bestand darin herauszufinden, inwiefern Vision-Language Modelle für die Aufgabe der forensischen Bildklassifikation geeignet sind. Dazu wurden nicht nur klassische Modelle, sondern auch spezifische Objektdetektionsmodelle, eingesetzt. Dies ist dadurch zu begründen, dass klassische Modelle nicht in der Lage sind lokale Bildmerkmale, welche jedoch insbesondere im forensischen Kontext von Bedeutung sein können, zu erfassen. Die Experimente zeigten, dass nicht alle getesteten Modelle zur Erkennung unterschiedlicher Objekte auf einem Bild geeignet sind. Zusätzlich zeigte die Durchführung einer forensischen Bildklassifikation, dass die Umsetzung dieser mit Hilfe der Objektdetektionsmodelle mit Herausforderungen verbunden ist. Allerdings konnten mit Hilfe eines klassischen Vision-Language Modells gute Ergebnisse erzielt werden. Insgesamt wurde deutlich, dass die Verwendung von Vision-Language Modellen einen interessanten Ansatz zum Umgang mit forensisch relevanten, multimodalen Kommunikationsdaten darstellt.
Author: Wille, Mandana Sophie
Institution: Hochschule Mittweida
Language: German
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7203804899