Work

Einkaufshelfer Android App

Year: 2024
Type: dissertation
Abstract: Das Ziel dieser Bachelorarbeit ist die Entwicklung einer Android-App, die Verbrauchern hilft, Ihre Einkaufserlebnisse durch effiziente Preisvergleiche und die Verfolgung von Preisentwicklungen zu optimieren. Im Kontext der steigenden Inflation und Preisvolatilität steht die Notwendigkeit für einkommensschwache Bevölkerungsschichten, Preise von Produkten aus verschiedenen Geschäften zu vergleichen, im Vordergrund. Dies wird durch die Erstellung einer App ermöglicht, die mittels Optical Character Recognition (OCR) Technologie die Produktnamen und Preise aus Kassenbelegen extrahiert und vergleicht. Wesentliche Aspekte dieser Arbeit umfassen die Evaluation geeigneter Technologien für die automatische und manuelle Erkennung der relevanten Bereiche auf dem Kassenbeleg und die Textzeichenerkennung mittels einer OCR-Bibliothek. Die App soll es den Nutzern ermöglichen, ohne Vorkenntnisse Kassenbelege scannen zu können, damit die App automatisch Preisänderungen ermitteln kann. Folgende Probleme wurden gelöst: die Erkennung von Textzeichen, relevanten Textbereichen auf Kassenbelegen und Preisdifferenzen gleichnamiger Produkte aus dem gleichen Laden. Der entwickelte Prototyp ermöglicht es Nutzern, Belege in der App zu erfassen und Preisschwankungen seit dem letzten Einkauf zu sehen. Dabei werden nur selbst erfasste Daten genutzt, ohne Berücksichtigung von Rabattaktionen. Anfangs wurde für die Texterkennung die OCRLibrary des Google ML Kits verwendet, wobei der Benutzer den relevanten Textbereich zuschneiden musste. Mit einer Regex wurden die Informationen strukturiert ausgelesen. Um die Texterkennung zu verbessern, wurde experimentell festgestellt, dass homogene Beleuchtung wichtig ist, um einen effizienten Binarisierungsalgorithmus anzuwenden, der den Text vom Rest des Bildes löst. Da der Ansatz mit OCR und Regex ein bestimmtes Format der Kassenbelege erfordert, wurde später die Google Gemini API verwendet. Gemini führt Texterkennung und automatische Bereichserkennung durch, sodass verschiedene Belegstrukturen besser ausgelesen werden können. Der Benutzer muss den relevanten Bereich nicht mehr manuell zuschneiden. Experimentell wurde festgestellt, dass Gemini besser mit Bildern bei schlechter Beleuchtung umgehen kann, wahrscheinlich durch eigene Bildverarbeitungsschritte wie Binarisierung. Der Nachteil von Gemini ist die erforderliche Internetverbindung und die längere Verarbeitungszeit. In einer Weiterentwicklung könnten die erfassten Daten anonymisiert gesammelt und an alle Benutzer zur Verfügung gestellt werden, um aktuellere Preisänderungen anzuzeigen. Dies eröffnet Möglichkeiten für ein Empfehlungssystem, z.B. ob ein Produkt an einem anderen Standort günstiger ist oder ob ein Rabatt wirklich ein Rabatt ist, oder ob zuvor der Preis erhöht wurde. Die Entwicklung einer App, die Kassenbelege scannen und relevante Informationen daraus extrahieren kann, ist eine grosse Herausforderung, da Kassenbelege sehr unterschiedliche Formate haben und die Daten beliebig strukturiert sein können. Modelle, die maschinelles Lernen verwenden, sind besonders vielversprechend, um mit den verschiedenen Kassenbeleg Formaten umgehen zu können. In der Arbeit wurde eine Grundlage erarbeitet, auf der ein schnelles und robustes System zur Lösung der genannten Probleme entwickelt werden kann.
Authors: Freitag, Fabian, di Benedetto, Josip
Language: German
Open Access status: green
OpenAlex ID: W7018847577
Cites: 3
Cited by:
Related to: 10