Year: 2025
Type: dissertation
Abstract: Diese Dissertation diskutiert die internen Prozesse von Transformern sowie Möglichkeiten für ihren Domänentransfer. Im Zentrum dieser Forschung steht das Bestreben, Verständnis darüber zu erlangen, wie diese Modelle Sprache verarbeiten und repräsentieren. Zu diesem Zweck führen wir Analysen durch und vergleichen die internen Prozesse dieser Modelle mit der traditionellen NLP-Pipeline. Anschließend wenden wir dieses Verständnis an, um zwei Ansätze des Transferlernens zu untersuchen, die speziell für Domänen mit begrenzter Datenverfügbarkeit zugeschnitten sind. Insbesondere evaluieren wir unsere Methoden anhand der klinischen Domäne. Der erste Ansatz stellt eine neuartige Trainings-Methode basierend auf Generierung von Wissensgraphen dar, und hat das Ziel die Lücke zwschen allgemeinem Sprachverständnis und domänenspezifischen Fakten sowie idiosynkratischer Sprache zu überbrücken. Durch die Anreicherung von Transformern mit sorgfältig kuratiertem Wissen überwindet dieser Ansatz die inhärenten Herausforderungen, die durch den Mangel an spezialisierten Trainingsdaten entstehen. Der zweite Ansatz setzt auf die Nutzung von Reinforcement Learningl zum fine-tuning von Transformer-Modellen. Dieser Ansatz nutzt die interaktive und iterative Natur des Reinforcement Learning, um Modelle effektiver an die Besonderheiten von domänenspezifischen Anwendungen anzupassen, insbesondere in Szenarien, in denen Daten spärlich sind. Dadurch, dass Modelle darauf trainiert werden, Entscheidungen und Vorhersagen zu treffen, die durch domänenspezifische Ziele und Rewards informiert sind, ist dieser Ansatz prädestiniert für die Anwendung in kritischen Bereichen wie der Differentialdiagnose.
Author: Winter, Benjamin
Language: English
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7110485298