Year: 2026
Type: dissertation
Abstract: Η παρούσα μεταπτυχιακή διατριβή εξετάζει τη συμπεριφορική επεξηγησιμότητα με βάση αντιπαραδειγματικές μεταβολές στο πεδίο της ιατρικής ερώτησης-απάντησης, χρησιμοποιώντας το Llama 2, ένα γλωσσικό μοντέλο τύπου decoder-only transformer που εκτελείται τοπικά. Η μελέτη πραγματοποιείται στο σύνολο δεδομένων HealthCareMagic ChatDoctor, το οποίο περιλαμβάνει ζεύγη ερωτήσεων ασθενών και απαντήσεων ιατρών από διαδικτυακές ιατρικές συμβουλές. Ο βασικός στόχος δεν είναι η κλινική επικύρωση, αλλά η συμπεριφορική ανάλυση του μοντέλου: διερευνάται πώς μικρές και ελεγχόμενες αλλαγές σε ιατρικά σημαντικά σημεία μιας ερώτησης ασθενούς επηρεάζουν τη δομή και το περιεχόμενο της παραγόμενης απάντησης. Για τον σκοπό αυτό, υλοποιείται μια αντιπαραδειγματική διαδικασία οργανωμένη σε φάσεις, κατά την οποία εξάγεται από κάθε ερώτηση ένα μικρό σύνολο επιδραστικών ιατρικών όρων και εφαρμόζεται μία στοχευμένη αντικατάσταση ανά αντιπαραδειγματική προσπάθεια. Πραγματοποιούνται τρεις πειραματικές φάσεις στο ίδιο σταθερό υποσύνολο αξιολόγησης 100 διαδοχικών δειγμάτων: τροποποιήσεις μόνο με συνώνυμα (SYN_ONLY), τροποποιήσεις μόνο με αντώνυμα ή άρνηση (ANT_ONLY), και μία συνδυαστική φάση στην οποία οι δύο οικογένειες τροποποιήσεων παράγονται και παρακολουθούνται ξεχωριστά (BOTH). Οι αντιπαραδειγματικές απαντήσεις παράγονται σύμφωνα με ένα αυστηρό σχήμα εξόδου, ώστε να είναι δυνατή η συνεπής μεταγενέστερη αξιολόγηση. Η συμπεριφορά του μοντέλου ποσοτικοποιείται μέσω ενός συμπληρωματικού συνόλου σημασιολογικών και λεξικών μετρικών ομοιότητας μεταξύ της απάντησης αναφοράς του ιατρού και της αντιπαραδειγματικής απάντησης του μοντέλου. Οι μετρικές αυτές περιλαμβάνουν τη συνημιτονική ομοιότητα TF-IDF, τον λόγο ομοιότητας SequenceMatcher, τη συνημιτονική ομοιότητα βάσει βιοϊατρικών ενσωματώσεων προτάσεων, καθώς και τις μετρικές ROUGE-L και METEOR. Επιπλέον, εφαρμόζεται ένα προ εκπαιδευμένο μοντέλο Natural Language Inference ως εκτός-πεδίου προσεγγιστικό σήμα για τον εντοπισμό συμπεριφοράς που μοιάζει με αντίφαση μεταξύ των απαντήσεων αναφοράς και των αντιπαραδειγματικών απαντήσεων. Για να μην αποκρύπτονται τα συμπεριφορικά συμπεράσματα από σφάλματα μορφοποίησης ή αποτυχίες της διαδικασίας, τα αποτελέσματα παρουσιάζονται σε δύο κατηγορίες αξιολόγησης: ROBUST, που περιλαμβάνει όλες τις προσπάθειες, ακόμη και τις αποτυχημένες, και STRICT, που περιλαμβάνει μόνο τις ορθά μορφοποιημένες εξόδους από τις οποίες μπορεί να εξαχθεί απάντηση. Τέλος, πραγματοποιείται ανάλυση σφαλμάτων με βάση την αποθηκευμένη προσωρινή μνήμη των αποτελεσμάτων, με στόχο τον χαρακτηρισμό της κάλυψης και των τρόπων αποτυχίας ανά πειραματική φάση, καθώς και τη σύνδεση των παρατηρούμενων αποκλίσεων με τη στάθμιση σημαντικότητας των όρων που τροποποιήθηκαν. Συνολικά, η διατριβή προτείνει μια επαναλήψιμη μεθοδολογία για την ανάλυση της ανθεκτικότητας και της ευαισθησίας παραγωγικών ιατρικών βοηθών υπό ελεγχόμενες αντιπαραδειγματικές αλλαγές.
Source: Dione (University of Piraeus)
Authors: Kyrimi, Agapi, Κυρίμη, Αγάπη
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7165984700