Αξιοποίηση σύγχρονων τεχνικών για την παραγωγή βιοϊατρικού κειμένου
Loading...
Date
2026-09-25
Authors
Πύργας, Αθανάσιος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η παρούσα διπλωματική εργασία εξετάζει τη χρήση προεκπαιδευμένων γλωσσικών μοντέλων για την αυτόματη παραγωγή βιοϊατρικού κειμένου, με έμφαση στη σύνοψη επιστημονικών abstracts και στην παραγωγή πλήρους abstract από τίτλο. Πραγματοποιείται συγκριτική μελέτη των BioBART v2 και BioT5, δύο encoder–decoder μοντέλων με διαφορετικά δεδομένα και στόχους προεκπαίδευσης, ενώ το BioGPT εξετάζεται συμπληρωματικά στην παραγωγή από τίτλο ως εκπρόσωπος των decoder-only μοντέλων.
Για το έργο της σύνοψης κατασκευάζεται σύνολο ζευγών εισόδου–στόχου από δημοσιεύσεις της PubMed, με αυτόματη δημιουργία περιλήψεων αναφοράς μέσω εξαγωγής λέξεων-κλειδιών και επιλογής προτάσεων. Τα BioBART v2 και BioT5 προσαρμόζονται στα δεδομένα και αξιολογούνται με μετρικές λεκτικής επικάλυψης (BLEU, ROUGE-L), ομοιότητας συμφραζόμενων αναπαραστάσεων (BERTScore) και επικάλυψης βιοϊατρικών εννοιών μέσω του Unified Medical Language System (UMLS). Η αξιολόγηση συμπληρώνεται από ζευγαρωμένη στατιστική ανάλυση των βαθμολογιών BERTScore και διερευνητική αξιολόγηση τύπου LLM-as-a-Judge σε δέκα παραδείγματα ανά έργο. Στη σύνοψη, το BioBART v2 επιτυγχάνει υψηλότερες τιμές BLEU, ROUGE-L και BERTScore, καθώς και υψηλότερη εννοιολογική recall και F1 έναντι των περιλήψεων αναφοράς. Το BioT5 παράγει κατά μέσο όρο ελαφρώς συντομότερες περιλήψεις και λιγότερες έννοιες μη αντιστοιχισμένες στο αρχικό abstract, με χαμηλότερη κάλυψη των εννοιών αναφοράς.
Στη συνέχεια, η εργασία επεκτείνεται στην παραγωγή abstract από τίτλο, όπου η περιορισμένη πληροφορία εισόδου δεν επαρκεί για την ανάκτηση των πραγματικών μεθόδων και αποτελεσμάτων μιας δημοσίευσης. Στο συγκεκριμένο πείραμα, το BioBART v2 υπερέχει του BioT5 στις λεκτικές μετρικές, στην BERTScore και στην εννοιολογική recall και F1, ενώ το BioT5 εμφανίζει υψηλότερη εννοιολογική precision. Το BioGPT επιτυγχάνει υψηλότερη εννοιολογική recall και F1 από τα άλλα δύο μοντέλα και την υψηλότερη μέση βαθμολογία στο δείγμα αξιολόγησης LLM-as-a-Judge, παράγοντας παράλληλα περισσότερες έννοιες μη αντιστοιχισμένες στο abstract αναφοράς. Τα ευρήματα αφορούν τις συγκεκριμένες πειραματικές διαμορφώσεις και δεν τεκμηριώνουν επιστημονική εγκυρότητα των παραγόμενων ισχυρισμών ή γενική υπεροχή μιας αρχιτεκτονικής.
Συνολικά, η εργασία υλοποιεί και εφαρμόζει ένα συνδυαστικό πλαίσιο αξιολόγησης της παραγωγής βιοϊατρικού κειμένου, αναδεικνύοντας τη συμπληρωματικότητα των διαφορετικών μετρικών. Τα αποτελέσματα δείχνουν ότι η υψηλή ομοιότητα με τα κείμενα αναφοράς μπορεί να συνυπάρχει με παραλείψεις εννοιών και προβλήματα στις παραγόμενες εξόδους. Η διάκριση μεταξύ ομοιότητας κειμένων, εννοιολογικής κάλυψης και ορθότητας επιστημονικών ισχυρισμών αποτελεί βασικό συμπέρασμα της μελέτης και ουσιώδη προϋπόθεση για την ερμηνεία των επιδόσεων των μοντέλων.
Description
Keywords
Παραγωγή βιοϊατρικού κειμένου, Επεξεργασία φυσικής γλώσσας, Βιοϊατρική σύνοψη κειμένου, Προεκπαιδευμένα γλωσσικά μοντέλα, Αξιολόγηση παραγωγής κειμένου, Βιοϊατρικές έννοιες