Συγκριτική αξιολόγηση σύγχρονων μοντέλων φυσικής γλώσσας για θεματική κατηγοριοποίηση κειμένων με αυξημένο αριθμό ετικετών
Loading...
Date
2024-02-26
Authors
Συριόπουλος, Παναγιώτης
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η συγκεκριμένη διπλωματική εργασία αναπτύχθηκε στο πλαίσιο της υλοποίησης μιας συγκριτικής αξιολόγησης μοντέλων transformers επί βιοϊατρικών δεδομένων. Πιο συγκεκριμένα, η εξέλιξη των transformers μας έχει καταδείξει την ικανότητά τους να εκπληρώνουν με επιτυχία διάφορες ανατεθείσες εργασίες. Ειδικότερα, οι δυνατότητες των transformers στην ανάλυση βιοϊατρικών δεδομένων έχουν αρχίσει να γίνονται εμφανείς και η παρούσα διπλωματική εργασία αυτής επιδιώκει τη συγκριτική αξιολόγηση αυτών των μοντέλων. Προσαρμόζοντας κάθε μοντέλο transformers στις ανάγκες του dataset, διεξάγουμε πολλαπλά πειράματα, με στόχο την εξαγωγή συμπερασμάτων σχετικά με την απόδοση τους.
Όσον αφορά τα δεδομένα που χρησιμοποιήθηκαν, χρησιμοποιήσαμε 50.000 Articles από ιατρικά papers της βιβλιοθήκης PubMed, τα οποία κατανέμονται σε 14 ετικέτες. Αυτές οι ετικέτες χρησιμοποιήθηκαν ως βάση για την πραγματοποίηση συγκρίσεων και αξιολόγηση της ικανότητας του εκάστοτε μοντέλου να τις επιστρέψει με επιτυχία. Κατά τις δοκιμές χρησιμοποιήθηκαν ο αλγόριθμος ΒERT σε τρείς διαφορετικές μορφές( BioBERT, RoBERTa, DistilBERT,ο XL-Net ,ο ELECTRA της Google, και τέλος ο αλγόριθμος ERNIE, ο οποίος ως πιο σύγχρονος εμφάνισε τα καλύτερα αποτελέσματα στα πειράματά μας.
Η αξιολόγηση περιλάμβανε 100-200 πειράματα συνολικά , κατά τα οποία αξιολογήθηκε η ικανότητα των αλγορίθμων να αναγνωρίζουν τις σωστές ετικέτες κατά την ανάλυση των abstract του dataset, χρησιμοποιώντας ως μέτρο σύγκρισης τις προανατεθειμένες ετικέτες. Τα μοντέλα αξιολογήθηκαν, με βάση τις μετρικές f1 score, precision και recall, με τo ERNIE να καταλαμβάνει την πρώτη θέση, ακολουθούμενο από το BioBERT, RoBERTa, ELECTRA, ενώ το XL-Net και το DistilBERT έλαβαν τις τελευταίες θέσεις.
Description
Keywords
Συγκριτική αξιολόγηση, Αναγνώριση ετικέτας, Μοντέλα μετασχηματιστών