Χρήση μετασχηματιστών για βελτίωση της απόδοσης μοντέλων ΑΠ βασισμένων σε γραφήματα
Loading...
Date
2025-10-03
Authors
Σοϊλεμεζίδης Αλέξανδρος-Παναγιώτης
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Σκοπός της παρούσας διπλωματικής εργασίας είναι η πρόταση δύο καινοτόμων μοντέλων ανάκτησης πληροφορίας τα οποία συνδυάζουν την αναπαράσταση των εγγράφων υπό τη μορφή γραφημάτων με τη χρήση μετασχηματιστών. Συγκεκριμένα, γίνεται προεπεξεργασία των εγγράφων μέσω του μοντέλου BERT, τα αποτελέσματα της οποίας εφαρμόζονται ως είσοδος στο Γραφικό Μοντέλο Βασισμένο σε Σύνολα (Graphical Set-Based Model, GSB). Η αξιοποίηση των διανυσματικών ενσωματώσεων που παράγονται από το μοντέλο BERT, αλλά και η διαμέριση σε λεκτικές μονάδες (tokenization) των όρων φυσικής γλώσσας προς επεξεργασία, επιφέρει σημαντική βελτίωση της απόδοσης του μοντέλου. Τα μοντέλα που προτείνονται είναι το μοντέλο GSB με διαμέριση σε λεκτικές μονάδες (TokenizedGSB) και το Γραφικό Μοντέλο με Ενσωματώσεις Μετασχηματιστή (GIRTE). Στην πρώτη περίπτωση, χρησιμοποιείται μόνο ο διαχωριστής λεκτικών μονάδων του μοντέλου BERT (BertTokenizer) για τη μετατροπή των όρων που εμφανίζονται στα έγγραφα και τα ερωτήματα προς επεξεργασία σε λεκτικές μονάδες (tokens), οι οποίες μοντελοποιούνται υπό τη μορφή κόμβων, σχηματίζοντας γραφήματα. Στη συνέχεια, δημιουργείται ένα ενιαίο γράφημα, το βάρος των ακμών του οποίου υπολογίζεται βάσει της συχνότητας εμφάνισης των λεκτικών μονάδων στα έγγραφα. Στη δεύτερη περίπτωση, πέραν της παραπάνω διαδικασίας, οι λεκτικές μονάδες αποκτούν πυκνές διανυσματικές αναπαραστάσεις εξαρτώμενες από τα συμφραζόμενα (contextual embeddings), μέσω του μοντέλου BERT. Οι αναπαραστάσεις αυτές χρησιμοποιούνται για τον υπολογισμό της ομοιότητας μεταξύ των λεκτικών μονάδων, το οποίο είναι το κριτήριο για τη βαθμονόμηση των ακμών του ενιαίου γραφήματος σε αυτό το μοντέλο. Επιπλέον, για όλα τα προτεινόμενα μοντέλα γίνεται πειραματική μελέτη σχετικά με τη σημασία των ασήμαντων λέξεων (stopwords), τόσο στα έγγραφα όσο και σταερωτήματα, και τις επιπτώσεις της αφαίρεσης τους στα αποτελέσματα. Χαρακτηριστικό πλεονέκτημα των προτεινόμενων μοντέλων είναι η συγκέντρωση όλων των χρονοβόρων και υπολογιστικά απαιτητικών διαδικασιών που συνδέονται με τους μετασχηματιστές σε μια φάση προεπεξεργασίας, έτσι ώστε οι επεκτάσεις να προσ-φέρουν όχι μόνο αύξηση της απόδοσης, αλλά και μείωση του χρόνου απάντησης σε ερωτήματα σε σχέση με το μοντέλο GSB. Κατά τη διαδικασία ανάκτησης γίνεται συνδυασμός της τεχνικής του μοντέλου βασισμένου σε σύνολα (Set-Based Model) με τη θεωρία γραφημάτων για την κατάταξη των εγγράφων. Η παρούσα έρευνα επιδιώκει να προσφέρει έναν πρωτοπόρο νέο τρόπο αξιοποίησης των πλέον διαδεδομένων μετασχηματιστών, χρησιμοποιώντας τους σε συνδυασμό με αυτές τις μεθόδους.
Description
Keywords
Ανάκτηση πληροφορίας, Μετασχηματιστές, Επεξεργασία φυσικής γλώσσας, Μοντέλα BERT, Διανυσματικές αναπαραστάσεις όρων, Γραφικό μοντέλο βασισμένο σε σύνολα, Νευρωνικά δίκτυα, Μηχανική μάθηση