Εφαρμογή τεχνικών μηχανικής μάθησης για αυτοματοποιημένη μετατροπή σχημάτων δεδομένων
Loading...
Date
Authors
Τσάνι, Εριόν
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η ανάπτυξη πολύγλωσσου μοντέλου σε εργασίες Ερώτησης-Απάντησης αποτελεί από μόνο του μία μεγάλη πρόκληση. Σε αυτήν την εργασία παρουσιάζουμε το μοντέλο Generative Pre-trained Transformer 2 (GPT-2) προσαρμοσμένο σε ταυτότητες με διαφορετικές γλώσσες. Η κύρια συνεισφορά της παρούσας εργασίας είναι η αποτελεσματική προσαρμογή της βασικής εργασίας του προ εκπαιδευμένου μοντέλου GPT2, σε εργασία Ερώτησης-Απάντησης. Επιπλέον, το προσαρμοσμένο μοντέλο παρέχει δυνατότητες αναγνώρισης και άλλων γλωσσών πέραν της αγγλικής, καθώς έχει εκπαιδευτεί σε δεδομένα με Ελληνικές, Τουρκικές και Πορτογαλικές ταυτότητες. Όσον αφορά την συγκεκριμένη υλοποίηση, τα πειράματά μας έδειξαν πως μπορούμε να προσαρμόσουμε το μοντελο σε οποιοδήποτε άλλη βάση δεδομένων για την εργασία της Ερώτησης-Απάντησης, πράγμα το οποίο έχει ήδη γίνει, πληροφορίες σε αυτό το paper (Setianto, Tsani, Sadiq, Domalis, Tsakalidis, Kostakos, 2021). Στη συγκεκριμένη εργασία το GPT-2 μοντέλο έχει χρησιμοποιηθεί σε δεδομένα καταγραφής και χρησιμεύει σαν εργαλείο (utility) αναγνώρισης εντολών από hackers, με το σκοπό να μας επιστρέφει ποιες είναι οι εντολές αυτές και με ποια πιθανότητα. Ακόμα, το καλύτερο από τα τέσσερα εκπαιδευμένα μοντέλα (Ελληνικό, Τουρκικό, Πορτογαλικό και Πολύγλωσσο) εξάγει πληροφορίες με μέσο f1-score 99% σε δεδομένα που δεν έχει δει. Ωστόσο, η έρευνά αυτή έδειξε ακόμα πως η προσαρμογή του μοντέλου GPT-2 σε άλλες γλώσσες ενέχει περιορισμούς στο tokenization, καθώς η προ-εκπαίδευση έχει γίνει μόνο για την αγγλική γλώσσα και επομένως συνιστάται η χρήση του για γλώσσες που έχουν ομοιότητες με την αγγλική.
Description
Keywords
Προσαρμογή, Εργασία ερώτησης-απάντησης, Πολύγλωσσα μοντέλα, Μετρική f1-score, Συνθετικά δεδομένα, Ελληνικές ταυτότητες