Συσταδοποίηση κειμένων σε αγγλικά και ελληνικά κείμενα : μια επισκόπηση της βιβλιογραφίας
Loading...
Date
2025-06-26
Authors
Γεωργαρίου, Γεώργιος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η συσταδοποίηση δεδομένων είναι ένα ερευνητικό πρόβλημα των τομέων επεξεργασίας φυσικής γλώσσας και μη επιβλεπόμενης μηχανικής μάθησης. Ο κύριος στόχος της είναι η οργάνωση παρόμοιων δεδομένων σε ομάδες (συστάδες) για τη διευκόλυνση της αναζήτησης, ευρετηρίασης και εξόρυξης δεδομένων. Η παρούσα διπλωματική εργασία εστιάζει πλήρως στη συσταδοποίηση κειμένων, στην οποία τα έγγραφα οργανώνονται σε μία συστάδα ώστε να παρουσιάζουν υψηλή ομοιότητα μεταξύ τους, σε σύγκριση με έγγραφα άλλων συστάδων. Ακόμη στην εργασία μελετώνται διάφορες μέθοδοι αναπαράστασης κειμένου σε μορφή διανυσμάτων (μέθοδοι διανυσματοποίησης) καθώς και πως αυτές επηρεάζουν την απόδοση των αλγορίθμων συσταδοποίησης. Οι μέθοδοι που εξετάζονται περιλαμβάνουν το TF-IDF (ένα στατιστικό μέτρο που αξιολογεί πόσο σχετική είναι μια λέξη ανάμεσα σε μια συλλογή εγγράφων), στατικές διανυσματικές αναπαραστάσεις λέξεων (νευρωνικά δίκτυα που εκπαιδεύονται στη στατιστική συν-εμφάνιση των λέξεων), δυναμικές διανυσματικές αναπαραστάσεις βάσει των συμφραζομένων (που βασίζονται στα μοντέλα βαθιάς μηχανικής μάθησης των Μετασχηματιστών). Στη συνέχεια, υλοποιήθηκε η πειραματική διαδικασία, κατά την οποία αξιολογήθηκαν οι προσεγγίσεις που προκύπτουν από τον συνδυασμό των μεθόδων διανυσματοποίησης και τους αλγορίθμους συσταδοποίησης. Οι προσεγγίσεις αυτές αξιολογήθηκαν σε πολλές μετρικές αξιολόγησης και γνωστά σύνολα δεδομένων κατηγοριοποίησης της αγγλικής και ελληνικής γλώσσας (που προσαρμόστηκαν για το πρόβλημα της συσταδοποίησης). Τέλος, από τη πειραματική διαδικασία της διπλωματικής εργασίας προέκυψαν χρήσιμες παρατηρήσεις, συμπεράσματα και μελλοντικές ερευνητικές κατευθύνσεις.
Description
Keywords
Τεχνητή νοημοσύνη, Μηχανική μάθηση, Μη επιβλεπόμενη μάθηση, Συσταδοποίηση κειμένων, Επεξεργασία φυσικής γλώσσας, Βαθιά μηχανική μάθηση