Εξόρυξη και ανάλυση πληροφορίας από κείμενο και φυσική γλώσσα
Loading...
Date
2025-09-19
Authors
Παπαγεωργίου, Γρηγόριος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η παρούσα διδακτορική διατριβή εστιάζει στην αξιοποίηση πληροφορίας που προέρχεται από αδόμητο και ημι-δομημένο κείμενο, με σκοπό την εξαγωγή γνώσης από φυσική γλώσσα. Βασικός στόχος αποτελεί η ανάπτυξη μεθοδολογιών που είτε μετασχηματίζουν την αδόμητη πληροφορία σε μορφή κατάλληλη για εφαρμογή παραδοσιακών τεχνικών ανάλυσης, είτε επιτρέπουν την άμεση επεξεργασία της χωρίς απαίτηση προκαθορισμένης δομής. Οι προτεινόμενες μεθοδολογίες υποστηρίζουν, την κατηγοριοποίηση πληροφοριών, την ανίχνευση θεματικών ενοτήτων και τάσεων, την παρακολούθηση ροών κειμένου σε πραγματικό χρόνο, την πρόβλεψη συναισθηματικών μεταβολών και την ανάκτηση κρίσιμων πληροφοριών από ελεύθερο κείμενο συμβάλλοντας έτσι στην ουσιαστική κατανόηση και αξιοποίηση πολύπλοκων ροών πληροφορίας. Στοιχεία, τα οποία αποτελούν σημαντικά εργαλεία σε σύνθετα περιβάλλοντα όπου απαιτείται ανάλυση επιχειρηματικών πληροφοριών, ανάλυση τεχνικών εκθέσεων, περιγραφών έργων ή καταγραφών πεδίου.
Στο Πρώτο Κεφάλαιο παρουσιάζεται μια συνοπτική επισκόπηση των μορφών του γραπτού λόγου, εξετάζοντας την εξέλιξή τους από τα αρχαία χρόνια έως σήμερα, καθώς και τη σημασία τους για τη διατήρηση της γνώσης και την πρόοδο σε διάφορους τομείς. Ακολουθεί ανάλυση της τεχνολογικής προόδου που έχει δημιουργήσει νέες δυνατότητες για την αξιοποίηση των κειμενικών δεδομένων. Εξετάζονται οι διαφορετικές μορφές κειμένου που εντοπίζονται, καθώς και τα βασικά στάδια προεπεξεργασίας που καθιστούν το κείμενο κατάλληλο για επεξεργασία με σύγχρονες τεχνολογικές μεθόδους από το πεδίο της μηχανικής μάθησης. Επιπλέον, δίνεται έμφαση στο υποσύνολο της μηχανικής μάθησης που αφορά στη βαθιά μάθηση, η οποία βασίζεται σε νευρωνικά δίκτυα, με αναλυτική παρουσίαση των σχετικών αλγορίθμων. Το κεφάλαιο ολοκληρώνεται με την περιγραφή μετρικών αξιολόγησης που χρησιμοποιούνται για την εκτίμηση της αποτελεσματικότητας των προτεινόμενων τεχνικών στην επίτευξη ποιοτικών αποτελεσμάτων.
Στο Δεύτερο Κεφάλαιο, πραγματοποιείται η βιβλιογραφική ανασκόπηση ξεκινώντας με μια συνοπτική ιστορική επισκόπηση της Επεξεργασίας Φυσικής Γλώσσας, των πρώτων μεθόδων που αναπτύχθηκαν στον τομέα και της σταδιακής τους εξέλιξης με την πάροδο του χρόνου. Στη συνέχεια, παρουσιάζονται ερευνητικές εργασίες που αξιοποιούν διαφορετικά στάδια προεπεξεργασίας, με σκοπό τη βελτιστοποίηση της ακρίβειας και της αποδοτικότητας των συστημάτων Natural Language Processing (NLP). Εξετάζονται εφαρμογές ταξινόμησης κειμένων σε πραγματικά προβλήματα, καθώς και μελέτες που βασίζονται στη θεματική μοντελοποίηση για την ανάδειξη κρυφών εννοιολογικών δομών. Επιπλέον, περιγράφονται τεχνικές οπτικοποίησης και αναλυτικής διερεύνησης κειμένου που στοχεύουν στη βελτίωση της κατανόησης και της ερμηνείας των δεδομένων και των αποτελεσμάτων. Τέλος, περιλαμβάνονται προσεγγίσεις εξόρυξης πληροφορίας από αδόμητο κείμενο, με στόχο τη μετατροπή του σε δομημένη μορφή, ικανή να αξιοποιηθεί περαιτέρω για ανάλυση.
Στο Τρίτο Κεφάλαιο, σχεδιάζεται ένας αλγόριθμος ταξινόμησης δύο σταδίων, συνοδευόμενος από μια διαδικασία επισήμανσης δύο κύκλων, με σκοπό την επιτάχυνση και τη βελτίωση της ακρίβειας στη διαδικασία κατηγοριοποίησης. Στο πρώτο στάδιο, γίνεται φιλτράρισμα των χρήσιμων πληροφοριών από τον συνολικό όγκο των δεδομένων, ενώ στο δεύτερο στάδιο οι πληροφορίες αυτές ταξινομούνται σε θεματικές κατηγορίες ανάλογα με το περιεχόμενό τους. Η διαδικασία επισήμανσης ξεκινά με ένα μικρό σύνολο δεδομένων επισημασμένων από ειδικούς, το οποίο χρησιμοποιείται για την αρχική εκπαίδευση του αλγορίθμου. Στη συνέχεια, οι ειδικοί ελέγχουν και διορθώνουν τις προβλέψεις του μοντέλου σε νέα, μη επισημασμένα δεδομένα, ενισχύοντας έτσι την ταχύτητα δημιουργίας και επικύρωσης νέων επισημασμένων δεδομένων. Τα αποτελέσματα, σε πραγματικά δεδομένα από το τομέα των θαλάσσιων μεταφορών, δείχνουν ότι η προσέγγιση δύο σταδίων υπερτερεί της απλής ταξινόμησης ενός βήματος.
Στο Τέταρτο Κεφάλαιο, αναπτύσσεται ένας αλγόριθμος που βασίζεται στον αυτόματο εντοπισμό ερευνητικών θεμάτων ή συστάδων μέσα από ένα εκτεταμένο σύνολο εγγράφων διαφορετικών χρονικών περιόδων. Ο αλγόριθμος αυτός συνδυάζει τεχνικές θεματικής μοντελοποίησης, γεωμετρικά χαρακτηριστικά και Μεγάλα Γλωσσικά Μοντέλα, με στόχο την υποστήριξη της συστηματικής διερεύνησης και την αναγνώριση τάσεων στον χρόνο. Παράλληλα, λειτουργεί ως πολύτιμο εργαλείο για την υποβοήθηση των ειδικών, επιτρέποντάς τους να εστιάζουν σε συγκεκριμένες, ομοιογενείς περιοχές εντός επιστημονικών κλάδων ή θεματικών συστάδων. Η μέθοδος εφαρμόστηκε με επιτυχία στη βιβλιογραφία, μέσα από διάφορες παραλλαγές της, στον τομέα των χρονοσειρών, στην επιστήμη των πολιτικών μηχανικών και της ιατρικής, αναδεικνύοντας την προσαρμοστικότητα και την αποτελεσματικότητά της σε διαφορετικά επιστημονικά πεδία.
Στο Πέμπτο Κεφάλαιο, προτείνονται δύο προσεγγίσεις που περιλαμβάνουν μια μέθοδο δυναμικής παρακολούθησης των εξελισσόμενων ροών κειμένου και μία μέθοδο πρόβλεψης της συναισθηματικής πολικότητας των κειμένων. Η πρώτη μέθοδος συνδυάζει τεχνικές επεξεργασίας φυσικής γλώσσας και οπτικοποίησης κειμένου με παραδοσιακούς αλγορίθμους παρακολούθησης διαδικασιών, με στόχο τη βελτίωση της ανάλυσης και κατανόησης των εξελισσόμενων ροών πληροφορίας. Η δεύτερη μέθοδος ενσωματώνει τεχνικές ανάλυσης συναισθήματος με μεθοδολογίες χρονοσειρών, επιδιώκοντας την ανίχνευση μακροχρόνιων τάσεων και τη διαμόρφωση προβλεπτικών μοντέλων που αποτυπώνουν τη δυναμική εξέλιξη του συναισθηματικού περιεχομένου. Συνολικά, οι προτεινόμενες μέθοδοι συνθέτουν ένα ολοκληρωμένο και ευέλικτο μεθοδολογικό πλαίσιο για τη δυναμική ανάλυση και παρακολούθηση χρονικά μεταβαλλόμενων αδόμητων δεδομένων, ενισχύοντας τη λήψη τεκμηριωμένων αποφάσεων και προάγοντας τη βαθύτερη κατανόηση των εξελικτικών τάσεων σε επιχειρησιακά και κοινωνικά περιβάλλοντα.
Στο Έκτο Κεφάλαιο, προτείνεται μια καινοτόμος προσέγγιση δύο σταδίων, η οποία ενσωματώνει τεχνικές μηχανικής μάθησης με στόχο την εξαγωγή και μετατροπή πληροφορίας από αδόμητο κείμενο σε δομημένη μορφή. Στο πρώτο στάδιο, εφαρμόζεται διαδικασία φιλτραρίσματος προτάσεων, με σκοπό την επιλογή των προτάσεων που περιέχουν πληροφορίες χρήσιμες για την ανάλυση. Ακολουθεί το δεύτερο στάδιο, στο οποίο υλοποιείται ταξινόμηση όρων, μέσω τεχνικών εξαγωγής χαρακτηριστικών, σε προκαθορισμένες κατηγορίες ενδιαφέροντος που έχουν οριστεί από εμπειρογνώμονες. Η προτεινόμενη μέθοδος αποσκοπεί στην ανάπτυξη ενός ευέλικτου και υψηλής ακρίβειας πλαισίου για την επεξεργασία και ανάλυση ανάλυση αδόμητου κειμένου, με τελικό σκοπό τη μετατροπή του σε αξιοποιήσιμη, δομημένη πληροφορία. Η αποτελεσματικότητά της αποδεικνύεται μέσω της εφαρμογής της σε πραγματικά σύνολα δεδομένων από τους τομείς της ιατρικής και της ναυτιλίας.
Στο Έβδομο Κεφάλαιο, συνοψίζονται τα συμπεράσματα που προκύπτουν από τις διαφορετικές μεθόδους που αναπτύχθηκαν. Τα ευρήματα της μελέτης καταδεικνύουν ότι η αξιοποίηση της αδόμητης πληροφορίας είναι όχι μόνο εφικτή, αλλά και ιδιαίτερα ακριβής, προσφέροντας σημαντικά πλεονεκτήματα. Η δυνατότητα εξαγωγής ουσιαστικής πληροφορίας από μη δομημένα δεδομένα αποτελεί στρατηγικό εργαλείο για επιχειρήσεις, οργανισμούς καθώς και ερευνητές, καθώς επιταχύνει την αναγνώριση θεμάτων ενδιαφέροντος και ενισχύει την κατανόησή τους. Αυτό οδηγεί σε ταχύτερη και αποτελεσματικότερη οργάνωση της πληροφορίας, βελτιώνοντας την ανταγωνιστικότητα και τη λήψη αποφάσεων. Σε έναν κόσμο όπου ο όγκος της αδόμητης πληροφορίας αυξάνεται εκθετικά, η ανάγκη για τέτοιου είδους μεθόδους είναι πιο επιτακτική από ποτέ, καθιστώντας την αξιοποίησή τους κρίσιμο παράγοντα επιτυχίας στη σύγχρονη εποχή των δεδομένων.
Description
Keywords
Επεξεργασία φυσικής γλώσσας, Μεγάλα γλωσσικά μοντέλα, Εξόρυξη πληροφορίας κειμένου, Μηχανική μάθηση, Βαθιά μάθηση