Εφαρμογή τεχνικών ανάλυσης κειμένου για τον εντοπισμό και την απαλοιφή ασυνάρτητου κειμένου (gibberish)
Loading...
Date
2022-09-29
Authors
Γκοτσούλιας, Κωνσταντίνος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Για την εφαρμογή τεχνικών επεξεργασίας φυσικής γλώσσας η προ-επεξεργασία κειμένου αποτελεί ένα σημαντικό καθώς και αναπόσπαστο κομμάτι της. Στα ακατέργαστα δεδομένα υπάρχει πολύ μεγάλη πιθανότητα να περιέχεται ανεπιθύμητο περιεχόμενο γνωστό και ως «θόρυβος», καθιστώντας τα δεδομένα δυσνόητα και δύσκολα στην ανάλυση. Ο σκοπός της επεξεργασία της φυσικής γλώσσας είναι οι ανάπτυξη μοντέλων που, κατά κύριο λόγο, βασίζονται σε αλγορίθμους μηχανικής μάθησης. Επομένως η προ-επεξεργασία των δεδομένων συμβάλει στην μείωση του θόρυβό τους, έχοντας μεγάλο αντίκτυπο στην ανάλυση τους και κατ’ επέκταση την αύξηση της ακρίβειας των μοντέλων μηχανικής μάθησης και τεχνητής νοημοσύνης. Ο «θόρυβος» μεταφράζεται σε ορθογραφικά λάθη, ειδικούς χαρακτήρες όπως «!@ κ.ο.κ.» αλλά και σε ασυναρτησίες. Οι ασυναρτησίες είναι κείμενο το οποίο δεν έχει νόημα, κείμενο το οποίο προήλθε από τυχαία πληκτρολόγηση χαρακτήρων.
Η παρούσα εργασία αφορά την μελέτη, σχεδίαση, υλοποίηση και αξιολόγηση ενός αποτελεσματικότερου αλγόριθμου εύρεσης & απαλοιφής ασυναρτησιών. Οι ασυναρτησίες (gibberish) αποτελούν ένα σημαντικό βήμα για την προ-επεξεργασία των δεδομένων, ειδικά τα τελευταία χρόνια, με την αύξηση των εφαρμογών όπου οι χρήστες επικοινωνούν με μηνύματα μεταξύ τους. Τα αποτελέσματα έδειξαν την αποτελεσματικότητα και ευελιξία του αλγορίθμου να ανταπεξέλθει σε πολλαπλές κατηγορίες μηνυμάτων όπως gibberish, κανονικές λέξεις, emoji, συνδυασμός των κατηγοριών κ.ο.κ(βλέπε κεφ 5.2).
Description
Keywords
Ασυνάρτητο κείμενο, Τεχνικές ανάλυσης κειμένου