Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας

datacite.contributor.SupervisorΙωάννης Χατζηλυγερούδης
datacite.contributor.SupervisorΣπυρίδων Σιούτας
datacite.rightshttp://purl.org/coar/access_right/c_abf2el
dc.contributor.authorΧατζηζήσης, Ιωάννης
dc.contributor.otherChatzizisis, Ioannis
dc.date.accessioned2022-08-01T08:21:24Z
dc.date.available2022-08-01T08:21:24Z
dc.date.copyright2022-07-29
dc.degreemasterThesisel
dc.description.abstractΟι Διαλογικοί Πράκτορες (Conversational Agents), μπορούν να οριστούν ως αυτόματα συστήματα, ικανά να προσομοιώσουν μια διαδικασία διαλόγου με έναν άνθρωπο, έτσι ώστε να ολοκληρωθεί κάποια διεργασία, όπως για παράδειγμα η παροχή πληροφοριών ή η εκτέλεση μιας ενέργειας. Το λογισμικό (Διαλογικοί Πράκτορες), δέχεται ως είσοδο προτάσεις φυσικής γλώσσας και «παράγει» ως έξοδο, επίσης, προτάσεις φυσικής γλώσσας, δημιουργώντας, έτσι, μια μορφή συζήτησης, με τη χρήση γραπτού ή προφορικού λόγου. Συνήθως, ένας Διαλογικός Πράκτορας συντίθεται από υποσυστήματα, τα οποία είναι υπεύθυνα για διάφορες λειτουργίες του Πράκτορα, όπως, για παράδειγμα η αναγνώριση της εισόδου, δηλαδή του γραπτού ή του προφορικού λόγου, η Επεξεργασία Φυσικής Γλώσσας, η διαχείριση του διαλόγου, η βάση γνώσης, η παραγωγή φυσικής γλώσσας (Natural Language Generation) και στην περίπτωση που υποστηρίζεται ομιλία, η μετατροπή του κειμένου σε προφορικό λόγο. Με τη σειρά τους, τα παραπάνω υποσυστήματα, αποτελούνται από μια σειρά άλλων σημαντικών διεργασιών, όπως, για παράδειγμα, η γνώση σχετικά με τη σημασιολογία και το συντακτικό του λόγου. Στην παρούσα Διπλωματική Εργασία, μελετώνται, αρχικά, συστήματα Διαλογικών Πρακτόρων, τα οποία στοχεύουν στη διατήρηση ενός φυσικού διαλόγου, ώστε να μπορεί να επιτευχθεί όσο το δυνατόν καλύτερη επικοινωνία μεταξύ ανθρώπου και υπολογιστή. Επομένως, είναι πολύ σημαντική η εστίαση στις τεχνικές που χρησιμοποιούνται, ώστε να επιτευχθεί η φυσικότητα και η αμεσότητα του διαλόγου, οι οποίες αφορούν μεθόδους Μηχανικής ή Βαθιάς Μάθησης. Ένας άλλος τρόπος επικοινωνίας ανθρώπου – μηχανής, είναι μέσω της αλληλεπίδρασης με συστήματα Εικονικής Πραγματικότητας. Η Εικονική Πραγματικότητα είναι μια τεχνολογική περιοχή με πάρα πολλές δυνατότητες και εφαρμογές, που αξιοποιούν τα εργαλεία που παρέχονται, τα οποία προσφέρουν καλύτερη εμπειρία στο χρήστη. Η αύξηση της χρήσης των εικονικών περιβαλλόντων και της Εικονικής Πραγματικότητας, επιτρέπει στο χρήστη να βιώσει εμπειρίες που δε θα βίωνε διαφορετικά στον πραγματικό κόσμο και μιας και είναι μια αλληλεπιδραστική τεχνολογία, η εμβύθιση σε ένα εικονικό περιβάλλον, στο οποίο υπάρχει η προηγούμενη μορφή αλληλεπιδραστικής τεχνολογίας (οι Διαλογικοί Πράκτορες), πρόκειται να προσφέρει στο χρήστη μια πιο πλήρη εμπειρία επικοινωνίας ανθρώπου – υπολογιστή, σε σχέση με καθεμία από τις δυο τεχνολογίες μεμονωμένα. Σε ένα εικονικό περιβάλλον, η παρουσία ενός Διαλογικού Πράκτορα συμβάλλει στην αληθοφάνεια του περιβάλλοντος, αλλά και στην επίτευξη μιας καλύτερης εμπειρίας για το χρήστη, καθώς μπορεί να συμμετέχει σε διαλόγους που θα βοηθήσουν στην απόκτηση μιας πιο πλήρους και πιο εποικοδομητικής εμπειρίας, ενώ ο στόχος της παρουσίας του στο εικονικό περιβάλλον θα επιτευχθεί πιο εύκολα. Έτσι, μια ακόμα πτυχή της Διπλωματικής Εργασίας είναι να μελετηθούν οι τρόποι και οι τεχνικές για την ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικά περιβάλλοντα και η επίτευξη όσο το δυνατόν καλύτερης αλληλεπίδρασης στα πλαίσια των περιβαλλόντων αυτών, αξιοποιώντας τη μελέτη που αφορά το πεδίο των Διαλογικών Πρακτόρων. Στο πλαίσιο αυτό, δημιουργήθηκαν δυο Διαλογικοί Πράκτορες, ένας με τη χρήση μιας ολοκληρωμένης, ισχυρής και δημοφιλούς πλατφόρμας δημιουργίας Διαλογικών Πρακτόρων (Dialogflow) και ένας με τη χρήση της γλώσσας προγραμματισμού Python και τεχνικών Επεξεργασίας Φυσικής Γλώσσας και Βαθιάς Μάθησης. Οι Διαλογικοί Πράκτορες αυτοί, στη συνέχεια, ενσωματώθηκαν σε ένα εικονικό περιβάλλον που δημιουργήθηκε με τη χρήση της πλατφόρμας ανοιχτού κώδικα OpenSimulator (OpenSim). Ο χρήστης, μπορεί να εισέλθει στο εικονικό περιβάλλον και να συνομιλήσει με οποιονδήποτε από τους Διαλογικούς Πράκτορες, με τη χρήση εικονικών χαρακτήρων, οι οποίοι αναπαριστούν τόσο τον ίδιο, όσο και τους Διαλογικούς Πράκτορες. Με την παρούσα μελέτη, γίνονται κατανοητά η λειτουργία και τα υποσυστήματα που συνθέτουν ένα Διαλογικό Πράκτορα, οι τεχνικές Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιούνται και η ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικό περιβάλλον, όπου οι Διαλογικοί Πράκτορες μπορούν να αλληλεπιδρούν με το χρήστη και να απαντούν στα ερωτήματά του. Επιπρόσθετα, παρουσιάζονται αναλυτικά οι διαδικασίες για τη δημιουργία και την ενσωμάτωση των Διαλογικών Πρακτόρων, έτσι ώστε να ξεπεραστούν εμπόδια που θέτει η έλλειψη διεπαφών για την ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικά περιβάλλοντα του OpenSim. Με τον τρόπο αυτό, γίνεται εύκολο και κατανοητό το να δημιουργηθεί ένας Διαλογικός Πράκτορας, σε οποιαδήποτε πλατφόρμα και με οποιεσδήποτε τεχνικές και το να ενσωματωθεί σε ένα εικονικό κόσμο του OpenSim, με τη χρήση της υπάρχουσας υποδομής.el
dc.description.translatedabstractConversational Agents can be defined as automatic systems, capable of simulating a dialogue process with a human, in order to complete a process, such as providing information or performing an action. The software (Conversational Agents) receives, as input, sentenced in natural language and outputs, also, natural language sentences, thus creating a form of conversation, using speech or text. Typically, a Conversational Agent is composed of modules, which are responsible for various functions, such as, input recognition, Natural Language Processing, dialog management, knowledge base, Natural Language Generation, or text-to-speech conversion. These modules consist of a series of other important processes, such as, knowledge about semantics and syntax. In this Thesis, Conversational Agent systems are studied, which aim to maintain a natural dialogue, so that, the best possible communication between human and computer can be achieved. Therefore, it is very important to focus on the techniques used, in order to achieve the naturalness and immediacy of the dialogue, which involve Machine Learning or Deep Learning methods. Another way of human – machine communication is through interaction with Virtual Reality systems. Virtual Reality is a technological area with many possibilities and applications, which takes advantage of the tools provided, offering a better user experience. The increase in the use of virtual environments and Virtual Reality allows the user to have experiences that could not be experienced, otherwise, in the real world and since it is an interactive technology, immersion in a virtual environment, in which the aforementioned form of interaction technology (the Conversational Agents) exists, is going to offer the user a more complete experience of human – computer communication, than using each of the two technologies individually. In a virtual environment, the presence of a Conversational Agent contributes to the verisimilitude of the environment, but also to achieving a better experience for the user, as they can participate in dialogues that will help to obtain a more complete and constructive experience, while the goal of his presence in the virtual environment will be more easily fulfilled. Thus, another aspect of this Thesis is to study the ways and the techniques for integrating a Conversational Agents in virtual environments and to achieve the best possible interaction in the context of these environments, using the study concerning the field of Conversational Agents. In this context, there were created two Conversational Agents: one using a comprehensive, robust and popular Conversational Agent platform (Google Dialogflow) and one using the Python programming language and Natural Language Processing and Deep Learning techniques. These Conversational Agents were, then, embedded in a virtual environment created using the open-source platform OpenSimulator (OpenSim). The user can enter the virtual environment and talk to any of the Conversational Agents, using virtual characters (avatars), which represent the user and the Conversational Agents. With the present study, the function and the subsystems that compose a Conversational Agent, the Natural Language Processing techniques used and the integration of Conversational Agents in a virtual environment, where the Conversational Agents can interact with the user and respond to their queries, are made clear. Furthermore, the procedures for the creation and integration of Conversational Agents are presented in detail, so as to overcome obstacles posed by the lack of interfaces for the integration of Conversational Agents into OpenSim virtual environments. In this way, the creation of a Conversational Agent, on any platform and with various techniques, and the integration of it into an OpenSim virtual world, using the existing infrastructure, become easy and understandable processes.el
dc.identifier.urihttp://hdl.handle.net/10889/16576
dc.language.isogrel
dc.subjectΔιαλογικοί πράκτορεςel
dc.subjectΕικονική πραγματικότηταel
dc.subjectΕικονικά περιβάλλονταel
dc.subjectΤεχνητή νοημοσύνηel
dc.subjectΜηχανική μάθησηel
dc.subjectΒαθιά μάθησηel
dc.subjectΑλληλεπίδραση ανθρώπου-υπολογιστήel
dc.subjectΔιαλογική απάντηση ερωτημάτωνel
dc.subjectΕικονικοί κόσμοιel
dc.subject.alternativeConversational agentsel
dc.subject.alternativeVirtual realityel
dc.subject.alternativevirtual environmentsel
dc.subject.alternativeArtificial intelligenceel
dc.subject.alternativeMachine learningel
dc.subject.alternativeDeep learningel
dc.subject.alternativeHuman-computer interactionel
dc.subject.alternativeConversational question answeringel
dc.subject.alternativeVirtual worldsel
dc.subject.alternativeOpenSimel
dc.titleΤεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότηταςel
dc.title.alternativeNatural language processing and question answering techniques for communication with conversational agents in virtual reality environmentsel
oaire.licenseConditionhttps://creativecommons.org/licenses/by-nc-sa/4.0/el
Files
Original bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
Chatzizisis_I_MasterThesis.pdf
Size:
3.57 MB
Format:
Adobe Portable Document Format
Description:
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
4.53 KB
Format:
Item-specific license agreed upon to submission
Description: