Evaluating the effectiveness of an adaptive game based on player's emotions
| datacite.contributor.RelatedPerson | Ρήγκου, Μαρία | |
| datacite.contributor.RelatedPerson | Κομνηνός, Ανδρέας | |
| datacite.contributor.Supervisor | Ξένος, Μιχάλης | |
| dc.contributor.author | Σαμαντά, Μαρία | |
| dc.contributor.other | Samanta, Maria | |
| dc.date.accessioned | 2025-07-02T09:56:57Z | |
| dc.date.available | 2025-07-02T09:56:57Z | |
| dc.date.issued | 2025-06-30 | |
| dc.degree | masterThesis | |
| dc.description.abstract | This thesis investigates how facial emotion recognition can be used to create more personalized and responsive gaming experiences through emotion-adaptive design. The central scientific problem addressed is the integration of emotional feedback into real-time gameplay in a way that meaningfully affects the player’s experience. To explore this, a 2D platformer game was developed in Unity that dynamically adapts its mechanics based on the player’s facial expressions. A standalone emotion recognition system was used to classify four emotional states (Happy, Sad, Angry, and Surprised) using webcam input. These predictions were transmitted to the game in real time and used as implicit input to trigger changes in gameplay elements such as enemy speed, obstacle behavior, supportive power-ups, and background music tone. A controlled user study involving 37 participants was conducted to evaluate the system. Each participant played one static and one emotion-adaptive level in randomized order. Data collection included questionnaires, gameplay logs, and EDA signals, which were used to both assess player experience and validate the FER system. Chapter 2 presents the related literature on affective computing, emotion-adaptive interfaces, emotion recognition techniques, and the role of gamification and platformer games in HCI research. Chapter 3 outlines the design and implementation of the game, including game mechanics, level design, and adaptive features. Chapter 4 describes the experimental protocol and data collection process, covering gameplay sessions, questionnaire design, integration with the FER module, and physiological signal acquisition. Chapter 5 details the preprocessing steps applied to the gameplay logs, EDA recordings, and questionnaire responses, ensuring clean and analyzable datasets. Chapter 6 presents the results of the study, analyzing player experience, awareness of adaptation, performance differences, gender and gamer-type effects, and physiological validation of the FER system. The results showed that more than half of the participants were able to correctly identify the adaptive level, suggesting that the emotion-driven mechanics, though subtle, were detectible. Subjective ratings indicated small but consistent differences in perceived difficulty and control. Objective data revealed that performance improved in the second level played, regardless of type, due to learning effects. Gender and gaming experience had strong effects on both performance and perception, with female players encountering more difficulty and gamers benefiting more from the adaptive gameplay. EDA signals confirmed increased arousal during the dynamic level and during “Sad” emotion segments, supporting partial validity of the FER system. However, issues such as misclassifications, undetected emotions, and participant fatigue limited overall reliability. This work contributes to the growing field of emotion-aware game design by demonstrating a functional emotion-adaptive system and offering a framework for its evaluation. Limitations include a relatively small sample, subtle adaptations that were sometimes misunderstood, and technical constraints in emotion detection. Future research could improve recognition robustness by using newer training data and include additional emotion modalities to detect player’s emotion such as posture and EDA. The findings support the potential of emotion-adaptive systems and highlight opportunities for creating more inclusive and emotionally engaging interactive experiences. | |
| dc.description.translatedabstract | Η παρούσα διπλωματική εργασία διερευνά πώς τα συναισθήματα ενός χρήστη μπορούν να χρησιμοποιηθούν για τη δημιουργία εξατομικευμένου παιχνιδιού που προσαρμόζονται σε αυτά. Το κεντρικό επιστημονικό πρόβλημα που διερευνάται είναι πως μπορεί η συναισθηματική ανατροφοδότηση του παίκτη να ενσωματωθεί στο παιχνίδι σε πραγματικό χρόνο με τέτοιο τρόπο ώστε να επηρεάσει την εμπειρία χρήσης του. Για να διερευνηθεί αυτό, αναπτύχθηκε ένα δισδιάστατο παιχνίδι platformer στο Unity που προσαρμόζει δυναμικά τα χαρακτηριστικά του με βάση τις εκφράσεις του προσώπου του παίκτη. Χρησιμοποιήθηκε ένα αυτόνομο σύστημα αναγνώρισης συναισθημάτων μέσω των εκφράσεων του προσώπου (FER) για την ταξινόμηση τεσσάρων συναισθηματικών καταστάσεων (Χαρούμενος, Λυπημένος, Θυμωμένος και Έκπληκτος) χρησιμοποιώντας ως είσοδο την κάμερα υπολογιστή. Οι προβλέψεις του μοντέλου μεταδίδονταν στο παιχνίδι σε πραγματικό χρόνο και χρησιμοποιήθηκαν ως έμμεση είσοδος για να προκαλέσουν αλλαγές σε στοιχεία του gameplay, όπως η ταχύτητα των εχθρών, η συμπεριφορά εμποδίων και ο τόνος της μουσικής. Για να αξιολογηθεί το σύστημα, διεξάχθηκε ένα πείραμα χρηστών με 37 συμμετέχοντες. Κάθε συμμετέχων έπαιξε ένα στατικό και ένα συναισθηματικά προσαρμοστικό-δυναμικό επίπεδο του παιχνιδιού σε τυχαία σειρά. Η συλλογή δεδομένων αποτελούνταν από ερωτηματολόγια, αρχεία καταγραφής στατιστικών στοιχείων κατά τη διάρκεια του gameplay και σήματα EDA, τα οποία χρησιμοποιήθηκαν τόσο για την αξιολόγηση της εμπειρίας του παίκτη όσο και για την αξιολόγηση του συστήματος FER. Το Κεφάλαιο 2 παρουσιάζει τη σχετική βιβλιογραφία σχετικά με την συναισθηματική υπολογιστική, τις διεπαφές που προσαρμόζονται σε συναισθήματα, τις τεχνικές αναγνώρισης συναισθημάτων και τον ρόλο της παιχνιδοποίησης και των παιχνιδιών platformer στην έρευνα του HCI. Το Κεφάλαιο 3 περιγράφει τον σχεδιασμό και την υλοποίηση του παιχνιδιού, συμπεριλαμβανομένων των μηχανισμών του παιχνιδιού, του σχεδιασμού των επιπέδων και των προσαρμοστικών χαρακτηριστικών. Το Κεφάλαιο 4 περιγράφει το πειραματικό πρωτόκολλο και τη διαδικασία συλλογής δεδομένων, καλύπτοντας τον σχεδιασμό του ερωτηματολογίου, την ενσωμάτωση με το σύστημα FER και την καταγραφή φυσιολογικών σημάτων EDA. Το Κεφάλαιο 5 περιγράφει λεπτομερώς τα βήματα προεπεξεργασίας που εφαρμόστηκαν σε όλα τα δεδομένα, πριν το στάδιο της ανάλυσης. Το Κεφάλαιο 6 παρουσιάζει τα αποτελέσματα της μελέτης, αναλύοντας την εμπειρία του παίκτη, την επίγνωση της προσαρμοστικότητας του παιχνιδιού, τις διαφορές στην απόδοση, τις επιδράσεις φύλου και εμπειρίας του παίκτη και την αξιολόγηση του συστήματος FER. Τα αποτελέσματα έδειξαν ότι περισσότεροι από τους μισούς συμμετέχοντες ήταν σε θέση να αναγνωρίσουν σωστά το δυναμικό επίπεδο, υποδηλώνοντας ότι τα χαρακτηριστικά που καθοδηγούνται από τα συναισθήματα, αν και ανεπαίσθητα, ήταν ανιχνεύσιμα. Οι αξιολογήσεις των χρηστών έδειξαν μικρές αλλά σταθερές διαφορές στην δυσκολία και τον έλεγχο του παιχνιδιού. Τα δεδομένα από τις καταγραφές του παιχνιδιού αποκάλυψαν ότι η απόδοση βελτιώθηκε στο δεύτερο επίπεδο, ανεξάρτητα από τον τύπο, λόγω της εξοικείωσης των χρηστών. Το φύλο και η εμπειρία του παίκτη είχαν ισχυρές επιπτώσεις τόσο στην απόδοση όσο και στην αντίληψη, με τις γυναίκες να αντιμετωπίζουν περισσότερες δυσκολίες και τους έμπειρους παίκτες να επωφελούνται περισσότερο από το προσαρμοστικό gameplay. Τα σήματα EDA επιβεβαίωσαν αυξημένη διέγερση κατά τη διάρκεια του δυναμικού επιπέδου και κατά τη διάρκεια της αναγνώρισης του συναισθήματος "Λυπημένος", υποστηρίζοντας τη μερική εγκυρότητα του συστήματος FER. Ωστόσο, ζητήματα όπως οι λανθασμένες ταξινομήσεις, τα μη ανιχνεύσιμα συναισθήματα και η κόπωση των συμμετεχόντων περιόρισαν τη συνολική αξιοπιστία του συστήματος. Αυτή η εργασία συμβάλλει στον αναπτυσσόμενο τομέα του σχεδιασμού παιχνιδιών που λαμβάνουν υπόψιν τα συναισθήματα των χρηστών, παρουσιάζοντας ένα λειτουργικό σύστημα που προσαρμόζεται στα συναισθήματα του χρήστη και προσφέροντας ένα πλαίσιο για την αξιολόγησή του. Οι περιορισμοί περιλαμβάνουν ένα σχετικά μικρό δείγμα συμμετεχόντων, ανεπαίσθητες προσαρμοστικές αλλαγές που μερικές φορές παρεξηγούνταν και τεχνικούς περιορισμούς στην ανίχνευση συναισθημάτων. Η μελλοντική έρευνα θα μπορούσε να βελτιώσει το σύστημα της αναγνώρισης συναισθημάτων χρησιμοποιώντας νεότερα δεδομένα εκπαίδευσης για το μοντέλο και να ενσωματώσει επιπλέον μεθόδους αναγνώρισης συναισθημάτων του παίκτη, όπως η στάση του σώματος και η ηλεκτροδερμική δραστηριότητα (EDA). Τα ευρήματα υποστηρίζουν τις δυνατότητες των συστημάτων που προσαρμόζονται δυναμικά στα συναισθήματα των χρηστών τους και αναδεικνύουν ευκαιρίες για τη δημιουργία πιο ελκυστικών και καθηλωτικών διαδραστικών εμπειριών. | |
| dc.identifier.uri | https://hdl.handle.net/10889/29850 | |
| dc.language.iso | en | |
| dc.rights | Attribution-NonCommercial 4.0 International | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc/4.0/ | |
| dc.subject | Emotions | |
| dc.subject | Games | |
| dc.subject | Adaptive games | |
| dc.subject.alternative | Συναισθήματα | |
| dc.subject.alternative | Παιχνίδια | |
| dc.subject.alternative | Προσαρμοζόμενα παιχνίδια | |
| dc.title | Evaluating the effectiveness of an adaptive game based on player's emotions | |
| dc.title.alternative | Αξιολόγηση αποτελεσματικότητας παιχνιδιού που προσαρμόζεται με βάση τα συναισθήματα του παίκτη |