Αναγνώριση συναισθήματος από ομιλία με γενίκευση μεταξύ συνόλων δεδομένων και ανθεκτικότητα στον θόρυβο
Loading...
Files
Date
2026-10-13
Authors
Βασιλόπουλος, Βασίλειος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η παρούσα διατριβή μελετά την Αναγνώριση Συναισθήματος από Ομιλία (Speech Emotion Recognition, SER) σε ένα απαιτητικό σενάριο που συνδυάζει τη γενίκευση μεταξύ διαφορετικών συνόλων δεδομένων με την ανθεκτικότητα στον θόρυβο. Αντί για μεγιστοποίηση της επίδοσης εντός ενός μεμονωμένου συνόλου δεδομένων, διεξάγεται μια αυστηρή, ελεγχόμενη σύγκριση οικογενειών μεθόδων υπό κοινές, εκ των προτέρων καθορισμένες συνθήκες, ώστε να αποτυπώνεται γνήσια ικανότητα μεταφοράς. Η αξιολόγηση ακολουθεί ένα αυστηρό πρωτόκολλο Leave-One-Corpus-Out (LOCO) με δύο σύνολα-στόχους, το RAVDESS και το CREMA-D, ενώ το TESS συμμετέχει μόνο ως σύνολο προέλευσης (source-only)· σε κάθε διάσπαση (LOCO-RAVDESS, LOCO-CREMAD) το σύνολο-στόχος κρατείται εξ ολοκλήρου εκτός εκπαίδευσης. Η ανθεκτικότητα εκτιμάται κατά μήκος μιας κλίμακας SNR, από καθαρές συνθήκες έως τα 0 dB. Συγκρίνονται μια κλασική μέθοδος συμβατικών χαρακτηριστικών (MFCC-CRNN), κωδικοποιητές αυτοεπιβλεπόμενης μάθησης (SSL: wav2vec 2.0, HuBERT, WavLM), ο εμπλουτισμός με θόρυβο, η Επιβλεπόμενη Αντιθετική Μάθηση (SCL), η προσαρμογή πεδίου (DANN, DANN+SCL) και η όψιμη συγχώνευση. Ο σχεδιασμός περιλαμβάνει καθολική βελτιστοποίηση υπερπαραμέτρων, αξιολόγηση 5 seeds, επιλογή μέσω της ευρετικής CompositeScore (0.6 · Clean + 0.4 · SNR0) και μια προκαθορισμένη οικογένεια 22 ζευγαρωτών ελέγχων t με διόρθωση Bonferroni (α = 0.05/22 ≈ 0.0023). Το κύριο εύρημα είναι ότι, υπό αυστηρό πρωτόκολλο LOCO, οι μικρο-ρυθμισμένες (finetuned) αναπαραστάσεις SSL υπερέχουν στατιστικά σημαντικά έναντι των κλασικών μεθόδων συμβατικών χαρακτηριστικών και στα δύο σύνολα-στόχους — οι δύο και μόνες στατιστικά σημαντικές συγκρίσεις της οικογένειας των 22 ελέγχων: στο RAVDESS ΔCompositeScore = +21.73 (p = 4.20e−06) και στο CREMA-D ΔCompositeScore = +14.53 (p = 6.53e−05). Οι υπόλοιπες 20 από τις 22 παραμένουν αμιγώς περιγραφικές και μη σημαντικές μετά τη διόρθωση Bonferroni. Η συνεισφορά είναι μεθοδολογική: ένα ελεγχόμενο, αναπαραγώγιμο πρωτόκολλο αξιολόγησης SER που αναδεικνύει τις μικρο-ρυθμισμένες αναπαραστάσεις SSL ως την ισχυρότερη στατιστικά υποστηριζόμενη οικογένεια αναφοράς υπό αυστηρό LOCO — χωρίς αξίωση κορυφαίας επίδοσης. Τα συμπεράσματα οριοθετούνται από τα μικρά σύνολα επικύρωσης και ελέγχου, τη συντηρητική διόρθωση Bonferroni με n = 5, τη σταθερή εναρμόνιση 8 κλάσεων και την αξιολόγηση έναντι γνωστής (seen) κατανομής θορύβου.
Description
Keywords
Αναγνώριση συναισθήματος από ομιλία, Γενίκευση μεταξύ συνόλων δεδομένων, Αυτοεπιβλεπόμενη μάθηση, Ανθεκτικότητα στον θόρυβο, Διόρθωση Bonferroni