Αυτόματος διαχωρισμός ακουστικών πηγών με υποβοήθηση οπτικής πληροφορίας
Loading...
Date
2026-04-02
Authors
Πολίτη, Τατιανή
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Το πρόβλημα του διαχωρισμού ακουστικών πηγών ερευνάται τις τελευταίες δεκαετίες και έγκειται στην εκτίμηση των επιμέρους πηγών μιας μονοκαναλικής ή πολυκαναλικής μίξης. Ο ανθρώπινος εγκέφαλος επιτελεί αυτή τη διαδικασία αυτόματα – για παράδειγμα, μέσω του φαινομένου “cocktail party effect”, όπου ένας ακροατής εστιάζει στον συνομιλητή του παρά τις παράλληλες συνομιλίες. Ωστόσο, η υλοποίηση αυτής της ικανότητας σε υπολογιστικά συστήματα παραμένει μια σημαντική πρόκληση, η λύση της οποίας είναι καίρια για εφαρμογές όπως τα ακουστικά βοηθήματα, η αυτόματη υποτιτλογράφηση και τα περιβάλλοντα επαυξημένης πραγματικότητας.
Η οπτική πληροφορία φαίνεται να έχει μεγάλη συσχέτιση με τον ήχο και μπορεί να δώσει στοιχεία όπως η ταυτότητα, η τοποθεσία ή το περιεχόμενο των πηγών. Συστήματα που εκμεταλλεύονται αυτή τη σχέση μεταξύ οπτικής και ακουστικής πληροφορίας για να υποβοηθήσουν το διαχωρισμό, επεκτείνουν το πρόβλημα στο οπτικο-ακουστικό πρόβλημα διαχωρισμού πηγών.
Σήμερα το πρόβλημα λύνεται αποκλειστικά από μοντέλα βαθιάς μάθησης. Στην παρούσα εργασία εξετάζεται πρώτα η αρχιτεκτονική Conv-TasNet, μία αρχιτεκτονική βασισμένη στα Temporal Convolutional Networks (TCNs) που επιλύει το πρόβλημα του διαχωρισμού σε μονοκαναλικές μίξεις απευθείας στο πεδίο του χρόνου, μέσω της εκτίμησης κατάλληλων μασκών-φίλτρων χρησιμοποιώντας μόνο τη πληροφορία του ήχου. Στη συνέχεια εξετάζεται μια επέκταση αυτής της αρχιτεκτονικής, το Audio-Visual Conv-TasNet (AV-ConvTasNet), η οποία ενσωματώνει έναν οπτικό κλάδο για την αξιοποίηση πληροφορίας από την περιοχή των χειλιών ενός ομιλητή-στόχου. Τα μοντέλα αυτά εκπαιδεύονται στο απαιτητικό σύνολο δεδομένων LRS2, το οποίο περιλαμβάνει ρεαλιστικά πλάνα ομιλίας από τηλεοπτικές εκπομπές και είναι πιο κοντινό σε συνθήκες του πραγματικού κόσμου.
Τα αποτελέσματα δείχνουν βελτίωση της απόδοσης στο μοντέλο AV-ConvTasNet, με άνοδο του μέσου SI-SNR από τα 9.98 dB στα 11.55 dB, επιβεβαιώνοντας τη συνεισφορά της οπτικής πληροφορίας. Ωστόσο, το οπτικοακουστικό μοντέλο φαίνεται να εμφανίζει ευαισθησία στην ποιότητα του βίντεο, με πλήρη αποτυχία σε περιπτώσεις δυσδιάκριτης πληροφορίας, όπως στην όψη προφίλ του ομιλητή. Για να εξεταστεί περισσότερο η επίδραση της οπτικής πληροφορίας στο μοντέλο, δοκιμάζεται ένα πείραμα απώλειας frames σε διάφορα σημεία της ακολουθίας του βίντεο. Το πείραμα έδειξε πως το συγκεκριμένο μοντέλο δε λειτουργεί με πλήρη απουσία οπτικής πληροφορίας, ενώ η απώλεια frames στην αρχή επηρεάζει την απόδοση περισσότερο από την απώλεια frames στο τέλος της ακολουθίας, αναδεικνύοντας πως η οπτική πληροφορία λειτουργεί σαν «οδηγός» για να ξεκινήσει ο διαχωρισμός. Η απώλεια πληροφορίας στη μέση επηρέαζε το μοντέλο περισσότερο από όλες τις περιπτώσεις, γεγονός που δείχνει πόσο σημαντική είναι η διατήρηση της συνέχειας της πληροφορίας για το μοντέλο.
Επιπλέον, εξετάστηκε η αντοχή του μοντέλου σε σενάρια ασυγχρονισμού δεδομένων, όπου ο ήχος προηγείται ή καθυστερεί σε σχέση με το βίντεο. Διαπιστώθηκε ότι η απώλεια συγχρονισμού επηρεάζει την απόδοση μόνο όταν αυτή συμβαίνει στην πηγή-στόχο. Το μοντέλο φαίνεται να «αντέχει» σε ένα χρονικό παράθυρο από -50 έως 50 ms που αντιστοιχεί κοντά σε ένα frame της ακολουθίας βίντεο (40ms), υποδηλώνοντας ότι ο διαχωρισμός παραμένει αποτελεσματικός όσο το σχήμα των χειλιών (viseme) δεν έχει μεταβληθεί δραστικά.
Συμπερασματικά, η παρούσα διπλωματική εργασία αναδεικνύει τις πρακτικές προκλήσεις που διέπουν τα ακουστικά συστήματα διαχωρισμού που χρησιμοποιούν οπτική πληροφορία. Η ευαλωτότητα του μοντέλου στην αλλοίωση της οπτικής εισόδου υπογραμμίζει την ανάγκη για δυναμικές μεθόδους σύζευξης των πληροφοριών, οι οποίες θα προσαρμόζονται στην εναλλασσόμενη αξιοπιστία κάθε μέσου (modality). Η διερεύνηση αυτή θέτει τις βάσεις για την ανάπτυξη στιβαρών οπτικοακουστικών αρχιτεκτονικών, ικανών να ανταπεξέλθουν στις απαιτήσεις σύνθετων και μη ελεγχόμενων ακουστικών περιβαλλόντων.
Description
Keywords
Φαινόμενο κοκτέιλ πάρτι, Ακουστικός διαχωρισμός πηγών, Οπτικοακουστικός διαχωρισμός πηγών, Διαχωρισμός ομιλίας στο πεδίο του χρόνου, Χρονικά συνελικτικά δίκτυα, Οπτικά φωνήματα, Συγχρονισμός ήχου-βίντεο