Learning to simulate room acoustics : conditional room impulse response generation with latent diffusion models
| datacite.contributor.RelatedPerson | Μουρτζόπουλος, Ιωάννης | |
| datacite.contributor.RelatedPerson | Σγάρμπας, Κυριάκος | |
| datacite.contributor.Supervisor | Μουστάκας, Κωνσταντίνος | |
| dc.contributor.author | Χατζησάββας, Παύλος | |
| dc.contributor.other | Chatzisavvas, Pavlos | |
| dc.date.accessioned | 2026-02-27T12:58:39Z | |
| dc.date.available | 2026-02-27T12:58:39Z | |
| dc.date.issued | 2026-02-06 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Neural network based solutions are utilized for a wide range of audio related tasks, such as automatic speech transcription, speech enhancement, source separation etc. In order to model real world data, clean speech datasets are augmented using additive noise and convolved with Room Impulse Responses (RIRs). Since acquiring real RIRs through measurement is difficult and resulting datasets are limited in size, there is a need of high quality generation with minimal computational effort. Generative networks such as Generative Adversarial Networks (GANs) have been proposed before for the acoustic simulation task. Since Latent Diffusion Models have emerged as the state of the art in generative machine learning, they pose themselves as a promising alternative for the task. In this work, we use a latent diffusion approach for the task of predicting room acoustics. We investigate if our latent diffusion approach matches existing alternatives in quality and speed. We compare our approach against a hybrid geometry-based method. Furthermore, we investigate whether the latent diffusion approach can match a state-of-the-art GAN-based approach in quality and how it competes on the quality vs. computation tradeoff. We consider two geometric acoustics methods to produce ground truth data for training and evaluating the latent diffusion system. The first is a hybrid using Image Source Method and Ray Tracing and the second is a Ray Tracing implementation. The latent diffusion system is trained and evaluated in two stages: Firstly, an autoencoder network is trained to map responses to a learned latent space and back to a reconstructed signal. Secondly, a noise prediction network is trained for the diffusion task utilizing the latent space representations provided by the autoencoder. The generation process is evaluated in terms of quality and speed and benchmarked against the ground truth geometric method and the state of the art GAN-based method. | |
| dc.description.translatedabstract | Οι μέθοδοι που βασίζονται σε νευρωνικά δίκτυα χρησιμοποιούνται σε ένα ευρύ φάσμα εφαρμογών της τεχνολογίας ήχου, όπως η αυτόματη μεταγραφή ομιλίας, η βελτίωση ομιλίας, ο διαχωρισμός πηγών κ.α. Προκειμένου να μοντελοποιηθούν ρεαλιστικές συνθήκες, τα δεδομένα με καθαρή ομιλία επαυξάνονται με προσθετικό θόρυβο και συνελίσσονται με κρουστικές αποκρίσεις δωματίου. Δεδομένου ότι η απόκτηση πραγματικών κρουστικών αποκρίσεων μέσω μέτρησης είναι δύσκολη και τα εξαγώμενα σύνολα δεδομένων είναι μικρής κλίμακας, υπάρχει η ανάγκη για υψηλής ποιότητας και χαμηλής υπολογιστικής πολυπλοκότητας παραγωγή κρουστικών αποκρίσεων. Μέθοδοι παραγωγικής μηχανικής μάθησης, όπως τα Παραγωγικά Αντιπαραθετικά Δίκτυα (ΠΑΔ), έχουν προταθεί στο παρελθόν για την εφαρμογή της προσομοίωσης ακουστικής. Καθώς τα Μοντέλα Λανθάνουσας Διάχυσης έχουν καθιερωθεί ως αιχμή της τεχνολογίας στην παραγωγική μηχανική μάθηση, αποτελούν μια πολλά υποσχόμενη εναλλακτική για αυτή την εφαρμογή. Στην παρούσα εργασία, χρησιμοποιούμε μια μέθοδο Λανθάνουσας Διάχυσης για την πρόβλεψη ακουστικής κλειστού χώρου. Διερευνούμε αν η προτεινόμενη μέθοδος είναι αντάξια υπαρχουσών εναλλακτικών όσων αφορά την ποιότητα και την ταχύτητα. Συγκρίνουμε την προσέγγιση μας με μία υβριδική γεωμετρική μέθοδο. Επίσης, διερευνούμε αν η προσέγγιση μας μπορεί να συναγωνιστεί σε ποιότητα μία σύγχρονη μέθοδο βασισμένη σε ΠΑΔ και πώς συναγωνίζεται με αυτή στην ισορροπία μεταξύ ποιότητας και υπολογιστικού κόστους. Χρησιμοποιούμε δύο γεωμετρικές μεθόδους για την παραγωγή δεδομένων αναφοράς για την εκπαίδευση και αξιολόγηση του συστήματος λανθάνουσας διάχυσης. Η πρώτη είναι μία υβριδική μέθοδος που χρησιμοποιεί την Μέθοδο Πηγής Ειδώλων και Ανίχνευση Ακτίνων και η δεύτερη βασίζεται στην Ανίχνευση Ακτίνων. Το σύστημα λανθάνουσας διάχυσης εκπαιδεύεται σε δύο στάδια: Πρώτα, ένα δίκτυο αυτοκωδικοποίησης εκπαιδεύεται ώστε να αντιστοιχεί τις αποκρίσεις σε μία λανθάνουσα αναπαράσταση και πίσω ως ανακατασκευασμένο σήμα. Στην συνέχεια, ένα δίκτυο πρόβλεψης θορύβου εκπαιδεύεται στο πλαίσιο της διάχυσης το οποίο χρησιμοποιεί τις λανθάνουσες αναπαραστάσεις που παρέχονται από τον αυτοκωδικοποιητή. Η συνολική διαδικασία αξιολογείται όσων αφορά την ποιότητα και την ταχύτητα και συγκρίνεται με την γεωμετρική μέθοδο και την σύγχρονη μέθοδο βασισμένη σε ΠΑΔ. | |
| dc.identifier.uri | https://hdl.handle.net/10889/31516 | |
| dc.language.iso | en | |
| dc.rights | CC0 1.0 Universal | en |
| dc.rights.uri | http://creativecommons.org/publicdomain/zero/1.0/ | |
| dc.subject | Room impulse response | |
| dc.subject | Generative machine learning | |
| dc.subject | Acoustics | |
| dc.subject | Latent diffusion models | |
| dc.subject.alternative | Κρουστική απόκριση δωματίου | |
| dc.subject.alternative | Μηχανική μάθηση | |
| dc.subject.alternative | Ακουστική | |
| dc.subject.alternative | Μοντέλα λανθάνουσας διάχυσης | |
| dc.title | Learning to simulate room acoustics : conditional room impulse response generation with latent diffusion models | |
| dc.title.alternative | Εκμάθηση προσομοίωσης ακουστικής δωματίου : σύνθεση κρουστικών αποκρίσεων δωματίου με μοντέλα λανθάνουσας διάχυσης |