Data mining from digital images using diffusion models
| datacite.contributor.RelatedPerson | Μουστάκας, Κωνσταντίνος | |
| datacite.contributor.RelatedPerson | Σγάρμπας, Κυριάκος | |
| datacite.contributor.Supervisor | Δερματάς, Ευάγγελος | |
| dc.contributor.author | Παπαευθυμίου, Βασίλειος | |
| dc.contributor.other | Papaefthymiou, Vasileios | |
| dc.date.accessioned | 2026-07-03T11:18:35Z | |
| dc.date.available | 2026-07-03T11:18:35Z | |
| dc.date.issued | 2026-06-26 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Digital images contain rich visual and semantic information, which can be extracted, analyzed,-and reused through modern generative models. This thesis investigates semantic image-editing in Denoising Diffusion Probabilistic Models (DDPMs) through direct manipulation of-the reverse diffusion noise trajectory. In recent years diffusion models have emerged as one-of the most successful classes of generative models, producing highly realistic images and-achieving state-of-the-art performance in image synthesis and generation tasks. Their ability-to progressively construct images from Gaussian noise has led to major advances in image-generation, inpainting, super-resolution and controllable image manipulation. Deep Learning architectures and especially Convolutional Neural Networks and diffusion-based generative models have significantly transformed the field of Computer Vision. By-learning hierarchical feature representations directly from data, these models can capture-highly complex structures and semantic relationships. Diffusion models rely on deep neural-networks such as U-Net architectures with residual connections and self-attention-mechanisms to iteratively remove noise and recover meaningful image structure throughout-the reverse diffusion process. Due to their remarkable image generation capabilities, diffusion models are increasingly being-used in real-world applications involving content generation, image editing and restoration. However, despite their impressive generative quality, controllable semantic editing in-unconditional DDPMs remains a challenging problem. Once the reverse diffusion process-begins the generated trajectory is typically fixed and offers limited mechanisms for localized-or semantic intervention. For this reason, in the current thesis, I investigated whether intermediate noisy-representations generated from a DDPM can be used to semantically edit an image during the-reverse diffusion process and get a high-quality altered sample at the end of it. In addition, I-investigated what the best timesteps are to do such an image transplantation with the use of-metrics such as attribute transfer accuracy, identity preservation, FID and KID. To achieve that, I sample 1000 images using a pretrained DDPM on Celeba-HQ-256x256 and-save their noise trajectory and the seed that I used to generate them. I use some of these-images to extract features that I want to transfer to other images with the help of masks in-various timesteps. Then using the seeds that I saved earlier I am starting the same generation-process but interrupting it in a timestep and blending the current noisy image with the masked-feature that I extracted earlier in the same timestep and continue the generation process-achieving the best results in the middle area 250 ≤ 𝑡 ≤ 750. | |
| dc.description.translatedabstract | Οι ψηφιακές εικόνες περιέχουν πλούσια οπτική και σημασιολογική πληροφορία, η οποία-μπορεί να εξαχθεί, να αναλυθεί και να αξιοποιηθεί μέσω σύγχρονων γενετικών μοντέλων. Η-παρούσα διπλωματική εργασία διερευνά τη σημασιολογική επεξεργασία εικόνων σε-Denoising Diffusion Probabilistic Models (DDPMs) παρεμβαίνοντας απευθείας στο noisy-trajectory. Τα τελευταία χρόνια, τα DDPMs έχουν αναδειχθεί ως μία από τις πιο επιτυχημένες-κατηγορίες γενετικών μοντέλων παράγοντας εξαιρετικά ρεαλιστικές εικόνες υψηλής-ποιότητας και επιτυγχάνουν κορυφαίες επιδόσεις σε σύνθεση και δημιουργία εικόνων. Η-ικανότητά τους να κατασκευάζουν σταδιακά εικόνες από γκαουσιανό θόρυβο έχει οδηγήσει-σε σημαντικές προόδους στη δημιουργία εικόνων, ανακατασκευή ελλειπόντων περιοχών-εικόνας, την υπερανάληση καθώς και την ελεγχόμενη επεξεργασία εικόνας. Οι αρχιτεκτονικές βαθιάς μάθησης και ειδικά τα συνελικτικά νευρωνικά δίκτυα και τα-γενετικά μοντέλα που βασίζονται στη διάχυση έχουν μεταμορφώσει σημαντικά τον τομέα-του Computer Vision. Μαθαίνοντας ιεραρχικές αναπαραστάσεις χαρακτηριστικών-απευθείας από τα δεδομένα, αυτά τα μοντέλα είναι ικανά να συλλάβουν εξαιρετικά-πολύπλοκες δομές και σημασιολογικές σχέσεις. Τα μοντέλα διάχυσης βασίζονται σε βαθιά-νευρωνικά δίκτυα, όπως αρχιτεκτονικές U-Net με residual connections και self-attention για-την επαναληπτική αφαίρεση του θορύβου και την ανάκτηση της ουσιαστικής δομής της-εικόνας κατά τη διάρκεια της διαδικασίας αντίστροφης διάχυσης (reverse diffusion process). Λόγω των αξιοσημείωτων δυνατοτήτων τους στη δημιουργία εικόνων, τα μοντέλα διάχυσης-χρησιμοποιούνται όλο και περισσότερο σε πραγματικές εφαρμογές όπως η δημιουργία-περιεχομένου και η επεξεργασία και αποκατάσταση εικόνων. Ωστόσο, παρά την-εντυπωσιακή ποιότητα των παραγόμενων εικόνων, η ελεγχόμενη σημασιολογική-επεξεργασία σε μοντέλα DDPM χωρίς συνθήκη καθοδήγησης παραμένει ένα δύσκολο-πρόβλημα. Μόλις ξεκινήσει η διαδικασία αντίστροφης διάχυσης, το παραγόμενο trajectory-είναι συνήθως σταθερό και υπάρχουνε ελάχιστοι μηχανισμού για τοπική και σημασιολογική-παρέμβαση. Για το λόγο αυτό, στη παρούσα διπλωματική , διερεύνησα εάν οι ενδιάμεσες θορυβώδεις-αναπαραστάσεις που δημιουργούνται από ένα DDPM μπορούν να χρησιμοποιηθούν για τη-σημασιολογική επεξεργασία μιας εικόνας κατά τη διάρκεια της διαδικασίας αντίστροφης-διάχυσης και για την παραγωγή μια τροποποιημένης εικόνας υψηλής ποιότητας. Επιπλέον,-διερεύνησα ποια είναι τα βέλτιστα χρονικά περιθώρια για την πραγματοποίηση μιας τέτοιας-επεξεργασίας με τη χρήση μετρικών όπως η ακρίβεια μεταφοράς χαρακτηριστικών, η-διατήρηση ταυτότητας το FID και το KID. Για να το επιτύχω αυτό, παράγω 1000 εικόνες χρησιμοποιώντας ένα προ-εκπαιδευμένο,-πάνω στο Celeba-HQ-256x256, DDPM και αποθηκεύω το reverse noise trajectory και το seed-που χρησιμοποίησα για να τις δημιουργήσω. Χρησιμοποιώ μερικές από αυτές τις εικόνες για-να εξαγάγω χαρακτηριστικά που θέλω να μεταφέρω σε άλλες εικόνες με τη βοήθεια μάσκας-σε διάφορα χρονικά βήματα. Στη συνέχεια, χρησιμοποιώντας τα seed που αποθήκευσα-νωρίτερα, ξεκινώ την ίδια διαδικασία δημιουργίας, αλλά τη διακόπτω σε ένα χρονικό βήμα-και αναμιγνύω την τρέχουσα θορυβώδη εικόνα με το χαρακτηριστικό που εξήγαγα νωρίτερα-στο ίδιο χρονικό βήμα και συνεχίζω τη διαδικασία δημιουργίας επιτυγχάνοντας τα καλύτερα-αποτελέσματα στο ενδιάμεσο χρονικό περιθώριο 250 ≤ 𝑡 ≤ 750. | |
| dc.identifier.uri | https://hdl.handle.net/10889/32254 | |
| dc.language.iso | en | |
| dc.subject | Diffusion | |
| dc.subject | Images | |
| dc.subject | Reverse | |
| dc.subject | Noise | |
| dc.subject | Trajectory | |
| dc.subject | Semantic | |
| dc.subject | Timestep | |
| dc.subject | Probabilistic | |
| dc.subject | Denoising | |
| dc.subject | Models | |
| dc.subject.alternative | Διάχυση | |
| dc.subject.alternative | Εικόνες | |
| dc.subject.alternative | Αντίστροφη | |
| dc.subject.alternative | Θόρυβος | |
| dc.subject.alternative | Τροχιά | |
| dc.subject.alternative | Σημασιολογικός | |
| dc.subject.alternative | Bήμα | |
| dc.subject.alternative | Μοντέλα | |
| dc.subject.alternative | Πιθανοτικό | |
| dc.subject.alternative | Αποθορυβοποίηση | |
| dc.title | Data mining from digital images using diffusion models | |
| dc.title.alternative | Εξόρυξη δεδομένων από ψηφιακές εικόνες με χρήση μοντέλων διάχυσης |