Deep learning video stabilization
| datacite.contributor.RelatedPerson | Παλιουράς, Βασίλειος | |
| datacite.contributor.RelatedPerson | Σκόδρας, Αθανάσιος | |
| datacite.contributor.Supervisor | Δερματάς, Ευάγγελος | |
| dc.contributor.author | Σαρδέλης, Κωνσταντίνος | |
| dc.contributor.other | Sardelis, Konstantinos | |
| dc.date.accessioned | 2025-02-10T07:38:09Z | |
| dc.date.available | 2025-02-10T07:38:09Z | |
| dc.date.issued | 2025-01-16 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | With the rapid advancement of technology in portable devices (such as mobile phones, smartwatches, etc.), it is possible to capture high-quality videos without the use of heavy equipment like tripods and stabilizers. However, these videos often contain unwanted camera movements and vibrations. For this reason, digital video stabilization is a rapidly evolving and intensively studied field. The purpose of this work is to contribute to video smoothing through deep learning. Initially, the reader is provided with an introduction to digital video stabilization through optimization and low-pass filtering, while simultaneously introducing basic concepts of computer vision. Then, a brief overview of deep learning and how convolutional networks learn and operate is presented. This is followed by detailed studies and implementations of video stabilization algorithms using artificial intelligence. These methods can be categorized into 1) camera path reconstruction/optimization without unwanted noise, 2) creation of stable frames through supervised learning, and 3) generation of new intermediate frames in the video. Through these methods, modern deep learning technologies such as transfer learning, perceptual cost functions, and adversarial learning are introduced. All algorithms are compared using a set of metrics, and their effectiveness is discussed. Finally, the issue of lack of training data is addressed by creating synthetic video data. I compare existing methods with two novel ones, which use artificial intelligence and statistical analysis to create realistically shaky videos from existing stable videos. | |
| dc.description.translatedabstract | Με τη ραγδαία εξέλιξη της τεχνολογίας στις φορητές συσκευές (κινητά, έξυπνα ρολόγια κλπ.), είναι δυνατή η λήψη βίντεο υψηλής ποιότητας χωρίς τη χρήση βαρύ εξοπλισμού όπως τρίποδα και σταθεροποιητές. Τα βίντεο αυτά ωστόσο, συχνά εμπεριέχουν ανεπιθύμητη κίνηση της κάμερας και ταλαντώσεις. Για το λόγο αυτό, η ψηφιακή σταθεροποίηση βίντεο είναι ένας τομές που μελετάται έντονα και εξελίσσεται ραγδαία. Σκοπός της εργασίας αυτής είναι η συμβολή της βαθιάς μάθησης στην εξομάλυνση βίντεο. Αρχικά παρέχεται στον αναγνώστη μια εισαγωγή στην ψηφιακή σταθεροποίηση βίντεο μέσω βελτιστοποίησης και χαμηλοπερατών φίλτρων, εισάγοντας ταυτόχρονα βασικές έννοιες της υπολογιστικής όρασης. Στη συνέχεια παρέχεται μια σύντομη επισκόπηση στην βαθιά μάθηση και στον τρόπο που μαθαίνουν και λειτουργούν τα συνελικτικά δίκτυα. Έπειτα ακολουθούν αναλυτικές μελέτες και υλοποιήσεις αλγορίθμων σταθεροποίησης βίντεο μέσω τεχνητής νοημοσύνης. Οι μέθοδοι αυτές μπορούν να κατηγοριοποιηθούν σε 1) ανακατασκευή του μονοπατιού της κάμερας χωρίς ανεπιθύμητο θόρυβο, 2) δημιουργία σταθερών καρέ μέσω επιβλεπόμενης μάθησης και 3) δημιουργία καινούριων ενδιάμεσων καρέ του βίντεο. Στις υλοποιήσεις αυτές συμπεριλαμβάνονται σχόλια και βελτιώσεις είτε σε ενδιάμεσα στάδια είτε στην αρχιτεκτονική των δικτύων. Μέσω αυτών εισάγονται σύγχρονες τεχνολογίες βαθιάς μάθησης όπως μεταφορά μάθησης, αντιληπτικές συναρτήσεις κόστους και μάθηση μέσω αντιπαλότητας. Όλοι οι αλγόριθμοι συγκρίνονται με ένα σύνολο μετρικών και σχολιάζεται η αποτελεσματικότητα τους. Τέλος, αντιμετωπίζεται το ζήτημα της έλλειψη δεδομένων εκπαίδευσης, μέσω της δημιουργίας συνθετικών δεδομένων βίντεο. Συγκρίνονται υπάρχουσες μεθόδους με δύο καινοτόμες που κάνουν χρήση βαθιάς μάθησης και στατικής ανάλυσης για τη δημιουργία ρεαλιστικά κουνημένων βίντεο από υπάρχοντα σταθερά βίντεο. | |
| dc.identifier.uri | https://hdl.handle.net/10889/28871 | |
| dc.language.iso | en | |
| dc.subject | Computer vision | |
| dc.subject | Deep learning | |
| dc.subject | Video stabilization | |
| dc.subject.alternative | Σταθεροποίηση βίντεο | |
| dc.subject.alternative | Βαθιά μάθηση | |
| dc.subject.alternative | Σταθεροποίηση βίντεο | |
| dc.title | Deep learning video stabilization | |
| dc.title.alternative | Deep Learning σταθεροποίηση βίντεο |