Μεταφορά από την προσομοίωση στην πραγματικότητα στη ρομποτική : χάσμα πραγματικότητας, μέθοδοι προσαρμογής και εφαρμογές
| datacite.contributor.RelatedPerson | Γαροφαλάκης, Ιωάννης | |
| datacite.contributor.RelatedPerson | Κομνηνός, Ανδρέας | |
| datacite.contributor.Supervisor | Χατζηλυγερούδης, Κωνσταντίνος | |
| dc.contributor.author | Κυρτσιά, Άννα Αγάπη | |
| dc.contributor.other | Kyrtsia, Anna Agapi | |
| dc.date.accessioned | 2026-10-14T11:29:30Z | |
| dc.date.available | 2026-10-14T11:29:30Z | |
| dc.date.issued | 2026-10-14 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Η προσομοίωση αποτελεί βασικό εργαλείο για την εκπαίδευση πολιτικών ελέγχου στη ρομποτική, καθώς επιτρέπει επαναλαμβανόμενες δοκιμές με περιορισμένο κόστος και μικρότερο κίνδυνο για τον εξοπλισμό. Ωστόσο, η επιτυχία στην προσομοίωση δεν εξασφαλίζει αντίστοιχη απόδοση στο πραγματικό σύστημα. Διαφορές στη δυναμική, στις επαφές, στις μετρήσεις των αισθητήρων, στην ενεργοποίηση και στον σχεδιασμό του συστήματος δημιουργούν το Χάσμα Πραγματικότητας (Reality Gap), το οποίο δυσκολεύει τη μεταφορά των εκπαιδευμένων πολιτικών στον πραγματικό κόσμο. Η παρούσα διπλωματική εργασία εξετάζει τη μεταφορά από την προσομοίωση στην πραγματικότητα (Sim-to-Real Transfer) μέσα από βιβλιογραφική ανασκόπηση και συγκριτική σύνθεση θεωρητικών εννοιών, μεθόδων και εφαρμογών. Αρχικά, παρουσιάζονται βασικά χαρακτηριστικά των περιβαλλόντων προσομοίωσης και διατυπώνεται το πρόβλημα στο πλαίσιο των μερικώς παρατηρήσιμων μαρκοβιανών διαδικασιών απόφασης. Ιδιαίτερη έμφαση δίνεται στη διάκριση μεταξύ των αποκλίσεων των δύο περιβαλλόντων και του Χάσματος Απόδοσης (Performance Gap), δηλαδή της διαφοράς απόδοσης μιας συγκεκριμένης πολιτικής μεταξύ προσομοίωσης και πραγματικότητας. Στη συνέχεια, εξετάζονται οι κύριες στρατηγικές αντιμετώπισης του προβλήματος: η προσαρμογή πεδίου (Domain Adaptation), η τυχαιοποίηση πεδίου (Domain Randomization) και η αναγνώριση συστήματος (System Identification). Αναλύονται επίσης η προσαρμοστική τυχαιοποίηση και η ενισχυτική μάθηση βάσει μοντέλου, με έμφαση στην αξιοποίηση μοντέλων δυναμικής για πρόβλεψη και σχεδιασμό ενεργειών. Η μελέτη επεκτείνεται στην προσαρμογή της πολιτικής μέσω περαιτέρω εκπαίδευσης με πραγματικά δεδομένα, διαδικτυακής και συνεχούς προσαρμογής, διορθωτικών πολιτικών και μεταμάθησης. Εξετάζονται οι απαιτήσεις κάθε προσέγγισης σε δεδομένα και υπολογιστικούς πόρους, καθώς και οι περιορισμοί που σχετίζονται με την ασφάλεια και τη διατήρηση προηγούμενης γνώσης. Οι μέθοδοι συνδέονται με εφαρμογές στη ρομποτική βάδιση, στον χειρισμό αντικειμένων, σε εργασίες με έντονες αλληλεπιδράσεις επαφής και σε συστήματα πολλαπλών πρακτόρων. Η συγκριτική ανάλυση αναδεικνύει ότι η σημασία κάθε πηγής απόκλισης εξαρτάται από την εργασία και ότι οι διαφορετικές μέθοδοι συνεπάγονται συμβιβασμούς μεταξύ πιστότητας της προσομοίωσης, ανθεκτικότητας, κόστους και δυνατότητας προσαρμογής. Βασικό συμπέρασμα της βιβλιογραφικής σύνθεσης είναι ότι δεν προκύπτει μία καθολικά βέλτιστη στρατηγική μεταφοράς. Η αποτελεσματική αντιμετώπιση του προβλήματος απαιτεί επιλογή και συνδυασμό μεθόδων με βάση τις κρίσιμες αποκλίσεις, τα διαθέσιμα πραγματικά δεδομένα και τους περιορισμούς της εφαρμογής. Τελικό κριτήριο αποτελεί η υψηλή απόδοση και η αξιόπιστη λειτουργία στο πραγματικό σύστημα. Ως μελλοντικές κατευθύνσεις συζητούνται η ασφαλής συνεχής προσαρμογή, η εκτίμηση αβεβαιότητας, ο συνδυασμός μεθόδων βάσει μοντέλου και χωρίς μοντέλο, καθώς και η αξιοποίηση ψηφιακών διδύμων σε συστήματα πολλαπλών πρακτόρων. | |
| dc.description.translatedabstract | Simulation is a fundamental tool for training control policies in robotics, enabling repeated trials at reduced cost and with lower risk to physical equipment. However, successful performance in simulation does not necessarily translate into comparable performance on a real robot. Differences in dynamics, contact interactions, sensor measurements, actuation, and system design give rise to the reality gap, which complicates the transfer of trained policies to the physical world. This thesis investigates simulation-to-reality (Sim-to-Real) transfer through a literature review and comparative synthesis of theoretical concepts, methods, and applications. It first introduces the main characteristics of robotic simulation environments and formulates the transfer problem within the framework of partially observable Markov decision processes. Particular attention is given to the distinction between discrepancies in the simulated and real environments and the performance gap, which describes the difference in the performance of a particular policy across those environments. The study then examines the main strategies for addressing the problem: domain adaptation, domain randomization, and system identification. It also discusses adaptive domain randomization and model-based reinforcement learning, focusing on the use of dynamics models for prediction and action planning. The analysis extends to policy adaptation through fine-tuning with real-world data, online and continual adaptation, residual policies, and meta-learning. These approaches are examined in terms of their data and computational requirements, alongside challenges related to safety and the retention of previously acquired knowledge. The methods are connected to applications in robotic locomotion, object manipulation, contact-rich tasks, and multi-agent systems. The comparative analysis highlights that the importance of each source of discrepancy depends on the task, while different methods involve trade-offs between simulation fidelity, robustness, cost, and adaptability. The main conclusion of the literature synthesis is that no universally optimal transfer strategy emerges from the reviewed studies. Effective Sim-to-Real transfer requires selecting and combining methods according to the discrepancies that matter most, the available real-world data, and the constraints of the application. High performance and reliable operation in the physical system remain the ultimate criteria for success. Future research directions discussed in the thesis include safe continual adaptation, uncertainty estimation, the combination of model-based and model-free approaches, and the use of digital twins in multi-agent systems. | |
| dc.identifier.uri | https://hdl.handle.net/10889/33122 | |
| dc.language.iso | el | |
| dc.subject | Ρομποτική | |
| dc.subject | Χάσμα πραγματικότητας | |
| dc.subject | Ενισχυτική μάθηση | |
| dc.subject | Τυχαιοποίηση πεδίου | |
| dc.subject.alternative | Robotics | |
| dc.subject.alternative | Reality gap | |
| dc.subject.alternative | Reinforcement learning | |
| dc.subject.alternative | Domain randomization | |
| dc.title | Μεταφορά από την προσομοίωση στην πραγματικότητα στη ρομποτική : χάσμα πραγματικότητας, μέθοδοι προσαρμογής και εφαρμογές | |
| dc.title.alternative | Sim-to-real transfer in robotics : the reality gap, adaptation methods, and applications |