Generative AI driven task planning for human-robot collaborative cells
| datacite.contributor.RelatedPerson | Χατζηλυγερούδης, Κωνσταντίνος | |
| datacite.contributor.RelatedPerson | Μπεχλιούλης, Χαράλαμπος | |
| datacite.contributor.Supervisor | Σωτήριος Μακρής | |
| dc.contributor.author | Καΐπης, Μιχαήλ | |
| dc.contributor.other | Kaipis, Michael | |
| dc.date.accessioned | 2026-02-26T14:03:57Z | |
| dc.date.available | 2026-02-26T14:03:57Z | |
| dc.date.issued | 2026-02-20 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Task modeling and assignment generation in Human-Robot Collaborative (HRC) environments remain complex and labor-intensive, even with the support of modern CAx and planning tools. This thesis introduces a generative AI-driven framework that leverages Large Multi-Modal Models (LMMs) and a Digital Twin to automate the creation of task models, sequences, and assignment plans. The proposed system processes video streams containing both visual and audio cues to identify resources, tools, and tasks, enabling the automatic extraction and modeling of production activities. Furthermore, the same LMMs facilitate task-to-resource allocation while considering factors such as human ergonomics and resource workload. The framework is validated through a case study in an industrial assembly scenario, demonstrating significant reductions in manual planning effort, improved resource utilization, and enhanced human-robot collaboration. The results highlight the potential of AI-driven approaches to streamline task planning and deployment in dynamic manufacturing environments. As a product of this thesis, was synthesized and presented the paper (Nikos Dimitropoulos, Michalis Kaipis, Stavros Giartzas, George Michalos,Generative AI for automated task modelling and task allocation in human robot collaborative applications,CIRP Annals,2025) | |
| dc.description.translatedabstract | Η μοντελοποίηση εργασιών και η δημιουργία αναθέσεων σε περιβάλλοντα συνεργασίας ανθρώπου-ρομπότ (HRC) παραμένουν πολύπλοκες και απαιτητικές σε εργασία, ακόμη και με την υποστήριξη σύγχρονων εργαλείων CAx και σχεδιασμού. Αυτή η διατριβή εισάγει ένα δημιουργικό πλαίσιο που βασίζεται στην Τεχνητή Νοημοσύνη και αξιοποιεί Μεγάλα Πολυτροπικά Μοντέλα (LMMs) και ένα Ψηφιακό Δίδυμο για την αυτοματοποίηση της δημιουργίας μοντέλων εργασιών, ακολουθιών και σχεδίων ανάθεσης. Το προτεινόμενο σύστημα επεξεργάζεται ροές βίντεο που περιέχουν οπτικά και ηχητικά σήματα για τον εντοπισμό πόρων, εργαλείων και εργασιών, επιτρέποντας την αυτόματη εξαγωγή και μοντελοποίηση των δραστηριοτήτων παραγωγής. Επιπλέον, τα ίδια LMMs διευκολύνουν την κατανομή εργασιών προς πόρους, λαμβάνοντας υπόψη παράγοντες όπως η ανθρώπινη εργονομία και το φόρτο εργασίας των πόρων. Το πλαίσιο επικυρώνεται μέσω μιας μελέτης περίπτωσης σε ένα σενάριο βιομηχανικής συναρμολόγησης, καταδεικνύοντας σημαντικές μειώσεις στην προσπάθεια χειροκίνητου σχεδιασμού, βελτιωμένη αξιοποίηση πόρων και βελτιωμένη συνεργασία ανθρώπου-ρομπότ. Τα αποτελέσματα υπογραμμίζουν τις δυνατότητες των προσεγγίσεων που βασίζονται στην Τεχνητή Νοημοσύνη για την απλοποίηση του σχεδιασμού και της ανάπτυξης εργασιών σε δυναμικά περιβάλλοντα παραγωγής. Ως προϊόν αυτής της διπλωματικής εργασίας, συντέθηκε και παρουσιάστηκε το paper (Nikos Dimitropoulos, Michalis Kaipis, Stavros Giartzas, George Michalos,Generative AI for automated task modelling and task allocation in human robot collaborative applications,CIRP Annals,2025) | |
| dc.identifier.uri | https://hdl.handle.net/10889/31468 | |
| dc.language.iso | en | |
| dc.rights | Attribution 4.0 International | en |
| dc.rights.uri | http://creativecommons.org/licenses/by/4.0/ | |
| dc.subject | Human-robot collaboration | |
| dc.subject | Generative AI | |
| dc.subject | Large multimodal models | |
| dc.subject | Task planning | |
| dc.subject | Digital twins | |
| dc.subject | Smart manufacturing | |
| dc.subject.alternative | Συνεργασία ανθρώπου-ρομπότ | |
| dc.subject.alternative | Παραγωγική τεχνητή νοημοσύνη | |
| dc.subject.alternative | Μεγάλα πολυτροπικά μοντέλα | |
| dc.subject.alternative | Σχεδιασμός & ανάθεση εργασιών | |
| dc.subject.alternative | Ψηφιακό δίδυμο | |
| dc.subject.alternative | Έξυπνη παραγωγή | |
| dc.title | Generative AI driven task planning for human-robot collaborative cells | |
| dc.title.alternative | Ανάθεση εργασιών σε συνεργατικά κελιά ανθρώπου ρομπότ με τη χρήση παραγωγικής τεχνητής νοημοσύνης |