A conversational multi-agent application for "MLOps" orchestration
| datacite.contributor.RelatedPerson | Σγάρμπας, Κυριάκος | |
| datacite.contributor.RelatedPerson | Σιντόρης, Χρήστος | |
| datacite.contributor.Supervisor | Αβούρης, Νικόλαος | |
| dc.contributor.author | Μωραΐτης, Ανδρέας | |
| dc.contributor.other | Moraitis, Andreas | |
| dc.date.accessioned | 2026-03-06T06:24:47Z | |
| dc.date.available | 2026-03-06T06:24:47Z | |
| dc.date.issued | 2026-03-05 | |
| dc.degree | masterThesis | |
| dc.description.abstract | Advancements in Machine Learning (ML) have created a steady increase in applications across industries. Consequently, a growing demand by organizations for a combination of domain expertise and the use of AI’s computational power and efficiency, requires human-machine collaboration towards more effective decision-making and innovative solutions. In addition, as ML workflows become more complex, MLOps platforms are an essential tool for optimizing the development, deployment and management of these workflows. However, as these platforms offer an extensive set for orchestrating ML pipelines, they can introduce complexities and a steep learning curve for data scientists and users without prior experience on system management and DevOps processes. Introduced in recent years, Large Language Models (LLMs) can offer a solution to a seamless experience in addressing these challenges based on their capability of understanding and processing natural language as well as utilizing tools to perform actions and communicate with such external services. This thesis is motivated by collaboration efforts made on the ongoing Horizon Europe project “HumAIne” and its single-agent assistant “Swarm Agent”. It aims to present an alternative design of the LLM based conversational assistant that can access tools and services to manage ML workflows and operations required in the ML life cycle. The implementation follows a multi-agent architecture built with OpenAI’s Agents SDK framework that integrates Kubeflow, an open-source MLOps solution built on top of Kubernetes, enabling ML pipeline orchestration through context-aware guidance from natural language querying. Additionally, a chatbot UI was developed with Chainlit, for a simplified and user friendly conversational experience with the assistant. | |
| dc.description.translatedabstract | Η εξέλιξη της Μηχανικής Μάθησης και η εφαρμογές της τοσο σε ερευνητικό επίπεδο όσο και στον βιομηχανικό και επιχειρησιακό τομέα έχουν αναδείξει την ανάγκη για την δημιουργία αξιόπιστων, κλιμακούμενων και αναπαραγωγίσιμων κύκλων διεργασιών. Ωστόσο, η συλλογή και επεξεργασία δεδομένων, η ανάπτυξη και εκπαίδευση αλγορίθμων Μηχανικής Μάθησης, η αξιολόγηση τους και η επανεκπαίδευση τους και τελικώς η μετάβαση τους σε πλήρως λειτουργικά περιβάλλοντα παραγωγής αναδεικνύει έναν σημαντικό βαθμό πολυπλοκότητας. Στο πλάισιο αυτό, η έννοια των διεργασιών Μηχανικής Μάθησης (MLOps) που αποτελούν επέκταση των αρχών του DevOps, εισάγει διαδικασίες αυτοματοποίησης των παραπάνω σταδίων, καθώς και βελτιστοποιεί τον έλεγχο εκδόσεων κύκλων. Επιπλέον, προσφέρει την δυνατότητα ιχνηλάτισης και διακυβέρνησης για δεδομένα, μοντέλα και πειράματα. Παρόλα αυτά, οι πλατφόρμες που έχουν δημιουργηθεί για την εύχρηστη διαχείρηση των διεργασιών MLOps παραμένουν τεχνικά απαιτητικές, με υψηλό γνωστικό φορτίο και ανάγκη εξειδικευμένης γνώσης από την επιστημονική κοινότητα. Παράλληλα, η ανάπτυξη των Μεγάλων Γλωσσικών Μοντέλων (Large Language Models – LLMs) τα τελευταία χρόνια έχει μετασχηματίσει το πεδίο της Τεχνητής Νοημοσύνης και συγκεκριμένα του τομέα της Επεξεργασίας Φυσικής Γλώσσας. Η παρούσα διπλωματική εργασία υλοποιήθηκε βασισμένη στο Ευρωπαϊκό έργο Horizon Europe “HumAIne”. Προτείνει και υλοποιεί μια διαλογική, πολυπρακτορική (multi-agent) εφαρμογή για την ενορχήστρωση διαδικασιών MLOps, αξιοποιώντας τα LLMs ως γνωσιακό πυρήνα ενός συστήματος πρακτόρων. Στόχος της ήταν η μετατροπή της αλληλεπίδρασης με σύνθετες υποδομές ML από διαχειριστική και παραμετρική διαδικασία σε διαλογική εμπειρία βασισμένη στη φυσική γλώσσα. Μέσω τεχνικών όπως: • Ο σχεδιασμός Προτροπών (Prompt Engineering), η στρατηγική με την οποία συντάσσεται ένα prompt ώστε να επιτευχθεί με σαφήνεια η προσαρμογή της συμπεριφοράς του μοντέλου • Το Retrieval-Augmented Generation (RAG), που μέσω εξωτερικών αξιόπιστων πηγών δεδομένων, το LLM ανακτά σχετικές πληροφορίες σε πραγματικό χρόνο για να παράγει ακριβέστερες επίκαιρες και εξειδικευμένες απαντήσεις. Έτσι μειώνονται οι ανακριβείς ή ανύπαρκτες πληροφορίες (hallucinations) που προκύπτουν κυρίως από ελλείψεις στα δεδομένα εκπαίδευσης, σφάλματα στη δυαδική ταξινόμηση νέων πληροφοριών ή την τάση του μοντέλου να προβλέπει την επόμενη πιθανή λέξη αντί να ανακαλεί γεγονότα. • Η κλήση εργαλείων, όπως συναρτήσεων Python καθώς και εξωτερικών διεπαφών API, βάσεων δεδομένων τα LLMs μπορούν να υπερβούν τα όρια της καθαρά γλωσσικής παραγωγής και να λειτουργήσουν ως ελεγκτές ενεργειών σε εξωτερικά συστήματα. Μια επιπλέον ανερχόμενη πρακτική είναι η χρήση των LLM ως γνωσιακό πυρήνα ενός πρακτορικού μοντέλου. Αναλυτικότερα με τον τρόπο αυτό, ικανοποιούνται η εσωτερική συλλογιστική, η αλληλεπίδραση με το περιβάλλον μέσω της επεξεργασίας εηωτερικών δεδομένων και με βάση αυτά η εκτέλεση ενέργειων, αναγκαίες συνθήκες που απαρτίζουν την έννοια ενός πράκτορα στο πεδίο της τεχνιτής νουμοσύνης. Υπάρχουν δύο βασικές αρχιτεκτονικές που διακρίνουν ένα πρακτορικό σύστημα, τα μονοπρακτορικά (Single Agent Systems) και τα πολυπρακτορικά (Multi-Agent Systems). Για υλοποιήσεις που αφορούν μικρό αριθμό λειτουργιών, ένα μονοπρακτορικό σύστημα αποτελεί την βέλτιστη επιλογή, καθώς ένα μικρό σε μέγεθος prompt μπορεί να διευκρινήσει τις αρμοδιότητες του πράκτορα και τα εργαλεία τα οποία ενσωματώνονται. Σε περιπτώσεις που η δομή του προβλήματος ωφελείται από κατανεμημένη συλλογιστική, εξειδίκευση και απομόνωση ευθυνών, δημηουργείται ένα μεγάλο prompt με αποτέλεσμα να αυξάνεται το γνωστικό φορτίο του μοντέλου και συνεπώς ο κίνδυνος λανθασμένης επιλογής εργαλείου. Έτσι, είναι προτιμότερο να χρησημοποιηθεί μια πολυπρακτορική αρχιτεκτονική, με κάθε πράκτορα να έχει σαφώς ορισμένο σκοπό, μειωμένη ασάφεια και βελτιωμένη προβλεψιμότητα συμπεριφοράς. Όσο αυξάνεται η ετερογένεια των εργασιών, τόσο αυξάνεται το όφελος εξειδίκευσης. Η αρχιτεκτονική που σχεδιάστηκε ακολουθεί ένα ιεραρχικό μοντέλο πολυπρακτορικού συστήματος, στο οποίο ένας Orchestrator Agent αναλύει το ερώτημα του χρήστη, αναγνωρίζει την πρόθεση του χρήστη και αναθέτει επιμέρους εργασίες σε εξειδικευμένους πράκτορες. Ένας επιπρόσθετος πράκτορας απόκρισης είναι υπέυθυνος για την διαχείρηση αιτημάτων τα οποία δεν έχουν ανατεθεί σε κάποιον από τους εξειδικευμένους πράκτορες. Οι εξειδικευμένοι πράκτορες αποτελούνται από: • Πράκτορα υπεύθυνο για τον χειρισμό του Kubeflow, μιας πλατφόρμας διαχείρησης διεργασιών MLOps, ο οποίος αφαιρεί την πολυπλοκότητα της διαχείρησης του κύκλου ενός έργου μηχανικής μάθησης, της εκτέλεσης πειραμάτων και παρακολούθησης εκτελέσεων. • Πράκτορα διαχείρησης της πλατφόρμας MinIO, η οποία υποστιρίζει το Kubeflow της αποθήκευσης αντικειμένων με σημασιολογικές έννοιες όπως σύνολα δεδομένων, μοντέλα και μετρικές. • Πράκτορα RAG, όπου είναι υπέυθυνος για την παροχή πληροφοριών του έργου με τη χρήση μηχανισμών RAG Η επικοινωνία με τις υποδομές πραγματοποιείται μέσω μηχανισμών κλήσης εργαλείων (function tools) με αυστηρά ορισμένα σχήματα εισόδου/εξόδου, επιτρέποντας υβριδική συλλογιστική όπου το LLM αναλαμβάνει τον σχεδιασμό και τη λήψη αποφάσεων, ενώ τα εξωτερικά συστήματα εκτελούν ντετερμινιστικές λειτουργίες. Η χρήση του OpenAI Agents SDK διευκολύνει τη διαχείριση πρακτόρων, ενώ χρησημοποιήθηκε το Chainlit για να υλοποιηθεί το διαλογικό περιβάλλον διεπαφής και μηχανισμούς διαχείρισης συνεδρίας. Για λόγους διαφάνειας και αναπαραγωγιμότητας, ενσωματώνεται μηχανισμός παρατηρησιμότητας (observability) μέσω της πλατφόρμας LangSmith, επιτρέποντας ιχνηλάτηση προτροπών, κλήσεων εργαλείων και ροών εκτέλεσης. | |
| dc.identifier.uri | https://hdl.handle.net/10889/31636 | |
| dc.language.iso | en | |
| dc.rights | Attribution-NonCommercial-ShareAlike 3.0 Greece | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-sa/3.0/gr/ | |
| dc.subject | MLOps | |
| dc.subject | Large language models | |
| dc.subject | Agentic AI | |
| dc.subject | Agents | |
| dc.subject | Chatbots | |
| dc.subject.alternative | Μεγάλα γλωσσικά δεδομένα | |
| dc.title | A conversational multi-agent application for "MLOps" orchestration | |
| dc.title.alternative | Σχεδιασμός και ανάπτυξη πολυπρακτορικής διαλογικής εφαρμογής για συντονισμό διεργασιών "MLOps" |