Δυναμική και ανθεκτική σε σφάλματα συνεργατική εκτέλεση μεγάλων γλωσσικών μοντέλων σε ετερογενείς συσκευές
Loading...
Date
2026-10-02
Authors
Δελημπαλταδάκης, Γρηγόριος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η εκτέλεση Μεγάλων Γλωσσικών Μοντέλων (Large Language Models - LLMs) περιορίζεται συχνά από υψηλές απαιτήσεις μνήμης και υπολογιστικής ισχύος. Η παρούσα διπλωματική εργασία παρουσιάζει ένα δυναμικό, ανθεκτικό σε σφάλματα σύστημα για τη συνεργατική εκτέλεση LLMs, με αποκεντρωμένη διαχείριση, σε ένα τοπικό δίκτυο ετερογενών συσκευών. Αξιοποιώντας την τεχνική του παραλληλισμού διοχέτευσης (pipeline parallelism), το σύστημα κατανέμει τα επίπεδα μετασχηματιστών (transformer layers) και το τελικό επίπεδο εξόδου (output layer) ενός decoder-only LLM σε ένα πλήθος από κόμβους – εργάτες.
Ο συντονισμός του συστήματος πραγματοποιείται μέσω ενός Κατανεμημένου Πίνακα Κατακερματισμού (Distributed Hash Table - DHT), εξαλείφοντας την ανάγκη για έναν κεντρικό κόμβο-συντονιστή και αποτρέποντας τη δημιουργία μοναδικών σημείων αποτυχίας. Η αρχιτεκτονική του συστήματος εξασφαλίζει αυτοματοποιημένη εξισορρόπηση φορτίου, μέσω της Δυναμικής Ανακατανομής των επιπέδων του μοντέλου (Dynamic Layer Reallocation), ενώ παράλληλα ενσωματώνει μηχανισμούς Ευκαιριακής Ανάληψης Επιπέδων (opportunistic takeover), για την βελτίωση της απόδοσης του συστήματος και αυτόματης Επισκευής της Αλυσίδας εκτέλεσης σε περίπτωση αποτυχίας, διασφαλίζοντας έτσι την ανθεκτικότητα σε σφάλματα (fault tolerance).
Για το μετριασμό της καθυστέρησης δικτύου κατά τη μετάδοση των ενδιάμεσων ενεργοποιήσεων, εφαρμόζεται 8-bit dynamic block-wise quantization. Συμπληρωματικά, το σύστημα υποστηρίζει την ταυτόχρονη παραγωγή κειμένου για πολλαπλούς χρήστες, αξιοποιώντας εναλλασσόμενες Key-Value (KV) caches.
Η πειραματική αξιολόγηση καταδεικνύει ότι η Δυναμική Ανακατανομή Επιπέδων σχεδόν διπλασιάζει το throughput (11.63 TPS) σε σύγκριση με μια άπληστη κατανομή επιπέδων (6.21 TPS), ενώ η κβαντοποίηση 8-bit μειώνει το ωφέλιμο φορτίο δικτύου κατά 50% εξασφαλίζοντας υψηλότερη απόδοση σε ταχύτητες μικρότερες των 30 Mbps.
Το προκύπτον σύστημα επιτρέπει την συνεχή και αποδοτική εκτέλεση γλωσσικών μοντέλων που υπερβαίνουν τις δυνατότητες των επιμέρους συσκευών, διατηρώντας σταθερότητα παρά την τυχόν αποτυχία μεμονωμένων κόμβων. Συγκεκριμένα το σύστημα ανακάμπτει από αστοχίες κόμβων σε 15-30 δευτερόλεπτα και αποτρέπει υπολογιστικές συμφορήσεις μέσω της Ευκαιριακής Ανάληψης εντός ~3 δευτερολέπτων.
Description
Keywords
Μεγάλα γλωσσικά μοντέλα, Κατανεμημένη εκτέλεση, Αποκεντρωμένα συστήματα, Παραλληλισμός διοχέτευσης, Ανθεκτικότητα σε σφάλματα, Δυναμική εξισορρόπηση φορτίου, Κατανεμημένος πίνακας κατακερματισμού (DHT), Ετερογενή συστήματα