Permutation-invariant knowledge distillation for motion prediction in autonomous vehicles
| datacite.contributor.RelatedPerson | Μπεχλιούλης, Χαράλαμπος | |
| datacite.contributor.RelatedPerson | Χατζηλυγερούδης, Κωνσταντίνος | |
| datacite.contributor.Supervisor | Μουστάκας, Κωνσταντίνος | |
| dc.contributor.author | Ζωγράφου, Μαρία Νίκη | |
| dc.contributor.other | Zografou, Maria Niki | |
| dc.date.accessioned | 2026-07-07T05:08:37Z | |
| dc.date.available | 2026-07-07T05:08:37Z | |
| dc.date.issued | 2026-07-03 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Motion prediction –forecasting the future trajectories of surrounding vehicles, pedestrians and cyclists is a safety-critical component of the autonomous-driving pipeline that must run in real time on embedded hardware. State-of-the-art predictors, however, are trained on compute clusters and are too large to run on a single consumer GPU, placing both ends of the contemporary pipeline out of reach for an individual researcher. This thesis asks how small a competitive trajectory predictor can be made before its accuracy degrades, and whether the lost accuracy can be recovered through knowledge distillation without enlarging the model or worsening the calibration a downstream planner depends on. The study uses HiVT, a transformer-based Laplace-mixture predictor that is small enough to be both trained and run on a single GPU, evaluated on the Argoverse 1 benchmark. The accuracy–capacity trade-off is first characterised by sweeping the embedding width (128, 64, 32, 16) and locating the point at which a from-scratch student falls measurably below the teacher. The mode-permutation problem is then identified: because HiVT trains its mixture modes with a winner-takes-all loss, the mode slots of two independently trained models do not correspond, so any distillation term that aligns modes by index supervises the student with self-contradictory targets. To resolve this, a permutation-invariant mixture negative-log-likelihood objective is derived that treats the teacher’s modes as an order-free set of soft targets and supports unequal mode counts, with a proof of invariance. Experiments show that a mean-target variant of this objective recovers roughly 84% of the HiVT 32→ HiVT-64 capacity gap (−9.2% minFDE over a matched non-distilled baseline) at zero added inference cost, but degrades full-distribution calibration (mixture NLL +41%, calibration error 5×) by discarding the teacher’s predictive variance. A distribution-matching objective that also distils the teacher’s per-mode scales removes this penalty entirely, leaving the student better calibrated than both the non distilled baseline and the teacher while retaining the full geometric gain. The benefit grows as the student shrinks: at width 16 (55× smaller than the teacher) distribution-matching distillation improves minFDE by −22.7%—roughly 2.5× the width-32 gain—recovering ∼81% of the width-16→width-32 gap, with calibration improving rather than degrading. Distillation thus buys close to a full size-class of accuracy for free, and most where capacity is scarcest. A final efficiency analysis quantifies the deployment frontier: parameter and memory savings are fixed and unconditional (15× at width 32, 55× at width 16), whereas the single-scene latency speed-up is far sublinear and batch-dependent (on CPU ∼3× online, rising to ∼5.5× under modest batching), locating the compression benefit primarily in memory footprint. Overall, the answer to how small a competitive HiVT can be made is encouraging: with a permutation-invariant, calibration-preserving distillation loss, a 55×-smaller student reaches roughly the accuracy of an un-distilled model nearly four times its size at no calibration cost. | |
| dc.description.translatedabstract | Η πρόβλεψη κίνησης–η πρόγνωση των μελλοντικών τροχιών των γύρω οχημάτων, πεζών και ποδηλάτων αποτελεί ένα κρίσιμο για την ασφάλεια συστατικό της αλυσίδας επεξεργασίας της αυτόνομης οδήγησης, το οποίο πρέπει να εκτελείται σε πραγματικό χρόνο και σε υλικό ενσωματωμένο στο όχημα (embedded hardware). Ωστόσο, τα σύγχρονα μοντέλα υψηλής ακρίβειας για την πρόβλεψη τροχιών εκπαιδεύονται σε συστοιχίες υπολογιστών (compute clusters) και απαιτούν μεγάλες ποσότητες μνήμης και υπολογιστικής ισχύος για να εκτελεστούν σε μία μεμονωμένη καταναλωτική GPU. Εμπνευσμένη από την ασσυμετρία στην ανάγκη για υπολογιστική ισχύ στα δύο άκρα της σύγχρονης αλυσίδας, η παρούσα διπλωματική εργασία διερευνά πόσο μικρό μπορεί να γίνει ένα ανταγωνιστικό μοντέλο πρόβλεψης τροχιών πριν υποβαθμιστεί η ακρίβειά του, και κατά πόσον η χαμένη ακρίβεια μπορεί να ανακτηθεί μέσω της απόσταξης γνώσης (knowledge distillation) χωρίς να μεγαλώσει το μοντέλο ή να επιδεινωθεί η βαθμονόμησή του (calibration). Η μελέτη χρησιμοποιεί το HiVT, ένα μοντέλο βασισμένο σε transformer με μείξη κατανομών Laplace, το οποίο είναι αρκετά μικρό ώστε να εκπαιδεύεται και να εκτελείται σε μία μόνο GPU, αξιολογούμενο στο benchmark Argoverse 1. Αρχικά γίνεται χαρακτηρισμός του συμβιβασμού ακρίβειας–εκφραστικής ικανότητας(accuracy–capacity trade-off) σαρώνοντας το πλάτος ενσωμάτωσης (embedding width) (128, 64, 32, 16) και εντοπίζοντας το σημείο στο οποίο ένας μαθητής εκπαιδευμένος εκ του μηδενός πέφτει μετρήσιμα κάτω από τον δάσκαλο. Στη συνέχεια προσδιορίζεται το πρόβλημα μετάθεσης τρόπων (mode-permutation problem): επειδή το HiVT εκπαιδεύει τους τρόπους της μείξης του με μια συνάρτηση σφάλματος τύπου “ο νικητής τα παίρνει όλα” (winner-takes-all), οι θέσεις των τρόπων (mode slots) δύο ανεξάρτητα εκπαιδευμένων μοντέλων δεν αντιστοιχούν, οπότε οποιοσδήποτε όρος απόσταξης που ευθυγραμμίζει τους τρόπους κατά δείκτη επιβλέπει τον μαθητή με αντιφατικούς στόχους. Για να επιλυθεί αυτό το πρόβλημα, σχεδιάστηκε μια αντικειμενική συνάρτηση αρνητικής λογαριθμικής πιθανοφάνειας (negative-log-likelihood objective) μείξης που είναι αναλλοίωτη ως προς τις μεταθέσεις (permutation-invariant), η οποία αντιμετωπίζει τους τρόπους του δασκάλου ως ένα σύνολο “απαλών” στόχων (soft targets) χωρίς διάταξη και υποστηρίζει άνισα πλήθη τρόπων, συνοδευόμενη από απόδειξη της αμεταβλητότητας της. Τα πειράματα δείχνουν ότι μια παραλλαγή της αντικειμενικής αυτής συνάρτησης που στοχεύει στη μέση τιμή (mean-target) ανακτά περίπου το 84% του χάσματος εκφραστικής ικανότητας (capacity gap) HiVT-32→HiVT-64 (−9.2% minFDE σε σχέση με μια αντίστοιχη μη αποσταγμένη γραμμή βάσης) με μηδενικό πρόσθετο κόστος συμπερασμού (inference), αλλά υποβαθμίζει τη βαθμονόμηση ολόκληρης της κατανομής (mixture NLL +41%,σφάλμα βαθμονόμησης 5×) απορρίπτοντας την προβλεπτική διασπορά του δασκάλου. Μια αντικειμενική συνάρτηση αντιστοίχισης κατανομών(distribution-matching), η οποία αποστάζει επιπλέον τις κλίμακες ανά τρόπο του δασκάλου, εξαλείφει εντελώς αυτή την επιβάρυνση, αφήνοντας τον μαθητή καλύτερα βαθμονομημένο τόσο από τη μη αποσταγμένη γραμμή βάσης όσο και από τον δάσκαλο, διατηρώντας παράλληλα ολόκληρο το κέρδος της γεωμετρικής ακρίβειας. Το όφελος μεγαλώνει όσο μικραίνει ο μαθητής: στο πλάτος 16 (55× μικρότερος από τον δάσκαλο) η απόσταξη αντιστοίχισης κατανομών βελτιώνει το minFDE κατά −22.7%—περίπου 2.5× το κέρδος στο ii πλάτος 32—ανακτώντας ∼81% του χάσματος πλάτους-16→πλάτους-32, με τη βαθμονόμηση να βελτιώνεται αντί να επιδεινώνεται. Έτσι η απόσταξη εξασφαλίζει σχεδόν μια πλήρη κατηγορία μεγέθους ακρίβειας δωρεάν, και μάλιστα περισσότερο εκεί όπου η εκφραστική ικανότητα είναι πιο περιορισμένη. Μια τελική ανάλυση αποδοτικότητας ποσοτικοποιεί το μέτωπο ανάπτυξης (deployment frontier): οι εξοικονομήσεις παραμέτρων και μνήμης είναι σταθερές και άνευ όρων (15× στο πλάτος 32, 55× στο πλάτος 16), ενώ η επιτάχυνση καθυστέρησης (latency) για μία σκηνή είναι σαφώς υπογραμμική και εξαρτώμενη από τη δεσμίδα (batch) (σε CPU ∼3× σε λειτουργία online, ανερχόμενη σε ∼5.5× υπό μέτρια ομαδοποίηση), τοποθετώντας το όφελος της συμπίεσης κυρίως στο αποτύπωμα μνήμης. Συνολικά, η απάντηση στο πόσο μικρό μπορεί να γίνει ένα ανταγωνιστικό HiVT είναι ενθαρρυντική: με μια αναλλοίωτη ως προς τις μεταθέσεις συνάρτηση απόσταξης που διατηρεί τη βαθμονόμηση, ένας 55×μικρότερος μαθητής φτάνει περίπου την ακρίβεια ενός μη αποσταγμένου μοντέλου σχεδόν τετραπλάσιου μεγέθους χωρίς κόστος στη βαθμονόμηση. | |
| dc.identifier.uri | https://hdl.handle.net/10889/32312 | |
| dc.language.iso | en | |
| dc.rights | Attribution-NonCommercial-ShareAlike 4.0 International | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-sa/4.0/ | |
| dc.subject | Autonomous vehicles | |
| dc.subject | Machine learning | |
| dc.subject | Knowledge distillation | |
| dc.subject | Motion prediction | |
| dc.subject.alternative | Αυτόνομα οχήματα | |
| dc.subject.alternative | Μηχανική μάθηση | |
| dc.subject.alternative | Απόσταξη γνώσης | |
| dc.subject.alternative | Πρόβλεψη κίνησης | |
| dc.title | Permutation-invariant knowledge distillation for motion prediction in autonomous vehicles | |
| dc.title.alternative | Απόσταξη γνώσης αναλλοίωτη ως προς τις μεταθέσεις για την πρόβλεψη κίνησης σε αυτόνομα οχήματα |