Ιχνηλάτιση χαρακτηριστικών με "event" κάμερα
Loading...
Date
2025-10-27
Authors
Φωτάκης, Ανδρέας
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η ιχνηλάτηση χαρακτηριστικών υπήρξε διαχρονικά πρόκληση για την υπολογιστική όραση. Ο συνηθέστερος τρόπος προσέγγισης είναι να αντιμετωπίζεται ως πρόβλημα στοίχισης εικόνων μεταξύ διαδοχικών καρέ, ώστε να εξαχθεί ένας γεωμετρικός μετασχηματισμός (μετατόπιση/περιστροφή) που περιγράφει την κίνηση του υπό μελέτη αντικειμένου. Ωστόσο, όταν τα δεδομένα προέρχονται από κλασικές κάμερες σε σενάρια υψηλής ταχύτητας και υψηλής δυναμικής περιοχής, επιβάλλονται σημαντικοί περιορισμοί: τα καρέ αποκτώνται σε σταθερό ρυθμό, η πληροφορία που συμβαίνει μεταξύ δύο λήψεων χάνεται και ολόκληρο το πλαίσιο φωτεινοτήτων μεταφέρεται ακόμη και όταν δεν αλλάζει τίποτα, οδηγώντας σε υποδειγματοληψία των πιο δυναμικών περιοχών.Για να ξεπεραστούν τα παραπάνω, χρησιμοποιούνται νευρομορφικοί αισθητήρες. Οι κάμερες συμβάντων εκπέμπουν ασύγχρονα μόνο τις αλλαγές φωτεινότητας κάθε εικονοστοιχείου, δημιουργώντας ροές συμβάντων που αγνοούν τις απόλυτες τιμές φωτεινότητας και αποτυπώνουν με εξαιρετικά μικρή καθυστέρηση τη σκηνή. Καθώς η αρχή λειτουργίας τους διαφέρει ριζικά από εκείνη των κλασικών καμερών, απαιτείται επανασχεδιασμός των καθιερωμένων αλγορίθμων ώστε να προκύψουν μέθοδοι που αξιοποιούν πλήρως τη δυναμική των αισθητήρων αυτών.Στην παρούσα εργασία ακολουθούμε τη σύγχρονη γραμμή εργασιών για event-based ιχνηλάτηση χαρακτηριστικών με ενσωμάτωση IMU και μεθόδους βαθιάς μάθησης. Ακολουθούμε το state of the art πρώτο μοντέλο Deep-EV-Tracker βαθιάς μάθησης που χρησιμοποιεί γεγονότα και καρέ και παρακολουθεί κάθε χαρακτηριστικό ξεχωριστά. Μεταγενέστερες μεθόδους έχουν αξιοποιήσει την λογική του Track Any Point (TAP), και επιτυγχάνουν καλύτερα αποτελέσματα, όμως παρακολουθούν όλα τα χαρακτηριστικά της εικόνας μαζί και χρησιμοποιούν μόνο την πληροφορία των γεγονότων. Προτείνουμε και ενσωματώνουμε στο Deep-EVTracker ένα Self-Attention ConvLSTM (SA–ConvLSTM) που επεκτείνει το κλασικόConvLSTM με μνήμη αυτο-προσοχής. Η προσθήκη αυτή προσφέρει παγκόσμια χωρική πληροφορία ανά χρονικό βήμα και συσσωρευτική χρονική μνήμη, βελτιώνοντας τη μοντελοποίηση χωροχρονικών συσχετίσεων μέσα στα patches γεγονότων. Ως αποτέλεσμα, ο ιχνηλάτης παραμένει σταθερός σε θόρυβο και αποκρύψεις και επιτυγχάνει μεγαλύτερη συνέπεια τροχιών, με μείωση του σφάλματος επαναπροβολής σε ακατέργαστα δεδομένα συμβάντων.
Description
Keywords
Κάμερες συμβάντων, Ιχνηλάτηση χαρακτηριστικών