Please use this identifier to cite or link to this item: http://hdl.handle.net/10889/12241
Title: Design and implementation of a real-time pedestrian detection system on SoC FPGA
Other Titles: Σχεδίαση και υλοποίηση ενός συστήματος πραγματικού-χρόνου για τον εντοπισμό πεζών με χρήση SoC FPGA
Authors: Χαλκιόπουλος, Φίλιππος
Keywords: Embedded systems
Pedestrian detection
Real-time
SoC FPGA
OpenCV
Hardware-software co-design
Keywords (translated): Ενσωματωμένα συστήματα
Ανίχνευση πεζών
Abstract: Object Detection Systems have been developing in recent years, in order to add a key characteristic in system automation, the ability of a machine to detect objects without human intervention. These systems are pushing forward and leading on technologies such as driverless cars, surveillance systems, security systems, and others. In the past years, research in the field of object detection systems, produced algorithms that are capable to detect objects from an image, based on their feature extraction. An important algorithm that has been proposed for Pedestrian Detection, is Histogram of Oriented Gradients (HOG) by Dalal and Triggs. The algorithm extracts features of an image and feeds them in a machine learning algorithm, to determine if and where there is a person in an image with a big success rate. This thesis adopts the HOG algorithm alongside a classification algorithm – SVM (implemented in software with OpenCV library), for developing a system able to detect pedestrians in real time, from a video feed of a camera. Real-time pedestrian detection requires fast computation of the HOG and the image processing procedures which means, that the system has to process a big amount of data, in a short period of time. In addition, there is a need for flexibility of the system. It has to be flexible enough to get adopted by other systems, (such as cars, surveillance systems, machines, robots etc) and that requires the system to be easily configurable, to occupy minimum space, and have minimum energy consumption. Given the great demands of a real-time pedestrian detection system, which has to process big load of data while at the same time provide multiple interfaces for communication and adaption, this thesis proposes a design based on a Hardware-Software Co-design. This led to a system that uses either hardware or software for the implementation of the algorithms, designed to work together on a single chip (System on Chip – SoC). In this thesis the system is implemented with the use of Cyclone V SoC FPGA chip, which hosts an FPGA fabric, a dual-core ARM* Cortex*-A9 Hard Processor System (HPS), embedded peripherals, multiport memory controllers and serial transceivers. Summing up, this thesis aimed at designing and implementing a functional system able to detect pedestrian from a video stream coming from an onboard camera. The aim is, for the system to be flexible enough to integrate into other systems, and operate fast enough as a result of the implementation of many of its processes, hardware accelerated. The whole system is implemented on a single board which hosts the Cyclone V SoC FPGA chip, memory chips supporting the FPGA fabric and the HPS, the D8M camera kit which is connected through a parallel port, as well as the video output of the system. The output is extracted from a video DAC and a VGA connector.
Abstract (translated): Τα συστήματα εντοπισμού αντικειμένων που αναπτύσσονται τα τελευταία χρόνια, έρχονται να προσθέσουν ένα σημαντικό χαρακτηριστικό στην αυτοματοποίηση ενός συστήματος, την ικανότητα να εντοπίζουν αντικείμενα χωρίς ανθρώπινη παρέμβαση. Τέτοια συστήματα ωθούν προς τα εμπρός και οδηγούν προς την υλοποίηση τεχνολογιών όπως τα αυτοοδηγούμενα αυτοκίνητα, τα έξυπνα συστήματα επιτήρησης, ανάπτυξη πολυπλοκότερων συστημάτων ασφαλείας κ.α. Τα τελευταία χρόνια, η έρευνα στον τομέα των συστημάτων εντοπισμού αντικειμένων, έχει παράξει αλγορίθμους που είναι ικανοί να ανιχνεύουν αντικείμενα από μια εικόνα με βάση την εξαγωγή των χαρακτηριστικών της. Ένας σημαντικός αλγόριθμος που έχει προταθεί για την ανίχνευση πεζών είναι το Histogram Oriented Gradients (HOG) από τους Dalal και Triggs. Ο αλγόριθμος εξάγει τα χαρακτηριστικά μιας εικόνας και τα τροφοδοτεί σε έναν αλγόριθμο μηχανικής μάθησης, για να προσδιορίσει πότε και πού υπάρχει ένα άτομο σε μια εικόνα με ένα μεγάλο ποσοστό επιτυχίας. Αυτή η εργασία υιοθετεί τον αλγόριθμο HOG παράλληλα με έναν αλγόριθμο ταξινόμησης - SVM (που υλοποιείται σε λογισμικό μέσω της βιβλιοθήκη OpenCV), για την ανάπτυξη ενός συστήματος ικανό να ανιχνεύει πεζούς σε πραγματικό χρόνο, στην ροή βίντεο μιας κάμερας. Η ανίχνευση πεζών σε πραγματικό χρόνο απαιτεί γρήγορο υπολογισμό του HOG και των διαδικασιών επεξεργασίας εικόνας, πράγμα που σημαίνει ότι το σύστημα πρέπει να επεξεργάζεται ένα μεγάλο όγκο δεδομένων σε σύντομο χρονικό διάστημα. Επιπλέον, υπάρχει ανάγκη για ευελιξία του συστήματος. Πρέπει να είναι αρκετά ευέλικτο ώστε να υιοθετείται από άλλα συστήματα (όπως αυτοκίνητα, συστήματα επιτήρησης, μηχανήματα, ρομπότ κ.λπ.) και αυτό απαιτεί το σύστημα να είναι εύκολα παραμετροποιήσιμο, να καταλαμβάνει ελάχιστο χώρο και να καταναλώνει ελάχιστη ενέργεια. Δεδομένων των μεγάλων απαιτήσεων ενός συστήματος ανίχνευσης πεζών σε πραγματικό χρόνο, το οποίο πρέπει να επεξεργάζεται μεγάλο φορτίο δεδομένων, ενώ παράλληλα να παρέχει πολλαπλές διεπαφές επικοινωνίας και προσαρμογής, αυτή η εργασία προτείνει ένα σχεδιασμό συστήματος βασισμένο στην λογική σχεδίασης Hardware-Software Co-design. Αυτό οδήγησε σε ένα σύστημα που χρησιμοποιεί είτε υλικό είτε λογισμικό για την υλοποίηση των αλγορίθμων, σχεδιασμένο να συνεργάζεται σε ένα ενιαίο chip (System on Chip - SoC). Στην εργασία αυτή το σύστημα υλοποιείται με τη χρήση του Cyclone V SoC FPGA chip, το οποίο φιλοξενεί ένα FPGA fabric, ένα διπλού πυρήνα ARM * Cortex * -A9 Hard Processor System (HPS), ενσωματωμένα περιφερειακά, ελεγκτές μνήμης και σειριακούς πομποδέκτες. Συνοψίζοντας, αυτή η εργασία στοχεύει στο σχεδιασμό και την υλοποίηση ενός συστήματος ικανό να ανιχνεύει πεζούς από μια ροή βίντεο που προέρχεται από μια ενσωματωμένη κάμερα. Στόχος, το σύστημα να είναι αρκετά ευέλικτο ώστε να ενσωματώνεται εύκολα σε μεγαλύτερα συστήματα και να εκτελεί όσο το δυνατόν γρηγορότερα την ανίχνευση πεζών ως αποτέλεσμα της υλοποίησης πολλών παράλληλων διεργασιών. Το όλο σύστημα υλοποιείται σε μια αναπτυξιακή πλακέτα το De1-SoC η οποία ενσωματώνει το Cyclone V SoC FPGA chip, μνήμες SDRAM που υποστηρίζουν το FPGA και το HPS, το D8M camera kit που συνδέεται μέσω μιας παράλληλης θύρας της πλακέτας, καθώς και την βίντεο έξοδο του συστήματος. Η έξοδος εξάγεται από video DAC και βύσμα VGA.
Appears in Collections:Τμήμα Φυσικής (ΜΔΕ)

Files in This Item:
File Description SizeFormat 
Nemertes_Chalkiopoulos (phys).pdf6.95 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.