Please use this identifier to cite or link to this item: http://hdl.handle.net/10889/13787
Title: Deep-learning-based forward-error-correction decoding techniques and optimizations for hardware implementation
Other Titles: -
Authors: Καββουσανός, Εμμανουήλ
Keywords: Error correction
Channel decoding
Telecommunications
Machine learning
Deep learning
Neural networks
FPGA
Compression
Optimization
Keywords (translated): Διόρθωση σφαλμάτων
Αποκωδικοποίηση καναλιού
Τηλεπικοινωνίες
Μηχανική μάθηση
Βαθιά μάθηση
Νευρωνικά δίκτυα
Συμπίεση
Βελτιστοποίηση
Abstract: In recent years, Deep-Learning has been adopted by a wide spectrum of applications, as it is a powerful problem-solving methodology which can be applied in extremely diverse fields. Various types of Artificial Neural Networks can be trained to perform a task with high accuracy. The effectiveness of such networks can surpass even humans in computer vision and language processing problems. Beyond the typical aforementioned applications, Deep-Learning techniques have been recently examined for adoption in several Telecommunication areas, including Forward Error Correction. Several works have investigated the training of neural networks for channel decoding. In this thesis, the case of the Syndrome-based Deep-Learning Decoder is considered for the BCH(63,45) code and transmission with BPSK modulation through an AWGN channel. First of all, the training process of the neural network decoder is examined, by searching for the optimal training hyperparameters. Furthermore, new neural network decoder architectures are explored, beyond those suggested in the literature and modifications to the existing decoding framework are suggested which improve the decoding performance remarkably. Moreover, the computational complexity of the Syndrome-based DL decoder is considered. Deep-Learning decoding methods are hard to implement in hardware as they normally require millions of operations for inference. In order for Deep-Learning decoding to be a competitive candidate for practical applications, further research effort is required to reduce the computational complexity and storage requirements of the Neural Networks involved. In this thesis, a structured flow is presented that significantly compresses a trained Syndrome-Based Neural Network Decoder by pruning up to 80% of the network weights and quantizing them to 8-bit fixed-point representation. The attained compressed Neural Network can then be used for inference, by designing special hardware or by using a generic Deep-Learning hardware accelerator that exploits the compressed structure of the network. Finally, the deployment of the DL Decoder in an embedded application is showcased, using the AI Edge platform by Xilinx. Implementation results are provided for the compressed DL Decoder, regarding latency, throughput rate and BER performance.
Abstract (translated): Τα τελευταία χρόνια, η Βαθιά Μάθηση (Deep Learning) υιοθετείται από ένα ευρύ φάσμα εφαρμογών, καθώς αποτελεί μία ισχυρή μέθοδο επίλυσης προβλημάτων η οποία μπορεί να εφαρμοστεί σε πολλούς και διαφορετικούς τομείς. Διάφοροι τύποι Τεχνητών Νευρωνικών Δικτύων είναι δυνατό να εκπαιδευτούν ώστε να εκτελούν εργασίες με πολύ μεγάλη ακρίβεια. Η αποτελεσματικότητα αυτών των δικτύων μπορεί να ξεπεράσει ακόμα και τον άνθρωπο σε προβλήματα υπολογιστικής όρασης και επεξεργασίας γλώσσας. Πέρα από τις τυπικές προαναφερθείσες εφαρμογές, τεχνικές βαθιάς μάθησης έχουν εξεταστεί πρόσφατα για εφαρμογή σε αρκετούς τομείς των τηλεπικοινωνιών, μεταξύ των οποίων και η Διόρθωση Σφαλμάτων. Αρκετές εργασίες έχουν εξετάσει την εκπαίδευση νευρωνικών δικτύων για το πρόβλημα της αποκωδικοποίησης καναλιού. Σε αυτήν την μεταπτυχιακή εργασία εξετάζεται η περίπτωση του Αποκωδικοποιητή Βαθιάς Μάθησης βασισμένου στο Σύνδρομο (Syndrome-based Deep-Learning Decoder) για έναν κώδικα BCH(63,45) και μετάδοση με διαμόρφωση BPSK μέσω ενός AWGN καναλιού. Πρώτα, διερευνάται η διαδικασία της εκπαίδευσής του νευρωνικού δικτύου του αποκωδικοποιητή, ψάχνοντας της βέλτιστες υπερ-παραμέτρους εκπαίδευσης. Επίσης, αναζητούνται νέες αρχιτεκτονικές νευρωνικών δικτύων για χρήση στον αποκωδικοποιητή, πέρα από της ήδη υπάρχουσες στη βιβλιογραφία και προτείνονται τροποποιήσεις στη δομή του αποκωδικοποιητή οι οποίες βελτιώνουν σημαντικά τη διορθωτική του ικανότητα. Ακόμη, μελετάται η υπολογιστική πολυπλοκότητα του αποκωδικοποιητή. Οι μέθοδοι αποκωδικοποίησης βασισμένες στη Βαθιά Μάθηση είναι δύσκολο στο να υλοποιηθούν σε υλικό καθώς απαιτούν συνήθως εκατομμύρια πράξεις. Για να είναι αυτές οι μέθοδοι ανταγωνιστικές σε πρακτικές εφαρμογές, απαιτείται περεταίρω ερευνητική προσπάθεια για να μειωθούν οι απαιτήσεις υπολογιστικής πολυπλοκότητας και αποθήκευσης των εμπλεκόμενων νευρωνικών δικτύων. Σε αυτήν την εργασία, παρουσιάζεται μια δομημένη μεθοδολογία που συμπιέζει σημαντικά έναν εκπαιδευμένο αποκωδικοποιητή Νευρωνικού Δικτύου βασισμένο στο σύνδρομο, με τη μείωση μέχρι και κατά 80% των βαρών του δικτύου και την κβάντισή τους σε αναπαράσταση σταθερής υποδιαστολής (fixed-point) 8-bit. Το επιτευχθέν συμπιεσμένο νευρωνικό δίκτυο μπορεί στη συνέχεια να χρησιμοποιηθεί για αποκωδικοποίηση, σχεδιάζοντας ειδικό υλικό ή χρησιμοποιώντας ένα γενικό επιταχυντή υλικού Βαθιάς Μάθησης που να εκμεταλλεύεται την συμπιεσμένη δομή του δικτύου. Τέλος, παρουσιάζεται η υλοποίηση του DL αποκωδικοποιητή σε μια ενσωματωμένη εφαρμογή, χρησιμοποιώντας την πλατφόρμα AI Edge από την Xilinx και παρουσιάζονται τα αποτελέσματα της υλοποίησης, όσον αφορά την καθυστέρηση, τη διεκπεραιωτική ικανότητα και την απόδοση BER.
Appears in Collections:Τμήμα Μηχανικών Η/Υ και Πληροφορικής (ΜΔΕ)

Files in This Item:
File Description SizeFormat 
Nemertes_Kavvousanos(com).pdf3.85 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons