Τεχνικές παράλληλης προεπεξεργασίας μεγάλων συνόλων δεδομένων για αποδοτική κατανεμημένη μηχανική μάθηση
Loading...
Date
2024-07-18
Authors
Μεταξάκης, Δημήτρης
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Στον τομέα της μηχανικής μάθησης (ML), η διαχείριση μεγάλων πινακοποιημένων συνόλων δεδομένων (tabular datasets) που υπερβαίνουν τη χωρητικότητα της κύριας μνήμης αποτελεί ένα σημαντικό πρόβλημα. Αυτή η διπλωματική, σε πρώτο στάδιο, παρουσιάζει μια καινοτόμο μεθοδολογία υλοποιημένη σε μια παράλληλη βιβλιοθήκη, με στόχο την αντιμετώπιση της πρόκλησης αυτής, αξιοποιώντας την αποτελεσματική τμηματική φόρτωση δεδομένων από τη μνήμη. Σε αντίθεση με τις παραδοσιακές προσεγγίσεις που εστιάζουν στην παραλ-ληλοποίηση του υπολογισμού ενός προβλήματος, η παρούσα δουλειά εισάγει νέες παράλληλες στρατηγικές για τη φόρτωση δεδομένων, κάνοντας εφικτή τη διαχείριση μεγάλων συνόλων δεδομένων. Επιπλέον, με την εργασία αυτή, υπογραμμίζεται ο κρίσιμος ρόλος της φάσης προεπεξεργασίας σε διοχετεύσεις Μηχανικής Μάθησης(ML pipelines). Μολονότι οι περισσότερες προσεγγίσεις στοχεύουν στην βελτίωση των αλγορίθμων και συχνά κατα-λαμβάνουν το προσκήνιο, η σημασία της φάσης της προεπεξεργασίας, ιδίως σε ένα πλαίσιο διαχείρισης μεγάλων συνόλων δεδομένων, συχνά παραβλέπεται στη βιβλιογραφία. Η παράλληλη υλοποίηση που παρουσιάζουμε εδώ επιδιώκει να γεφυρώσει αυτό το χάσμα, προωθώντας μια ολοκληρωμένη λύση στην ανάπτυξη μοντέλων Μηχα-νικής Μάθησης.
Στην δεύτερη φάση της διπλωματικής, στοχεύουμε στην ανάπτυξη μιας αποδοτικής διοχέτευσης Μηχανικής Μάθησης (ML pipeline) και παρουσιάζουμε μια μεθοδολογία παράλληλων φορτωτών δεδομένων(dataloaders) με κρυφή μνήμη που είναι σχεδιασμένοι να αντιμετωπίζουν μεγάλα πινακοποιημένα σύνολα δεδομένων (tabular datasets). Οι παράλληλοι αυτοί φορτωτές επωφελούνται από τον αποδοτικό τρόπο προεπεξεργασίας δεδομένων που αναπτύχθηκε στο πρώτο στάδιο και τροφοδοτούν μια διαδικασία εκπαίδευσης νευρωνικών δικτύων βαθιάς αρχιτεκτονικής (Deep Neural Networks), με δυνατότητα επέκτασης πέρα από ένα μόνο κόμβο υπολογισμού, ανοίγοντας το δρόμο για αποδοτικές τεχνικές Κατανεμημένης Μηχανικής Μάθησης και Αναζήτησης Αρχιτε-κτονικής Νευρωνικών Δικτύων (NAS).
Description
Keywords
Μεγάλα πινακοποιημένα σύνολα δεδομένων, Προεπεξεργασία δεδομένων, Μηχανική μάθηση, Κατανεμημένη βαθιά μάθηση, Εικονικοποίηση, Παράλληλη προεπεξεργασία δεδομένων, Παράλληλοι φορτωτές δεδομένων, Υπολογισμοί υψηλών επιδόσεων, Παραλληλία εργασιών, Παραλληλία δεδομένων