Τεχνικές παράλληλης προεπεξεργασίας μεγάλων συνόλων δεδομένων για αποδοτική κατανεμημένη μηχανική μάθηση
| datacite.contributor.RelatedPerson | Σιούτας, Σπυρίδων | |
| datacite.contributor.RelatedPerson | Δερματάς, Ευάγγελος | |
| datacite.contributor.Supervisor | Χατζηδούκας, Παναγιώτης | |
| dc.contributor.author | Μεταξάκης, Δημήτρης | |
| dc.contributor.other | Metaxakis, Dimitris | |
| dc.date.accessioned | 2024-07-19T09:44:39Z | |
| dc.date.available | 2024-07-19T09:44:39Z | |
| dc.date.issued | 2024-07-18 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Στον τομέα της μηχανικής μάθησης (ML), η διαχείριση μεγάλων πινακοποιημένων συνόλων δεδομένων (tabular datasets) που υπερβαίνουν τη χωρητικότητα της κύριας μνήμης αποτελεί ένα σημαντικό πρόβλημα. Αυτή η διπλωματική, σε πρώτο στάδιο, παρουσιάζει μια καινοτόμο μεθοδολογία υλοποιημένη σε μια παράλληλη βιβλιοθήκη, με στόχο την αντιμετώπιση της πρόκλησης αυτής, αξιοποιώντας την αποτελεσματική τμηματική φόρτωση δεδομένων από τη μνήμη. Σε αντίθεση με τις παραδοσιακές προσεγγίσεις που εστιάζουν στην παραλ-ληλοποίηση του υπολογισμού ενός προβλήματος, η παρούσα δουλειά εισάγει νέες παράλληλες στρατηγικές για τη φόρτωση δεδομένων, κάνοντας εφικτή τη διαχείριση μεγάλων συνόλων δεδομένων. Επιπλέον, με την εργασία αυτή, υπογραμμίζεται ο κρίσιμος ρόλος της φάσης προεπεξεργασίας σε διοχετεύσεις Μηχανικής Μάθησης(ML pipelines). Μολονότι οι περισσότερες προσεγγίσεις στοχεύουν στην βελτίωση των αλγορίθμων και συχνά κατα-λαμβάνουν το προσκήνιο, η σημασία της φάσης της προεπεξεργασίας, ιδίως σε ένα πλαίσιο διαχείρισης μεγάλων συνόλων δεδομένων, συχνά παραβλέπεται στη βιβλιογραφία. Η παράλληλη υλοποίηση που παρουσιάζουμε εδώ επιδιώκει να γεφυρώσει αυτό το χάσμα, προωθώντας μια ολοκληρωμένη λύση στην ανάπτυξη μοντέλων Μηχα-νικής Μάθησης. Στην δεύτερη φάση της διπλωματικής, στοχεύουμε στην ανάπτυξη μιας αποδοτικής διοχέτευσης Μηχανικής Μάθησης (ML pipeline) και παρουσιάζουμε μια μεθοδολογία παράλληλων φορτωτών δεδομένων(dataloaders) με κρυφή μνήμη που είναι σχεδιασμένοι να αντιμετωπίζουν μεγάλα πινακοποιημένα σύνολα δεδομένων (tabular datasets). Οι παράλληλοι αυτοί φορτωτές επωφελούνται από τον αποδοτικό τρόπο προεπεξεργασίας δεδομένων που αναπτύχθηκε στο πρώτο στάδιο και τροφοδοτούν μια διαδικασία εκπαίδευσης νευρωνικών δικτύων βαθιάς αρχιτεκτονικής (Deep Neural Networks), με δυνατότητα επέκτασης πέρα από ένα μόνο κόμβο υπολογισμού, ανοίγοντας το δρόμο για αποδοτικές τεχνικές Κατανεμημένης Μηχανικής Μάθησης και Αναζήτησης Αρχιτε-κτονικής Νευρωνικών Δικτύων (NAS). | |
| dc.description.translatedabstract | In the realm of machine learning (ML), managing large tabular datasets that exceed the capaci-ty of main memory presents a significant challenge. This thesis introduces a parallel implemen-tation and methodology based on the Scikit-learn library aiming to address this challenge by focusing on the efficient loading of data chunks from memory. Unlike traditional approaches that emphasize parallelizing computation, this implementation introduces novel parallelization strategies using task-based parallelism incorporating multiple processes for data loading, mak-ing it feasible to seamlessly handle massive tabular datasets using a single preprocessing pipe-line. Importantly, this work underscores the critical role of data preprocessing in ML work-flows. While algorithmic advancements often take the spotlight, the importance of prepro-cessing, especially in the context of handling large datasets, is frequently overlooked in litera-ture. By emphasizing the significance of efficient data loading and preprocessing, this parallel implementation seeks to bridge this gap, promoting a holistic approach to ML model develop-ment. Building upon the groundwork laid in the initial research phase, we integrate the newly devel-oped preprocessing pipeline into a machine learning workflow. We introduce parallel dataload-ers with caching capabilities tailored for large tabular datasets fully compliant with the PyTorch ML framework. The parallel dataloaders ensure that data preprocessing is performed in a scala-ble and resource-efficient manner, even when dealing with massive datasets expanding beyond a single computation node, paving the way for efficient distributed Machine Learning tech-niques and Neural Architecture Search (NAS). | |
| dc.identifier.uri | https://hdl.handle.net/10889/27642 | |
| dc.language.iso | el | |
| dc.rights | Attribution-ShareAlike 3.0 United States | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-sa/3.0/us/ | |
| dc.subject | Μεγάλα πινακοποιημένα σύνολα δεδομένων | |
| dc.subject | Προεπεξεργασία δεδομένων | |
| dc.subject | Μηχανική μάθηση | |
| dc.subject | Κατανεμημένη βαθιά μάθηση | |
| dc.subject | Εικονικοποίηση | |
| dc.subject | Παράλληλη προεπεξεργασία δεδομένων | |
| dc.subject | Παράλληλοι φορτωτές δεδομένων | |
| dc.subject | Υπολογισμοί υψηλών επιδόσεων | |
| dc.subject | Παραλληλία εργασιών | |
| dc.subject | Παραλληλία δεδομένων | |
| dc.subject.alternative | Large tabular datasets | |
| dc.subject.alternative | Data preprocessing | |
| dc.subject.alternative | Machine learning | |
| dc.subject.alternative | Distributed machine learning | |
| dc.subject.alternative | Pytorch distributed | |
| dc.subject.alternative | Docker swarm | |
| dc.subject.alternative | Containers | |
| dc.subject.alternative | Virtualization | |
| dc.subject.alternative | Distributed deep learning | |
| dc.subject.alternative | Parallel data preprocessing | |
| dc.subject.alternative | Parallel dataloaders | |
| dc.subject.alternative | Hpc | |
| dc.subject.alternative | Task parallelism | |
| dc.subject.alternative | Data parallelism | |
| dc.subject.alternative | Multiprocessing | |
| dc.title | Τεχνικές παράλληλης προεπεξεργασίας μεγάλων συνόλων δεδομένων για αποδοτική κατανεμημένη μηχανική μάθηση | |
| dc.title.alternative | Parallel data preprocessing techniques for efficient distributed machine learning |
Files
Original bundle
1 - 1 of 1
Loading...
- Name:
- Διπλωματική_Εργασία_Μεταξάκη_Δημήτρη.pdf
- Size:
- 6 MB
- Format:
- Adobe Portable Document Format