Deployment of temporal GNNs for mining large social networks over Spark on Kubernetes
| datacite.contributor.RelatedPerson | Γαλλόπουλος, Ευστράτιος | |
| datacite.contributor.RelatedPerson | Μακρής, Χρήστος | |
| datacite.contributor.Supervisor | Σιούτας, Σπύρος | |
| dc.contributor.author | Σοφούλης, Φώτης | |
| dc.contributor.other | Sofoulis, Fotis | |
| dc.date.accessioned | 2023-09-29T06:20:56Z | |
| dc.date.available | 2023-09-29T06:20:56Z | |
| dc.date.issued | 2023-09-26 | |
| dc.degree | masterThesis | |
| dc.description.abstract | This master thesis explores the field of graph neural networks and their applications in analyzing large social networks for node feature prediction. The objective of the thesis is twofold: firstly, leveraging the capabilities of Apache Spark on a Kubernetes-managed cluster, the research accentuates the significance of deploying such implementations on physical clusters. This approach sheds light on the inherent challenges posed by real network infrastructure, like network delays, synchronization discrepancies, and slow propagation of critical data. Secondly, the study focuses on the applicability of temporal graph neural networks, in capturing dynamic behaviors within large social graphs, such as label prediction and community detection. Through a structured approach, the research spans the foundations of machine learning concepts, delves into graph neural networks, elaborates on large social network analysis with Spark, and presents an overview of modern infrastructure trends. The thesis concludes by presenting a detailed exploration of the proposed infrastructure and the experimental results. | |
| dc.description.translatedabstract | Αυτή η μεταπτυχιακή διατριβή διερευνά το πεδίο των graph neural networks και τις εφαρμογές τους στην ανάλυση μεγάλων κοινωνικών δικτύων για την πρόβλεψη χαρακτηριστικών των κόμβων. Ο στόχος της διατριβής είναι διπλός: πρώτον, αξιοποιώντας τις δυνατότητες του Apache Spark σε μία συστάδα υπολογιστών διαχειριζόμενη απο το Kubernetes, η έρευνα τονίζει τη σημασία της ανάπτυξης τέτοιων υλοποιήσεων σε φυσικές συστάδες. Αυτή η προσέγγιση επισημάνει τις εγγενείς προκλήσεις που θέτει μία πραγματική υποδομή δικτύου, όπως καθυστερήσεις δικτύου, αποκλίσεις συγχρονισμού και αργή διάδοση κρίσιμων δεδομένων. Δεύτερον, η μελέτη εστιάζει στη δυνατότητα εφαρμογής των temporal graph neural networks, στην καταγραφή δυναμικών συμπεριφορών σε μεγάλα κοινωνικά γραφήματα, όπως η πρόβλεψη χαρακτηριστικών και η ανίχνευση κοινότητας. Μέσω μιας δομημένης προσέγγισης, η έρευνα καλύπτει τα θεμέλια των εννοιών μηχανικής μάθησης, εμβαθύνει στα graph neural networks, επισημάνει την ανάλυση μεγάλων κοινωνικών δικτύων με το Spark και παρουσιάζει μία εκτενής επισκόπηση των σύγχρονων τάσεων στην δημιουργία υποδομών. Η διπλωματική εργασία ολοκληρώνεται παρουσιάζοντας μια λεπτομερή ανάλυση της προτεινόμενης υποδομής και τα αποτελέσματα των πειραμάτων. | |
| dc.identifier.uri | https://hdl.handle.net/10889/25727 | |
| dc.language.iso | en | |
| dc.rights | Attribution 3.0 United States | * |
| dc.rights.uri | http://creativecommons.org/licenses/by/3.0/us/ | * |
| dc.subject | Temporal graph neural networks | |
| dc.subject | Apache Spark | |
| dc.subject | Kubernetes | |
| dc.subject | Continuous deployment | |
| dc.subject | PySpark | |
| dc.subject | Power iteration clustering | |
| dc.subject.alternative | Κοινωνικά δίκτυα | |
| dc.subject.alternative | Κοινωνικά γραφήματα | |
| dc.title | Deployment of temporal GNNs for mining large social networks over Spark on Kubernetes | |
| dc.title.alternative | Ανάπτυξη temporal GNNs για την εξόρυξη μεγάλων κοινωνικών δικτύων μέσω Spark στο Kubernetes |
Files
Original bundle
1 - 1 of 1
Loading...
- Name:
- Deployment_of_Temporal_GNNs_for_Mining_Large_Social_Networks_over_Spark_on_Kubernetes.pdf
- Size:
- 5 MB
- Format:
- Adobe Portable Document Format
License bundle
1 - 1 of 1
No Thumbnail Available
- Name:
- license.txt
- Size:
- 5.02 KB
- Format:
- Item-specific license agreed upon to submission
- Description: