Εγκατάσταση Apache Flink σε Kubernetes μέσω διαχειριστή πακέτων Helm, για αποδοτική επεξεργασία ροής δεδομένων
| datacite.contributor.RelatedPerson | Μακρής, Χρήστος | |
| datacite.contributor.RelatedPerson | Τσίχλας, Κώστας | |
| datacite.contributor.Supervisor | Σιούτας, Σπυρίδων | |
| dc.contributor.author | Καρούσος, Παναγιώτης Αθανάσιος | |
| dc.contributor.other | Karousos, Panagiotis Athanasios | |
| dc.date.accessioned | 2023-10-09T05:50:11Z | |
| dc.date.available | 2023-10-09T05:50:11Z | |
| dc.date.issued | 2023-10-04 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Ήδη από τις αρχές του 21ου αιώνα, παράγονται ολοένα και περισσότερα δεδομένα στον κόσμο, καθιστώντας απαραίτητη την ανάγκη για την ανάλυσή τους με νέες, εκσυγχρονισμένες μεθόδους, σε πραγματικό χρόνο. Με την αυξημένη ροή δεδομένων που παρουσιάζεται, συχνά οι υπάρχουσες λύσεις αδυνατούν να ανταπεξέλθουν σε όλα τα πιθανά σενάρια για τα οποία είναι σχεδιασμένες. Το γεγονός αυτό οδήγησε στην ανάπτυξη πολυάριθμων εργαλείων ανάπτυξης δεδομένων, το καθένα με τα πλεονεκτήματα και τα μειονεκτήματά του, καθώς και στη μετάβαση της σχεδίασης εφαρμογών από μονολιθική αρχιτεκτονική, σε αρχιτεκτονική μικρο-υπηρεσιών. Ωστόσο, όπως κάθε μετάβαση, έτσι και αυτή εμπεριέχει νέες προκλήσεις, τις οποίες καλούνται οι προγραμματιστές να υπερβούν. Οι προκλήσεις αυτές είναι τόσο σχεδιαστικής φύσης, λόγω του μεγάλου αριθμού των διαθέσιμων τεχνολογιών που υπάρχουν, όσο και υλοποιητικής φύσεως, εξαιτίας της ανάγκης για αυτοματοποιημένες, κλιμακώσιμες λύσεις, με όσο το δυνατόν μικρότερο χρόνο εκτός λειτουργίας. Έτσι, η παρούσα διπλωματική έχει σκοπό την ανάλυση σύγχρονων τεχνικών επεξεργασίας ροής δεδομένων, πάνω σε τεχνολογίες υπολογιστικού νέφους. Εν συνεχεία υλοποιεί μια κατανεμημένη πλατφόρμα ανάλυσης δεδομένων σε πραγματικό χρόνο, με αρχιτεκτονική microservices. Η πλατφόρμα ελέγχεται πειραματικά, αναλύοντας κλήσεις σε διευθύνσεις IP και παράγοντας ειδοποιήσεις όταν αυτές ξεπερνούν το κρίσιμο κατώφλι, προκειμένου να αναγνωρίζονται εγκαίρως οι επιθέσεις DOS σε ένα δίκτυο και οι διαχειριστές να μπορούν να προβούν σε περαιτέρω ενέργειες για να διατηρηθεί η ομαλή του λειτουργία. | |
| dc.description.translatedabstract | Since the beginning of the 21st century, the number of data being produced in the world is increasing at an alarming rate, making it necessary to analyse it with new, modernised methods in real time. With the increased data flow that is presented, existing solutions are often unable to cope with all the possible scenarios for which they are designed. This has led to the development of numerous data development tools, each with its advantages and disadvantages, as well as the transition of application design from a monolithic architecture to a micro-service architecture. However, as with any transition, it also involves new challenges that developers are asked to overcome. These challenges are both design challenges, due to the large number of technologies available, and implementation challenges, due to the need for automated, scalable solutions with as little downtime as possible. Thus, this thesis aims to analyse state-of-the-art data stream processing techniques on top of cloud computing technologies. It then implements a distributed real-time data analysis platform with microservices architecture. The platform is experimentally tested by analysing calls to IP addresses and generating alerts when they exceed a critical threshold, in order to identify DOS attacks on a network in time and allow administrators to react accordingly, in order to keep the network running smoothly. | |
| dc.identifier.uri | https://hdl.handle.net/10889/25789 | |
| dc.language.iso | el | |
| dc.rights | CC0 1.0 Universal | * |
| dc.rights.uri | http://creativecommons.org/publicdomain/zero/1.0/ | * |
| dc.subject | Υπολογιστικό νέφος | |
| dc.subject | Μικροϋπηρεσίες | |
| dc.subject.alternative | Cloud computing | |
| dc.subject.alternative | Microservices | |
| dc.subject.alternative | Kafka | |
| dc.subject.alternative | Flink | |
| dc.subject.alternative | Kubernetes | |
| dc.subject.alternative | Helm | |
| dc.title | Εγκατάσταση Apache Flink σε Kubernetes μέσω διαχειριστή πακέτων Helm, για αποδοτική επεξεργασία ροής δεδομένων | |
| dc.title.alternative | Deployment of Apache Flink on Kubernetes via Helm package manager, for efficient data stream processing |