Εγκατάσταση Apache Flink σε Kubernetes μέσω διαχειριστή πακέτων Helm, για αποδοτική επεξεργασία ροής δεδομένων
Loading...
Date
2023-10-04
Authors
Καρούσος, Παναγιώτης Αθανάσιος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Ήδη από τις αρχές του 21ου αιώνα, παράγονται ολοένα και περισσότερα δεδομένα στον κόσμο, καθιστώντας απαραίτητη την ανάγκη για την ανάλυσή τους με νέες, εκσυγχρονισμένες μεθόδους, σε πραγματικό χρόνο. Με την αυξημένη ροή δεδομένων που παρουσιάζεται, συχνά οι υπάρχουσες λύσεις αδυνατούν να ανταπεξέλθουν σε όλα τα πιθανά σενάρια για τα οποία είναι σχεδιασμένες. Το γεγονός αυτό οδήγησε στην ανάπτυξη πολυάριθμων εργαλείων ανάπτυξης δεδομένων, το καθένα με τα πλεονεκτήματα και τα μειονεκτήματά του, καθώς και στη μετάβαση της σχεδίασης εφαρμογών από μονολιθική αρχιτεκτονική, σε αρχιτεκτονική μικρο-υπηρεσιών. Ωστόσο, όπως κάθε μετάβαση, έτσι και αυτή εμπεριέχει νέες προκλήσεις, τις οποίες καλούνται οι προγραμματιστές να υπερβούν. Οι προκλήσεις αυτές είναι τόσο σχεδιαστικής φύσης, λόγω του μεγάλου αριθμού των διαθέσιμων τεχνολογιών που υπάρχουν, όσο και υλοποιητικής φύσεως, εξαιτίας της ανάγκης για αυτοματοποιημένες, κλιμακώσιμες λύσεις, με όσο το δυνατόν μικρότερο χρόνο εκτός λειτουργίας. Έτσι, η παρούσα διπλωματική έχει σκοπό την ανάλυση σύγχρονων τεχνικών επεξεργασίας ροής δεδομένων, πάνω σε τεχνολογίες υπολογιστικού νέφους. Εν συνεχεία υλοποιεί μια κατανεμημένη πλατφόρμα ανάλυσης δεδομένων σε πραγματικό χρόνο, με αρχιτεκτονική microservices. Η πλατφόρμα ελέγχεται πειραματικά, αναλύοντας κλήσεις σε διευθύνσεις IP και παράγοντας ειδοποιήσεις όταν αυτές ξεπερνούν το κρίσιμο κατώφλι, προκειμένου να αναγνωρίζονται εγκαίρως οι επιθέσεις DOS σε ένα δίκτυο και οι διαχειριστές να μπορούν να προβούν σε περαιτέρω ενέργειες για να διατηρηθεί η ομαλή του λειτουργία.
Description
Keywords
Υπολογιστικό νέφος, Μικροϋπηρεσίες