Ανάλυση μεγάλου όγκου δεδομένων με Apache Spark : μελέτη των επιπτώσεων της κλιματικής αλλαγής
Loading...
Date
2026-01-28
Authors
Κακαβά, Θεοδώρα
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Στη σύγχρονη εποχή, η κατανόηση των επιπτώσεων της κλιματικής αλλαγής αποτελεί μείζον αντικείμενο μελέτης και απασχόλησης για πληθώρα επιστημονικών πεδίων. Ως αποτέλεσμα, η ανάγκη για ανάλυση, επεξεργασία και ουσιαστική ερμηνεία των εκατομμυρίων δεδομένων που παράγονται συνεχώς κρίνεται πλέον επιτακτική, τόσο για την κατανόηση των φαινομένων όσο και για την υποστήριξη διαδικασιών λήψης αποφάσεων.
Στο πλαίσιο αυτό, σκοπός της παρούσας εργασίας είναι η πειραματική αξιολόγηση της απόδοσης και της σταθερότητας τριών ευρέως χρησιμοποιούμενων αλγορίθμων ομαδοποίησης, συγκεκριμένα των K–means, Bisecting K–means και Gaussian Mixture Models, σε συνδυασμό με τις διαθέσιμες μεθόδους κανονικοποίησης Standard, MinMax, Robust και MaxAbs, όπως αυτές παρέχονται από το κατανεμημένο σύστημα επεξεργασίας δεδομένων Apache Spark.
Η πειραματική διαδικασία πραγματοποιείται σε τέσσερα σύνολα δεδομένων (datasets) που διαφοροποιούνται ως προς την πυκνότητα και το μέγεθος, με στόχο τη διερεύνηση της επίδρασης των χαρακτηριστικών των δεδομένων στη συμπεριφορά των αλγορίθμων. Τα δεδομένα που χρησιμοποιούνται αφορούν μετεωρολογικές παραμέτρους, δείκτες που σχετίζονται με την κλιματική αλλαγή, καθώς και κατηγορίες και πιθανότητες εμφάνισης επικίνδυνων καιρικών φαινομένων, οι οποίες αποτελούν από τις πλέον διαδεδομένες μορφές δεδομένων στην ανάλυση περιβαλλοντικών συστημάτων.
Η αξιολόγηση της ποιότητας της ομαδοποίησης πραγματοποιείται με τη χρήση καθιερωμένων μετρικών απόδοσης, όπως το Silhouette Score, ο δείκτης Calinski–Harabasz και ο δείκτης Davies–Bouldin. Παράλληλα, η σταθερότητα των αποτελεσμάτων εξετάζεται μέσω του υπολογισμού της διαμέσου και του Interquartile Range (IQR) για κάθε μετρική, επιτρέποντας την εξαγωγή πιο αξιόπιστων και γενικεύσιμων συμπερασμάτων.
Description
Keywords
Μηχανική μάθηση, Αλγόριθμοι ομαδοποίησης, Μέθοδοι κανονικοποίησης