Υλοποίηση Bloom filter σε περιβάλλον Spark
Loading...
Date
Authors
Νικόλτσιος, Ελευθέριος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Στη σύγχρονη εποχή η ανάγκη ανάπτυξης εργαλείων ανάλυσης μεγάλων δεδομένων
(big data) έχει θέσει νέες προκλήσεις στον τομέα της πληροφορικής. Οι ειδικοί στην
προσπάθεια να εκμεταλλευτούν όλα τα διαθέσιμα δεδομένα έχουν ξεκινήσει να
αναπτύσσουν νέα εργαλεία και τεχνικές στοχεύοντας σε αξιόπιστες και αποδοτικές
υπολογιστικές μεθόδους big data.
Ένα αρκετά διαδεδομένο πρόβλημα στο χώρο των μεγάλων δεδομένων αποτελεί η
αναζήτηση. Γι’ αυτό το λόγο έχουν αναπτυχθεί διαφορετικοί αλγόριθμοι αναζήτησης
big data. Ένας από τους πιο γνωστούς είναι και ο αλγόριθμος για την δομή Bloom
filter ο οποίος ελαχιστοποιεί τη χωρητικότητα αποθήκευσης δεδομένων, είναι
falsePositive, και παρέχει γρήγορα αποτελέσματα σε δυαδικά ερωτήματα.
Δύο από τα πιο ευρέως χρησιμοποιούμενα εργαλεία (frameworks) στο χώρο της
επιστήμης των δεδομένων (data science) αποτελούν το Hadoop και Spark, τα οποία
χρησιμοποιούνται σε συνδυασμό για την αποδοτική εφαρμογή υπολογιστικών
μεθόδων σε μεγάλου όγκου δεδομένα.
Στο πλαίσιο της παρούσας έρευνας υλοποιούμε σύστημα με χρήση Hadoop και Spark
για την εφαρμογή της δομής Bloom filter. Για την αλληλεπίδραση με το Spark API
χρησιμοποιούμε τη συναρτησιακή (functional) γλώσσα προγραμματισμού Scala.
Στόχος είναι η εφαρμογή του συστήματος Spark για την αναζήτηση λέξεων σε
μεγάλο πλήθος εγγραφών και η αξιολόγησή του συγκριτικά με την διαδικασία
αναζήτησης σε μία centralized noSQL database. Οι τελικές μετρήσεις παρατίθενται
με τη μορφή γραφημάτων και σχολιάζεται η απόδοση συγκριτικά με το μέγεθος των
εγγραφών.
Description
Keywords
Αλγόριθμοι αναζήτησης, Μεγάλα δεδομένα