Μοντελοποίηση απόδοσης πολυκαναλικής διαφήμισης με κατανεμημένη επεξεργασία δεδομένων : υλοποίηση και αξιολόγηση attribution models με Apache Pyspark και υπάρχουσες βιβλιοθήκες μηχανικής μάθησης
Loading...
Date
2026-06-18
Authors
Οικονόμου, Ανδρέας
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η παρούσα μεταπτυχιακή εργασία αποτελεί επέκταση της προπτυχιακής διπλωματικής εργασίας στην οποία αναπτύχθηκε μια υλοποίηση του R-Tree σε Python και Apache Spark. Σκοπός της εργασίας είναι (α) η γενίκευση του δισδιάστατου R-Tree σε N-διάστατο χώρο και η αξιοποίησή του ως μηχανής τμηματοποίησης πελατών (customer segmentation) για εφαρμογές ψηφιακού marketing με έμφαση στο μοντέλο RFM (Recency, Frequency, Monetary), και (β) ως δευτερεύουσα συνεισφορά, η εφαρμογή της δομής αυτής ως μηχανής επιτάχυνσης για το πρόβλημα της Multi-Touch Attribution σε πραγματικά δεδομένα διαφημιστικών καμπανιών.
Μεθοδολογικά, σχεδιάστηκε και υλοποιήθηκε ένα σύστημα τεσσάρων επιπέδων: (α) επίπεδο πυρήνα (core) με γενικευμένες δομές NDPoint, HyperRectangle και NDRTree που υποστηρίζουν N διαστάσεις, αλγορίθμους R*-Tree split και STR bulk loading· (β) επίπεδο τμηματοποίησης (segmentation) με κωδικοποίηση χαρακτηριστικών μέσω πέντε μεθόδων κανονικοποίησης (MIN-MAX, Z-score, λογαριθμική, ποσοστιαία και ταυτοτική) και υψηλού επιπέδου API ορισμού τμημάτων· (γ) κατανεμημένο επίπεδο (distributed) βασισμένο σε PySpark με αρχιτεκτονική partition-local indexing· και (δ) επίπεδο απόδοσης αξίας (attribution) που υλοποιεί πέντε μεθόδους κατανομής χρεώσεων (last_touch, first_touch, linear, time_decay, matched_lift) με causal matching επιταχυνόμενο από R-Tree. Η αξιολόγηση πραγματοποιήθηκε σε συνθετικά σύνολα δεδομένων RFM μεγέθους έως 16.000.000 πελατών και στο πραγματικό σύνολο δεδομένων Criteo Attribution σε τρία επίπεδα κλίμακας (1, 5 και 16,5 εκατομμύρια συμβάντα).
Τα κύρια αποτελέσματα τμηματοποίησης δείχνουν ότι το range query κλιμακώνεται εμπειρικά ως O(log n) και ότι τα ερωτήματα KNN, lookalike και skyline παραμένουν κάτω από 25 ms ακόμη και στα 10 εκατομμύρια εγγραφές. Η σύγκριση κεντρικοποιημένης και κατανεμημένης υλοποίησης αναδεικνύει σημείο ισοζυγίου (crossover) στα ~1.5–2 εκατομμύρια εγγραφές.
Τα αποτελέσματα attribution δείχνουν ότι όλες οι πέντε μέθοδοι συμφωνούν στο κορυφαίο 18% των καμπανιών (CV<1.3%), ότι η μέθοδος linear είναι η πιο σταθερή κατά Shao-Li, ότι η time_decay έχει τη μέγιστη συμφωνία με το παραγωγικό μοντέλο της Criteo (0.96), και ότι η αιτιακή μέθοδος matched_lift υποβιβάζει τρεις φορές περισσότερες καμπάνιες από όσες προωθεί έναντι του last_touch (324 έναντι 107 από τις 661 καμπάνιες).
Περιορισμοί της εργασίας είναι η εκτέλεση Spark σε τοπικό περιβάλλον (local[*]) αντί για multi-node cluster, η αξιολόγηση τμηματοποίησης σε συνθετικά δεδομένα, η προσέγγιση campaign-level αντί channel-level attribution, και η εξάρτηση από την υπόθεση unconfoundedness του causal matching. Πρακτικές εφαρμογές του συστήματος περιλαμβάνουν την παραγωγή lookalike audiences για διαφημιστικές καμπάνιες, τον εντοπισμό υψηλής αξίας πελατών μέσω skyline ερωτημάτων, και την παροχή αξιόπιστων μετρικών απόδοσης αξίας σε σύνθετα διαφημιστικά μονοπάτια. Πρωτότυπα στοιχεία της εργασίας είναι η ενοποιημένη υποστήριξη τεσσάρων διαφορετικών τύπων ερωτημάτων (range, KNN, lookalike, skyline) πάνω στην ίδια N-διάστατη δομή R-Tree, ο συνδυασμός κανονικοποίησης χαρακτηριστικών με χωρική ευρετηρίαση στο πλαίσιο ψηφιακού marketing, και η αξιοποίηση του R-Tree ως μηχανής επιτάχυνσης matching για propensity-matched causal attribution σε real-world κλίμακα 16M συμβάντων.
Description
Keywords
Διαστατικές δομές δεδομένων, Ν-διάστατη ευρετηρίαση, RFM μοντέλο, Τμηματοποίηση πελατών, Κατανεμημένη υπολογιστική, Ψηφιακό marketing