Νέες εφαρμογές τεχνικών βαθιάς μηχανικής μάθησης στην ανάκτηση πληροφορίας
Loading...
Date
2025-07-07
Authors
Μακρής, Ορέστης Αντώνης
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η παρούσα διπλωματική εργασία αποτελεί συστηματική έρευνα της σύγκλισης μεταξύ βαθιάς μηχανικής μάθησης και συστημάτων ανάκτησης πληροφορίας, με εμπειρική επικέντρωση στη βελτιστοποίηση αλγορίθμων εκτίμησης συνάφειας. Το πυρήνα της μελέτης εστιάζει στη δομημένη ανάλυση του νευρ-ωνικού υποδείγματος ColBERT, ενός πρωτοποριακού συστήματος που συνδυάζει την πολυπλοκότητα των μετασχηματιστικών αρχιτεκτονικών με την υπολογιστική αποδοτικότητα των συστημάτων late-interaction. Στο πρώτο μέρος της εργασίας το θεωρητικό πλαίσιο, διερευνώνται τρεις θεμελιώδεις άξονες: (α) η ιστορική εξέλιξη των αλγορίθμων ανάκτησης από τα κλασικά στατιστικά μοντέλα έως τις σύγχρονες νευρωνικές προσεγγίσεις, (β) η αρχιτεκτονική και οι μαθηματικές βάσεις των προεκπαιδευμένων γλωσσικών μοντέλων, με ειδική αναφορά στον μηχανισμό της πολυκεφαλικής προσοχής, και (γ) οι θεωρητικοί περιορισμοί που επιβάλλουν οι υπάρχουσες μετρικές αξιολόγησης στη σχεδίαση νέων αλγορίθμων. Στο δεύτερο μέρος, παρουσιάζεται αναλυτικά η αρχιτεκτονική του ColBERTv2, καλύπτοντας τις βελτιώσεις έναντι προηγούμενων μοντέλων: από τη στρατηγική quantization 8-bit που μειώνει το μέγεθος του ευρετηρίου έως τις βελτιστοποιημένες late-interaction λειτουργίες. Ακολουθεί λεπ-τομερής περιγραφή της διαδικασίας κατασκευής δεικτών και της εξαγωγής similarity matrices, που λειτουργούν ως θεμέλιο για περαιτέρω επεξεργασία. Στο τρίτο μέρος, προτείνουμε και υλοποιούμε έναν ισχυρό CNN ανακτητη, ο οποίος αντιμετωπίζει τους πίνακες ομοιότητας ως δισδιάστατες εικόνες. Αναλύουμε τον σχεδιασμό των συνελικτικών επιπέδων, τις μεθόδους κανονικοποίησης και την επιλογή hyperparameters, καθώς και τον τρόπο ενσωμάτωσής τους στον υπάρχοντα pipeline του ColBERT. Η πειραματική αξιολόγηση πραγματοποιείται σε τρία επίπεδα fine-tuning του ColBERT (Untuned, Medium, Big) και δύο αναγνωρισμένα σύνολo δεδομένων Cystic Fibrosis. Οι μετρικές MAP, Preci-sion και Recall\@k αποκαλύπτουν σημαντικές βελτιώσεις στις παραπάνω μετρικές για το συνδυαστικό ColBERT+CNN ranking. Τέλος, συζητούμε περιορισμούς όπως η υπολογιστική πολυπλοκότητα κατά την εκπαίδευση και προτείνουμε μελλοντικές προεκτάσεις: ενσωμάτωση attention-based μηχανισμών στα CNN, διερεύνηση multi-task learning και επέκταση σε πολυτροπικά δεδομένα, με στόχο τη βελτίωση της αποδοτικότη-τας και της ακρίβειας.
Description
Keywords
Aνάκτηση πληροφορίας, Βαθιά μάθηση, Νευρωνική ανάκτηση πληροφορίας