Υποτιτλισμός εικόνων με τη χρήση βαθιάς μάθησης
Loading...
Date
2026-02-13
Authors
Βλασσόπουλος, Βασίλειος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η παρούσα διπλωματική εργασία πραγματεύεται το πρόβλημα της Αυτόματης Περιγραφής Εικόνων (Image Captioning), ένα σύνθετο πεδίο της Τεχνητής Νοημοσύνης που συνδυάζει την Υπολογιστική Όραση (Computer Vision) και την Επεξεργασία Φυσικής Γλώσσας (Natural Language Processing - NLP). Στόχος της εργασίας είναι η συγκριτική μελέτη της εξέλιξης των αρχιτεκτονικών Νευρωνικών Δικτύων, από τα παραδοσιακά Αναδρομικά Δίκτυα (RNNs/LSTMs) έως τους σύγχρονους Μηχανισμούς Προσοχής (Attention Mechanisms) και τους Transformers.
Στο πλαίσιο της μελέτης, υλοποιήθηκαν και αξιολογήθηκαν τρεις διακριτές αρχιτεκτονικές:
1. Το μοντέλο Show and Tell, το οποίο χρησιμοποιεί ένα Συνελικτικό Νευρωνικό Δίκτυο (CNN) ως κωδικοποιητή και ένα δίκτυο LSTM ως αποκωδικοποιητή.
2. Το μοντέλο Show, Attend and Tell, το οποίο εισάγει την έννοια της "οπτικής προσοχής" (Visual Attention), επιτρέποντας στο δίκτυο να εστιάζει δυναμικά σε διαφορετικές περιοχές της εικόνας κατά την παραγωγή κάθε λέξης.
3. Ένα προτεινόμενο μοντέλο βασισμένο εξ ολοκλήρου σε Transformers, το οποίο χρησιμοποιεί έναν Vision Transformer (ViT) για την κωδικοποίηση της εικόνας σε ακολουθία τμημάτων (patches) και έναν Transformer Decoder για την παραγωγή της λεζάντας.
Τα μοντέλα εκπαιδεύτηκαν και αξιολογήθηκαν στο σύνολο δεδομένων Flickr8k και Flickr30k, χρησιμοποιώντας μετρικές όπως το BLEU και το CIDEr. Τα αποτελέσματα της πειραματικής διαδικασίας καταδεικνύουν την υπεροχή της αρχιτεκτονικής ViT + Transformer, η οποία επιτυγχάνει καλύτερη κατανόηση του καθολικού πλαισίου της εικόνας (global context) και ακριβέστερη γλωσσική περιγραφή σε σχέση με τις βασισμένες σε RNN προσεγγίσεις.
Description
Keywords
Βαθιά μάθηση, Υποτιτλισμός εικόνων, Νευρωνικά δίκτυα, Υπολογιστική όραση, Επεξεργασία φυσικής γλώσσας, Τεχνητή νοημοσύνη, Μηχανισμός προσοχής