Σύγκριση αντιθετικών συναρτήσεων κόστους με χρήση συνελικτικών νευρωνικών δικτύων
Loading...
Date
2024-06-20
Authors
Ζούλφος, Γεώργιος
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Η Αντιθετική Μάθηση (Contrastive Learning) είναι μια τεχνική μάθησης η οποία επικεντρώνεται στην εκμάθηση χρήσιμων αναπαραστάσεων θετικών και αρνητικών ζευγαριών δεδομένων. Η βασική αρχή στην οποία βασίζεται η συγκεκριμένη τεχνική είναι η ακόλουθη: “όμοια δεδομένα, ή δεδομένα από την ίδια κλάση θα πρέπει να απεικονίζονται κοντά στον λανθάνοντα χώρο, ενώ ανόμοια δεδομένα, δηλαδή δεδομένα από διαφορετικές κλάσεις θα πρέπει να απεικονίζονται σε σημεία του λανθάνοντα χώρου που απέχουν πολύ μεταξύ τους.” Βασιζόμενοι σε αυτή την ιδέα έχουν προταθεί στην διεθνή βιβλιογραφία διαφορετικές συναρτήσεις κόστους και πλαίσια εργασίας όπως: • η Αντιθετική Συνάρτηση Κόστους (Contrastive Loss), • η Κανονικοποιημένη Αντιθετική Συνάρτηση κόστους (NT-xent loss), καθώς και • η Επιβλεπόμενη Αντιθετική Συνάρτηση κόστους (Supervised Contrastive Loss).
Στόχος μας, σε αυτή την εργασία είναι η αξιολόγηση και η σύγκριση των παραπάνω συναρτήσεων κόστους καθώς και η μελέτη της επίδρασης των υπερπαραμέτρων που απαιτούνται για την εκπαίδευση του μοντέλου. Η αξιολόγηση των παραπάνω θα βασίζεται στις επιδόσεις αντίστοιχων νευρωνικών δικτύων που θα εκπαιδευτούν στο γνωστό σύνολο δεδομένων Fashion – MNIST.
Description
Keywords
Αντιθετική μάθηση, Αντιθετικές συναρτήσεις κόστους, Παράμετρος θερμοκρασίας