Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
Loading...
Date
Authors
Γιαννάκης, Νικόλας
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Ο αποτελεσματικός σχεδιασμός ενός νευρωνικού δικτύου αποτελεί μια διαδικασία ιδιαίτερα απαιτητική η οποία μέχρι σήμερα έχει αντιμετωπιστεί κυρίως
ως μια "τέχνη" όπου η εμπειρία και η ικανότητα του σχεδιαστή τους παίζει
σημαντικότατο ρόλο. Δεν υπάρχει δηλαδή κάποια καθιερωμένη τυποποιημένη
διαδικασία που να επιτρέπει τον σχεδιασμό ενός νευρωνικού δικτύου χωρίς
την επέμβαση του ανθρώπινου παράγοντα. Ο σχεδιασμός ενός νευρωνικού
δικτύου έγκειται ουσιαστικά στην επιλογή υπερπαραμέτρων. Λόγω του ιδιαίτερα
μεγάλου όμως αριθμού συνδυασμών των υπερπαραμέτρων αυτών η επιλογή ενός
συνδυασμού που να αποδίδει ένα αποδοτικό νευρωνικό δίκτυο καθίσταται πολύ
δύσκολη, εξ΄ ου και η προσέγγιση της ως τέχνη.
Στην παρούσα εργασία επιχειρείται να προσεγγιστεί το πρόβλημα αυτό. Ο
τρόπος που γίνεται αυτό είναι μέσω της θεώρησης της όλης διαδικασίας ως μιας
κοστοβόρας και άγνωστης συνάρτησης. Ως είσοδο η συνάρτηση αυτή δέχεται
συνδυασμούς υπερπαραμέτρων. Ως έξοδο αποδίδει μια μοναδική τιμή η οποία
αποτελεί την εκτίμηση της αποδοτικότητας του δικτύου. Ο μόνος τρόπος που
μπορεί να επηρεαστεί η συνάρτηση είναι μέσω της αλλαγής της εισόδου της.
Σκοπός μας είναι ως εκ τούτου η βελτιστοποίηση της συνάρτησης αυτής.
΄Ενα μαθηματικό εργαλείο που προσφέρεται για την βελτιστοποίηση τέτοιου
είδους συναρτήσεων είναι η μπαγεσιανή βελτιστοποίηση. Με την χρήση της
και την προσαρμογή της στα πλαίσια του σχεδιασμού νευρωνικών δικτύων
επιχειρείται να τεθεί η διαδικασία αυτή σε ένα τυποποιημένο πλαίσιο όπου με
ελάχιστη προσπάθεια θα παίρνουμε το καλύτερο δυνατό νευρωνικό δίκτυο για
συγκεκριμένες υπερπαραμέτρους.
΄Οπως φαίνεται και στην πειραματική διαδικασία η χρήση της μπαγεσιανής
βελτιστοποίησης είναι μια πολλά υποσχόμενη επιλογή για τον σχεδιασμό αποδοτικών νευρωνικών δικτύων αλλά και ένας τρόπος να σταματήσει ο σχεδιασμός
τους να είναι μια μορφή τέχνης και να γίνει μια ελεγχόμενη και επαναλαμβανόμενη
διαδικασία.
Description
Keywords
Μπαγεσιανή βελτιστοποίηση, Νευρωνικά δίκτυα, Βέλτιστες υπερπαράμετροι