On Descent Spectral CG algorithms for Training Recurrent Neural Networks
On Descent Spectral CG algorithms for Training Recurrent Neural Networks
Date
2010-04-08T08:06:36Z
Authors
Λιβιέρης, Ιωάννης
Αποστολοπούλου, Μαριάννα
Σωτηρόπουλος, Δημήτρης
Σιούτας, Σπύρος
Πιντέλας, Παναγιώτης
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.
Description
Keywords
Recurrent neural networks, Descent spectral conjugate gradient methods, Sufficient descent property