Please use this identifier to cite or link to this item:
http://hdl.handle.net/10889/2794| Title: | On Descent Spectral CG algorithms for Training Recurrent Neural Networks |
| Authors: | Λιβιέρης, Ιωάννης Αποστολοπούλου, Μαριάννα Σωτηρόπουλος, Δημήτρης Σιούτας, Σπύρος Πιντέλας, Παναγιώτης |
| Issue Date: | 2010-04-08T08:06:36Z |
| Keywords: | Recurrent neural networks Descent spectral conjugate gradient methods Sufficient descent property |
| Keywords (translated): | Ανατροφοδοτούμενα νευρωνικά δίκτυα |
| Abstract: | Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής. |
| Abstract (translated): | In this paper, we evaluate the performance of a new class of conjugate gradient methods for training recurrent neural networks which ensure the sufficient descent property. The presented methods preserve the advantages of classical conjugate gradient methods and simultaneously avoid the usually inefficient restarts. Simulation results are also presented using three different recurrent neural network architectures in a variety of benchmarks. |
| Appears in Collections: | Τμήμα Μαθηματικών (Τεχνικές Αναφορές) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Nimertis_TR_OnDescentSpectral.pdf | 160.58 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.