Spectral conjugate gradient methods with sufficient descent property for neural network training

Λιβιέρης, Ιωάννης; Πιντέλας, Παναγιώτης

Spectral conjugate gradient methods with sufficient descent property for neural network training

dc.contributor.author	Λιβιέρης, Ιωάννης	gr
dc.contributor.author	Πιντέλας, Παναγιώτης	gr
dc.contributor.other	Livieris, Ioannis	en
dc.contributor.other	Pintelas, Panagiotis	en
dc.date.accessioned	2010-04-08T08:12:20Z	en
dc.date.available	2010-04-08T08:12:20Z	en
dc.date.copyright	2008-09-01	en
dc.date.issued	2010-04-08T08:12:20Z	en
dc.description.abstract	Σε αυτήν την εργασία, αξιολογούμε την απόδοση μιας νέας κλάσης μεθόδων συζυγών κλίσεων για την εκπαίδευση νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Τα ενθαρρυντικά αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρηγορότερη, σταθερότερη και πιο αξιόπιστη σύγκλιση.	gr
dc.description.translatedabstract	Conjugate gradient methods constitute an excellent choice for efficiently training large neural networks since they don't require the evaluation of the Hessian matrix neither the impractical storage of an approximation of it. Despite the theoretical and practical advantages of these methods their main drawback is the use of restarting procedures in order to guarantee convergence, abandoning second order derivative information. In this work, we propose a neural network training algorithm which preserves the advantages of classical conjugate gradient methods and simultaneously avoids the inefficient restarts. Encouraging numerical experiments verify that the presented algorithm provides fast, stable and reliable convergence.	en
dc.identifier.uri	https://hdl.handle.net/10889/2795	en
dc.language.iso	en	en
dc.subject	Neural networks	en
dc.subject	Descent spectral conjugate gradient methods	en
dc.subject	Sufficient descent property	en
dc.subject	Truncate strategy	en
dc.subject.alternative	Νευρωνικά δίκτυα	gr
dc.subject.alternative	Μέθοδοι συζυγών κλίσεων	gr
dc.title	Spectral conjugate gradient methods with sufficient descent property for neural network training	en
dc.type	Technical Report	en

Files

Original bundle

Now showing 1 - 1 of 1

Name:: Nimertis_TR_SpectralConjugateGradientMethods.pdf
Size:: 213.99 KB
Format:: Adobe Portable Document Format

Download

License bundle

Now showing 1 - 1 of 1

Name:: license.txt
Size:: 5.41 KB
Format:: Item-specific license agreed upon to submission
Description:

Download

Collections

Τμήμα Μαθηματικών (Τεχνικές Αναφορές)