A memoryless BFGS neural network training algorithm
A memoryless BFGS neural network training algorithm
Date
2010-03-08T08:35:14Z
Authors
Marianna, Apostolopoulou
Dimitris, Sotiropoulos
Ioannis, Livieris
Panagiotis, Pintelas
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Σε αυτή την εργασία, προτείνουμε ένα νέο
αλγοριθμικό μοντέλο για την εκπαίδευση νευρωνικών δικτύων βασισμένο σε μια τροποποίηση της μεθόδου BFGS χωρίς μνήμη το οποίο ενσωματώνει καμπυλόγραμμη αναζήτηση. Το προτεινόμενο μοντέλο ενσωματώνει τη μη-κυρτότητα της συνάρτησης σφάλματος αντλώντας πληροφορίες από το ιδιοσύστημα των πινάκων BFGS χωρίς μνήμη και χρησιμοποιεί ένα ζεύγος κατευθύνσεων: μια κατεύθυνση quasi-Newton χωρίς μνήμη και μια κατεύθυνση αρνητικής κυρτότητας. Επιπλέον, ο υπολογισμός της κατεύθυνσης της αρνητικής
κυρτότητας πραγματοποιείται αποφεύγοντας την αποθήκευση και την παραγοντοποίηση πίνακα. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι η
προτεινόμενη μέθοδος βελτιώνει σημαντικά την αποδοτικότητα της διαδικασίας εκπαίδευσης.
Description
Keywords
Neural networks, Memoryless BFGS, Negative curvature direction, Curvilinear linesearch