Search Results

Now showing 1 - 1 of 1
  • Thumbnail Image
    Item
    A memoryless BFGS neural network training algorithm
    (2010-03-08T08:35:14Z) Marianna, Apostolopoulou; Dimitris, Sotiropoulos; Ioannis, Livieris; Panagiotis, Pintelas; Μαριάννα, Αποστολοπούλου; Δημήτρης, Σωτηρόπουλος; Ιωάννης, Λιβιέρης; Παναγιώτης, Πιντέλας
    Τμήμα Μαθηματικών (Τεχνικές Αναφορές)
    Σε αυτή την εργασία, προτείνουμε ένα νέο αλγοριθμικό μοντέλο για την εκπαίδευση νευρωνικών δικτύων βασισμένο σε μια τροποποίηση της μεθόδου BFGS χωρίς μνήμη το οποίο ενσωματώνει καμπυλόγραμμη αναζήτηση. Το προτεινόμενο μοντέλο ενσωματώνει τη μη-κυρτότητα της συνάρτησης σφάλματος αντλώντας πληροφορίες από το ιδιοσύστημα των πινάκων BFGS χωρίς μνήμη και χρησιμοποιεί ένα ζεύγος κατευθύνσεων: μια κατεύθυνση quasi-Newton χωρίς μνήμη και μια κατεύθυνση αρνητικής κυρτότητας. Επιπλέον, ο υπολογισμός της κατεύθυνσης της αρνητικής κυρτότητας πραγματοποιείται αποφεύγοντας την αποθήκευση και την παραγοντοποίηση πίνακα. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι η προτεινόμενη μέθοδος βελτιώνει σημαντικά την αποδοτικότητα της διαδικασίας εκπαίδευσης.