3. Tεχνικές Αναφορές | Technical Reports

Permanent URI for this community

https://hdl.handle.net/10889/1350

Browse

Browsing 3. Tεχνικές Αναφορές | Technical Reports by Author "Dimitris, Sotiropoulos"

Now showing 1 - 1 of 1
  • Thumbnail Image
    Item
    Restricted
    A memoryless BFGS neural network training algorithm
    (2010-03-08T08:35:14Z) Marianna, Apostolopoulou; Dimitris, Sotiropoulos; Ioannis, Livieris; Panagiotis, Pintelas; Μαριάννα, Αποστολοπούλου; Δημήτρης, Σωτηρόπουλος; Ιωάννης, Λιβιέρης; Παναγιώτης, Πιντέλας
    Τμήμα Μαθηματικών (Τεχνικές Αναφορές)
    Σε αυτή την εργασία, προτείνουμε ένα νέο αλγοριθμικό μοντέλο για την εκπαίδευση νευρωνικών δικτύων βασισμένο σε μια τροποποίηση της μεθόδου BFGS χωρίς μνήμη το οποίο ενσωματώνει καμπυλόγραμμη αναζήτηση. Το προτεινόμενο μοντέλο ενσωματώνει τη μη-κυρτότητα της συνάρτησης σφάλματος αντλώντας πληροφορίες από το ιδιοσύστημα των πινάκων BFGS χωρίς μνήμη και χρησιμοποιεί ένα ζεύγος κατευθύνσεων: μια κατεύθυνση quasi-Newton χωρίς μνήμη και μια κατεύθυνση αρνητικής κυρτότητας. Επιπλέον, ο υπολογισμός της κατεύθυνσης της αρνητικής κυρτότητας πραγματοποιείται αποφεύγοντας την αποθήκευση και την παραγοντοποίηση πίνακα. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι η προτεινόμενη μέθοδος βελτιώνει σημαντικά την αποδοτικότητα της διαδικασίας εκπαίδευσης.