Please use this identifier to cite or link to this item: http://hdl.handle.net/10889/13935
Title: Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου
Other Titles: Hyperparameter optimization of a neural language model
Authors: Γκοργκόλης, Νικόλαος
Keywords: Ρύθμιση υπερπαραμέτρων
Νευρωνικά μοντέλα
Γενετικοί αλγόριθμοι
Γλωσσικά μοντέλα
Keywords (translated): Hyperparameter optimization
Genetic algorithms
Abstract: Τα νευρωνικά γλωσσικά μοντέλα αναδρομικού τύπου (βλ. LSTM, GRU κοκ.) αποτελούν την αποτελεσματικότερη προσέγγιση για διάφορες διεργασίες της επεξεργασίας φυσικής γλώσσας. Παράλληλα, αποτελούν μια πολύπλοκη τεχνική με πληθώρα υπερπαραμέτρων, οι οποίες επηρεάζουν άρρητα την αποδοτικότητα του μοντέλου, ενώ το βέλτιστο σύνολο των τιμών τους είναι κάθε φορά μοναδικό, και εξαρτάται από το πρόβλημα που επιλύεται και το σύνολο δεδομένων που χρησιμοποιείται. Απαιτείται λοιπόν η κατάλληλη ρύθμιση των υπερπαραμέτρων για τη μέγιστη αποδοτικότητα του μοντέλου. Στην παρούσα εργασία, υλοποιείται ένα νευρνικό γλωσσικό μοντέλο, αποτελούμενο από LSTM νευρώνες, με σκοπό την πρόβλεψη επόμενης λέξης κειμένου. Για τη ρύθμιση των υπερπαραμέτρων του, αναπτύζονται δύο απλοί και αυτοσχέδιοι γενετικοί αλγόριθμοι, των οποίων τα αποτελέσματα σχολιάζονται και συγκρίνονται μεταξύ τους, καθώς και με το λεγόμενο standard configuration.
Abstract (translated): Neural language models of recursive type (e.g. LSTM, GRU) probably consist the most efficient way of dealing with a plethora of NLP tasks. Meanwhile, neural models are characterized by high complexity and numerous hyperparameters, which are essential to the effeciency of the model. The optimal set of values for the hyperparameters is unique per situation, as it is closely related to the nature of the problem being solved and the dataset being used. According to the above, automated fine - tuning becomes a necessity. Through the current thesis, a neural LSTM - based language model is being developped, for the prediction of text sequential words. In order to fine - tune the hyperparameters of the model, two simple and custom genetic algorithms are designed, whose results are extensively analysed and compared, both with the standard configuration and between them.
Appears in Collections:Τμήμα Μηχανικών Η/Υ και Πληροφορικής (ΜΔΕ)



This item is licensed under a Creative Commons License Creative Commons