Please use this identifier to cite or link to this item: http://hdl.handle.net/10889/13132
Title: Αγνωστική ως προς το μοντέλο επεξήγηση μοντέλων μηχανικής μάθησης χρησιμοποιώντας τιμές Shapley
Other Titles: Model-agnostic Interpretability with Shapley values
Authors: Μεσσαλάς, Ανδρέας
Keywords: Μηχανική μάθηση
Ερμηνευσιμότητα
Keywords (translated): Machine learning
Interpretability
Shapley
Abstract: Η ικανότητα να εξηγείς σε κατανοητούς όρους (interpretability), τους λόγους γιατί ένα μοντέλο μηχανικής μάθησης κάνει μια συγκεκριμένη πρόβλεψη γίνεται όλο και πιο σημαντική, καθώς διασφαλίζει εμπιστοσύνη και διαφάνεια στη διαδικασία λήψης αποφάσεων από το μοντέλο. Πολύπλοκα μοντέλα, όπως συνδυαστικά (ensemble) ή βαθιάς μάθησης (deep learning) μοντέλα, είναι δύσκολα να ερμηνευθούν. Διάφορες μέθοδοι έχουν προταθεί ως τώρα για την αντιμετώπιση αυτού του ζητήματος. Οι τιμές Shapley από τη θεωρία παιγνίων προσφέρουν ακριβείς εξηγήσεις αναθέτοντας σε κάθε χαρακτηριστικό (feature) μια τιμή σημαντικότητας για μια συγκεκριμένη πρόβλεψη του μοντέλου. Όμως η εκθετική πολυπλοκότητα του υπολογισμού αυτών των τιμών αντιμετωπίζεται αποδοτικά μόνο σε μοντέλα βασισμένα σε δέντρα απόφασης. Μια άλλη μέθοδος είναι τα μοντέλα-αντιπρόσωποι (surrogate), τα οποία εξομοιώνουν τη συμπεριφορά ενός πολύπλοκου μοντέλου, που αντιμετωπίζεται σαν "μαύρο κουτί", προσφέροντας εξηγήσεις αβίαστα, λόγω του τρόπου κατασκευής τους. Τα μοντέλα-αντιπρόσωποι είναι αγνωστικά ως προς το μοντέλο (model-agnostic), αλλά παράγουν μόνο προσεγιστικές εξηγήσεις, οι οποίες δεν μπορούν να κριθούν ως αξιόπιστες. Σε αυτή τη διπλωματική προτείνεται μια νέα μέθοδος, η οποία συνδυάζει αυτές τις δύο προσεγγίσεις, εκμεταλλευόμενη το αγνωστικό μέρος της μοντέλων-αντιπροσώπων καθώς και της ερμηνευτικής δύναμης των τιμών Shapley. Επίσης παρουσιάζεται μια νέα μετρική, την TopjSimilarity, προκειμένου να αξιολογηθεί η προτεινόμενη μέθοδος και η οποία μετρά την ομοιότητα δύο δεδομένων εξηγήσεων, που προκύπτουν από τις τιμές Shapley. Τέλος, προτείνονται τρόποι με τους οποίους μπορούν να γίνουν περαιτέρω βελτιώσεις.
Abstract (translated): The ability to explain in understandable terms, why a machine learning model makes a certain prediction is becoming immensely important, as it ensures trust and transparency in the decision process of the model. Complex models, such as ensemble or deep learning models, are hard to interpret. Various methods have been proposed that deal with this matter. Shapley values provide accurate explanations, as they assign each feature an importance value for a particular prediction. However, the exponential complexity of their calculation is dealt efficiently only in decision tree-based models. Another method is surrogate models, which emulate a black-box model’s behavior and provide explanations effortlessly, since they are constructed to be interpretable. Surrogate models are model-agnostic, but they produce only approximate explanations, which cannot always be trusted. In this diploma thesis, a new method is proposed, that combines these two approaches, so that we can take advantage of the model-agnostic part of the surrogate models, as well as the explanatory power of the Shapley values. We introduce a new metric, TopjSimilarity, that measures the similitude of two given explanations, produced by Shapley values, in order to evaluate our work. Finally, we recommend ways on how this method could be improved further
Appears in Collections:Τμήμα Μηχανικών Η/Υ και Πληροφορικής (ΔΕ)

Files in This Item:
File Description SizeFormat 
amessalas_Diploma_Thesis.pdf6.63 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons