Πολυτροπική βαθιά μάθηση με ανθεκτικότητα σε ελλιπείς τροπικότητες για την ταξινόμηση μοριακών υποτύπων καρκίνου του μαστού
| datacite.contributor.RelatedPerson | Σιούτας, Σπυρίδων | |
| datacite.contributor.RelatedPerson | Λυγερού, Ζωή | |
| datacite.contributor.Supervisor | Μεγαλoοικονόμου, Βασίλειος | |
| dc.contributor.author | Αλεξάκη, Βασιλική | |
| dc.contributor.other | Alexaki, Vasiliki | |
| dc.date.accessioned | 2026-10-14T11:57:24Z | |
| dc.date.available | 2026-10-14T11:57:24Z | |
| dc.date.issued | 2026-10-13 | |
| dc.degree | graduateThesis | |
| dc.description.abstract | Ο καρκίνος του μαστού δεν αποτελεί ενιαία νόσο αλλά σύνολο βιολογικά διακριτών υποτύπων με διαφορετική πρόγνωση και θεραπευτική αντιμετώπιση. Ο καθιερωμένος ταξινομητής PAM50 προσδιορίζει τον μοριακό υπότυπο από τη γονιδιακή έκφραση, η αντίστοιχη όμως εξέταση συνεπάγεται κόστος, εργαστηριακή υποδομή και χρόνο, με αποτέλεσμα να μην είναι διαθέσιμη για κάθε ασθενή. Παράλληλα, οι ιστοπαθολογικές εικόνες και τα κλινικά δεδομένα υπάρχουν ήδη στον φάκελο του ασθενή, χωρίς όμως τα δεδομένα αυτά να είναι πάντοτε πλήρη. Η παρούσα διπλωματική εργασία σχεδιάζει, υλοποιεί και αξιολογεί έναν πολυτροπικό ταξινομητή βαθιάς μάθησης για τους τέσσερις κύριους υποτύπους PAM50, ο οποίος συνδυάζει γονιδιακή έκφραση, αναπαραστάσεις πλακιδίων από εικόνες ολικής προβολής μέσω του θεμελιώδους μοντέλου UNI και δομημένα κλινικά δεδομένα. Κεντρικό χαρακτηριστικό του σχεδιασμού είναι η ρητή διαχείριση των ελλιπών τροπικοτήτων: κάθε τροπικότητα κωδικοποιείται χωριστά και προβάλλεται σε κοινό χώρο σταθερού πλήθους tokens, ένας μηχανισμός Masked Modality Projection εκτιμά με cross-attention τα tokens των απουσών τροπικοτήτων από τις διαθέσιμες, και ασύμμετρο modality dropout εξομοιώνει την απουσία κατά την εκπαίδευση. Το ίδιο μοντέλο εξυπηρετεί έτσι και τους επτά συνδυασμούς διαθεσιμότητας, χωρίς επανεκπαίδευση ή αλλαγή αρχιτεκτονικής. Η αξιολόγηση έγινε σε 907 ασθενείς του συνόλου TCGA-BRCA, με στρωματοποιημένη διασταυρούμενη επικύρωση πέντε αναδιπλώσεων και κοινό σύνολο ελέγχου. Η επιλογή χαρακτηριστικών και η τυποποίηση προσαρμόστηκαν αποκλειστικά στα δεδομένα εκπαίδευσης. Υπό πλήρη διαθεσιμότητα το μοντέλο επιτυγχάνει macro F1 0,8711 ± 0,0171. Με την τελική ασύμμετρη ρύθμιση, η μέση επίδοσή του υπερβαίνει εκείνη κάθε απλούστερης παραλλαγής διαχείρισης της απουσίας, σε όλες τις μετρικές, σε όλους τους υποτύπους και σε όλους τους συνδυασμούς τροπικοτήτων. Η μελέτη ablation δείχνει ότι, υπό ασύμμετρο modality dropout, το όφελος προέρχεται ειδικά από την εκτίμηση με cross-attention, αφού η γραμμική προβολή υπολείπεται ακόμη και της μηδενικής υποκατάστασης, ενώ υπό ομοιόμορφη απόσυρση οι παραλλαγές δεν διακρίνονται· ο μηχανισμός προβολής και η στρατηγική απόσυρσης λειτουργούν επομένως ως ενιαίος συνδυασμός. Στο κλινικά κρίσιμο σενάριο, όπου η γονιδιακή έκφραση απουσιάζει, η εικόνα και τα κλινικά δεδομένα ανακτούν το 70,5% της επίδοσης αναφοράς. Η εργασία τεκμηριώνει ότι η μορφολογία του ιστού και οι κλινικές μεταβλητές φέρουν μετρήσιμο και βιολογικά ερμηνεύσιμο μέρος της πληροφορίας που ορίζει τον μοριακό υπότυπο, και ότι ένας κατάλληλα σχεδιασμένος μηχανισμός προβολής μπορεί να το αξιοποιήσει όταν η ισχυρότερη πηγή λείπει. Δείχνει επίσης ότι ο δεσμευτικός περιορισμός της εικονιστικής διαδρομής είναι το πλήθος των ασθενών με διαθέσιμη εικόνα και όχι η αρχιτεκτονική συγκέντρωσης. | |
| dc.description.translatedabstract | Breast cancer is not a single disease but a group of biologically distinct subtypes with different prognoses and treatment strategies. The established PAM50 classifier determines the molecular subtype from gene expression; the corresponding assay, however, entails cost, laboratory infrastructure and time, and is therefore not available for every patient. At the same time, histopathology images and clinical data are already part of the patient record, although these data are not always complete. This thesis designs, implements and evaluates a multimodal deep learning classifier for the four main PAM50 subtypes, which combines gene expression, tile representations extracted from whole-slide images with the UNI foundation model, and structured clinical data. The central feature of the design is the explicit handling of missing modalities. Each modality is encoded separately and projected into a shared space with a fixed number of tokens, a Masked Modality Projection mechanism estimates the tokens of absent modalities from the available ones through cross-attention, and asymmetric modality dropout simulates absence during training. The same model thus serves all seven availability combinations, without retraining or architectural changes. The model was evaluated on 907 patients from the TCGA-BRCA cohort, using stratified five-fold cross-validation and a common test set. Feature selection and standardization were fitted on the training data only. Under full modality availability, the model reaches a macro F1 score of 0.8711 ± 0.0171. With the final asymmetric setting, its mean performance exceeds that of every simpler strategy for handling missing modalities across all metrics, subtypes and modality combinations. The ablation study shows that, under asymmetric modality dropout, the benefit arises specifically from estimation through cross-attention, since a linear projection performs worse than even zero imputation, whereas under uniform dropout the variants are indistinguishable; the projection mechanism and the dropout strategy therefore act as a single combination. In the clinically critical scenario in which gene expression is missing, imaging and clinical data recover 70.5% of the reference performance. This work establishes that tissue morphology and clinical variables carry a measurable and biologically interpretable part of the information that defines the molecular subtype, and that a suitably designed projection mechanism can exploit it when the strongest source is missing. It also shows that the binding constraint of the imaging pathway is the number of patients with available images rather than the aggregation architecture. | |
| dc.identifier.uri | https://hdl.handle.net/10889/33131 | |
| dc.language.iso | el | |
| dc.rights | Attribution-NonCommercial-NoDerivatives 4.0 International | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | Πολυτροπική μάθηση | |
| dc.subject | Καρκίνος του μαστού | |
| dc.subject | Μοριακοί υπότυποι PAM50 | |
| dc.subject | Ελλιπείς τροπικότητες | |
| dc.subject.alternative | Multimodal learning | |
| dc.subject.alternative | Breast cancer | |
| dc.subject.alternative | PAM50 molecular subtypes | |
| dc.subject.alternative | Missing modalities | |
| dc.subject.alternative | Masked modality projection | |
| dc.title | Πολυτροπική βαθιά μάθηση με ανθεκτικότητα σε ελλιπείς τροπικότητες για την ταξινόμηση μοριακών υποτύπων καρκίνου του μαστού | |
| dc.title.alternative | Multimodal deep learning with robustness to missing modalities for breast cancer molecular subtype classification |