Please use this identifier to cite or link to this item:
Title: Mass segmentation in mammography using deep convolutional neural network
Other Titles: Τμηματοποίηση μαζών στη μαστογραφία με τη χρήση βαθιών συνελικτικών νευρωνικών δικτύων
Authors: Κούτλα, Παναγιώτα
Keywords: Mammographic sass segmentation
Deep learning
Convolutional neural networks
Keywords (translated): Tμηματοποίηση μαστογραφικών μαζών
Βαθιά μάθηση
Συνελικτικά νευρωνικά δίκτυα
Abstract: Artificial Intelligence (AI) tries to simulate human intelligence processes by machines, especially computer systems. The learning process of machines is achieved through a variety of algorithms, known as Machine Learning. Machine learning is widely used in the field of medical image analysis, in tasks such as image segmentation, image classification (including Computer Aided Detection and/or Diagnosis), image fusion, image-guided therapy and image retrieval. Deep Learning (DL) is a one of the main approaches of machine learning that consist of a set of algorithms, which from a given image, which tries to automatically learn multiple levels of representation that correspond to different levels of abstraction of an image. Understanding the characteristics of deep learning approaches, is crucial in order to properly apply and refine DL methods. Breast cancer is the most frequently diagnosed cancer among women across the world and X-ray mammography, aided by breast ultrasonography, is the modality of choice for breast cancer screening. Due to intra- and inter-observer variabilities in diagnostic accuracy, image processing and analysis techniques are needed for the detection and classification of breast tumors, which will support the decision making process of radiologists. The aim of this study is to evaluate the performance of deep Convolutional Neural Networks (CNNs) in mammographic mass segmentation. The current study design investigates 3 different input ROIs cropping scenarios, throughout the study, representing a different pixel number ratio between the mass and the background pixel classes expected to affect the pixel-wise classification. Finally, rescaling to a 256x256 ROI size was adopted, while 40x40 was also tested for comparison purposes. The proposed mass segmentation model is based on the U-net model, demonstrating very promising performance, in case of biomedical images originating from light and electron microscopy. The effect of different modifications is investigated to improve segmentation performance. These modifications are: (i) introduction of α complimentary ground truth to balance the ration of foreground and background pixels in training and validation of the network, (ii) decreasing network width and increasing network depth (hyperparameters), (iii) evaluation of 2 transfer learning scenarios. Finally, (iv) a wavelet preprocessing stage was also tested in case of the best performing system. Our working hypotheses were experimentally investigated in 2 mammographic mass datasets, the INbreast and a Privately Annotated DDSM subset (PA_DDSMsubset), split into 3 subsets, training, validation and testing. Training, including also a validation phase to avoid overfitting, was carried out to adjust weights at all layers for the proposed modifications, using a mini-batch Stochastic Gradient Descent (SGD) optimizer (batch size = 2), minimizing a Binary Cross Entropy (BCE) loss function. Performance of the proposed modifications was evaluated in the testing subsets of the 2 datasets in the INbreast and the PA_DDSMsubset, demonstrating the following trends. Addition of a complimentary ground truth, during training, was tested only in case of 256x256 input ROIs representing high resolution image detail, considering the 2 extreme mass to background ratios scenarios (tight and fixed size), seems to offer advantages for both scenarios. Thus, it was adopted for all following experiments. Performance of this model (Balanced_Training_U-net) was tested for 2 rescaled input sizes (40x40 and 256x256) and 3 mass to background ratio scenarios. The best performance was obtained for the tight scenario and 256x256 rescaled input for both tested subsets (90.95% for PA_DDSMsubset and 91.34% for INbreast), while a systematic decrease in performance is observed for the proportional padding and fixed size scenarios. In case of 256x256 input ROIs, increasing network depth, is in favor of the tight scenario for both testing datasets, attributed to offering more precise representation of images at the bottleneck, with a higher number of more complex features extracted (92.03% for PA_DDSMsubset and 91.60% for INbreast). Adding an additional block for input ROI image size 40x40 was not deemed applicable, as further reducing image scale, would lead to unrealistic image size at the bottleneck. The effect of reducing the number of activation maps was tested in the case of 40x40 input, as increasing the activation maps for a small size coarse detail input ROI image, could lead the network to overfit. Reducing network width resulted in decreased performance, while preserving the same performance pattern for different cropping scenarios. The effect of two transfer learning methods was also investigated, in order to deal with the limited size of the datasets analyzed. The first one (pre trained weights) uses weights obtained from PA_DDSMsubset training to INbreast testing and the second (fine tuning) adopts these weights to initialize weights for INbreast training dataset, to be further optimized. Results indicate that both methods are comparable in performance with the from scratch scenario, which highlight that the U-net is efficient for small size datasets. The fine-tuning method providing increased performances as compared to the originally tested systems, as expected. Both methods maintain the same performance trend with respect to cropping scenarios (tight performing best). The fine-tuning method seems to improve performance, in case of the worst performing cropping scenarios (proportional padding and fixed size). In such cases, pre-trained weights from a digitized dataset to a digital dataset seems a valuable scenario, pointing towards using weights from different mammographic modalities to enhance performance in a specific mammographic modality dataset. Finally, testing wavelet preprocessing to enhance edge representation input to the network seems not to help performance. In conclusion, results of the present study demonstrate comparable performance of the proposed mammographic mass segmentation method, with respect to state of the art methods (Table 2.1). The effect of cropping scenarios seems to systematically affect performance with the tight scenario performing best, while relative literature suggests the proportional one (Table 2.1, Vivek Kumar Singha et al, Expert Systems with Applications, 2018). Next steps involve investigating a postprocessing method, testing segmentation for different mass margin and shape morphologies.
Abstract (translated): Η Τεχνητή Νοημοσύνη (ΤΝ) προσπαθεί να προσομοιώσει τις διαδικασίες ανθρώπινης νοημοσύνης από μηχανές μέσω ειδικών υπολογιστικών συστημάτων. Η διαδικασία εκμάθησης των μηχανών επιτυγχάνεται μέσω μιας ποικιλίας αλγορίθμων, γνωστών ως μηχανική μάθηση (Machine Learning). Η μηχανική μάθηση χρησιμοποιείται ευρέως στον τομέα της ανάλυσης ιατρικών εικόνων, σε εργασίες όπως η κατάτμηση της εικόνας, η ταξινόμηση απεικονιστικών ευρημάτων (συμπεριλαμβανομένης της ανίχνευσης ή/και της ταξινόμησης αυτών ως προς καλοήθεια/κακοήθεια), η σύντηξη εικόνων, η καθοδήγηση θεραπείας βάσει εικόνας και η ανάκτηση εικόνων. Η βαθιά εκμάθηση (Deep Learning) είναι μια από τις βασικές προσεγγίσεις της μηχανικής μάθησης που αξιοποιεί ένα σύνολο αλγορίθμων, με σκοπό την αυτόματη εκμάθηση των πολλαπλών αναπαραστάσεων της εικόνας σε πολλαπλά επίπεδα ανάλυσης. Η κατανόηση των χαρακτηριστικών των προσεγγίσεων βαθιάς μάθησης είναι κρίσιμης σημασίας για την ορθή εφαρμογή και βελτίωση των μεθόδων αυτών. Ο καρκίνος του μαστού είναι ο πιο συχνά διαγνωσμένος καρκίνος μεταξύ των γυναικών σε ολόκληρο τον κόσμο και η μαστογραφία ακτίνων Χ, υποβοηθούμενη από την υπερηχογραφία του καρκίνου του μαστού, είναι η μέθοδος εκλογής πληθυσμιακού ελέγχου του καρκίνου του μαστού. Λόγω μεταβλητότητας διαγνωστικής ακρίβειας, τόσο μεταξύ του ίδιου παρατηρητή σε διαφορετικά χρονικά στιγμιότυπα, ή μεταξύ διάφορων παρατηρητών, απαιτούνται τεχνικές επεξεργασίας και ανάλυσης εικόνων για την υποβοήθηση ανίχνευσης και ταξινόμησης αλλοιώσεων του μαστού, στα πλαίσια της υποστήριξης της διαδικασίας λήψης αποφάσεων των ακτινολόγων. Σκοπός της τρέχουσας μελέτης είναι η υλοποίηση και αξιολόγηση μεθόδου τμηματοποίηση μαστογραφικών μαζών με βάση τη μέθοδολογία των βαθιών συνελικτικών νευρωνικών δικτύων (Convolutional Neural Networks). Κατά τη παρούσα μελέτη διερευνώνται 3 διαφορετικά σενάρια αποκοπής περιοχής ενδιαφέροντος (Region Of Interest), που αντιπροσωπεύουν διαφορετική αναλογία αριθμού εικονοστοιχείων μεταξύ των κλάσεων μάζας και υποβάθρου, τα οποία αναμένεται να επηρεάσουν την ταξινόμηση σε επίπεδο εικονοστοιχείου. Τέλος, υιοθετήθηκε αναπροσαρμογή μεγέθους εικόνας εισόδου σε διαστάσεις 256x256, ενώ το μέγεθος 40x40, δοκιμάστηκε για λόγους σύγκρισης. Το προτεινόμενο μοντέλο τμηματοποίησης μαστογραφικών μαζών, βασίζεται στην αρχιτεκτονική U-net, η οποία έχει προταθεί για τμηματοποίηση βιοϊατρικών εικόνων ηλεκτρονικού μικροσκοπίου και αποτελεί πολλά υποσχόμενη μέθοδο. Η επίδραση διαφόρων τροποποιήσεων του μοντέλου U-net διερευνάται με στόχο τη βελτίωση της απόδοσης της προτινόμενης μεθόδου τμηματοποίησης. Οι τροποποιήσεις αφορούν: (i) την υποστήριξη της εκπαίδευσης και της επικύρωσης του δικτύου με την εισαγωγή συμπληρωματικού πίνακα αληθείας με σκοπό την εξισορρόπηση της αναλογίας εικονοστοιχείου στόχου-υποβάθρου, (ii) την μείωση του πλάτους και την αύξηση του βάθους του δικτύου (υπερπαράμετροι), και (iii) την αξιολόγηση της εφαρμογής 2 μεθόδων μεταφοράς εκπαίδευσης (transfer learning). Τέλος, (iv) η επίδραση μεθόδου προεπεξεργασίας μετασχηματισμού κυματίου (Wavelet Transformation) μελετήθηκε για την αρχιτεκτονική με την καλύτερη απόδοση. Οι υποθέσεις εργασίας μας μελετήθηκαν εκπαιδεύτηκαν πειραματικά, επικυρώθηκαν και δοκιμάστηκαν σε 2 σύνολα δεδομένων μαστογραφικών μαζών, την INbreast και ένα υποσύνολο της DDSM με πίνακες αληθείας που προήλθαν από ιδιωτική επισήμανση (PA_DDSMsubset), οι οποίοι διαχωρίστηκαν σε 3 υποσύνολα, εκπαιδευσης, επικύρωσης της εκπαίδευσης και δοκιμής. Η εκπαίδευση, συμπεριλαμβανομένης και της φάσης επικύρωσης για την αποφυγή της υπερεκπαίδευσης (overfitting), περιλαμβάνει την προσαρμογή των βαρών, για τις προτεινόμενες τροποποιήσεις, μεσω του βελτιστοποιητή mini-batch Stochastic Gradient Descent (SGD) (batch-size = 2), με σκοπό την ελαχιστοποίηση της συνάρτησης κόστους Binary Cross Entropy (BCE). Η απόδοση των προτεινόμενων τροποποιήσεων αξιολογήθηκε στα υποσύνολα δοκιμών (test sets) των 2 συνόλων δεδομένων, της INbreast και της PA_DDSMsubset, επιδεικνύοντας τις ακόλουθες τάσεις. Ο πρόσθετος συμπληρωματικός πίνακας αληθείας που δοκιμάστηκε μόνο στην περίπτωση εικόνας εισόδου μεγέθους 256x256, η οποία αντιστοιχεί σε απεικόνιση υψηλής ανάλυσης, λαμβάνοντας υπόψη τα δύο ακραία σενάρια αναλογίας μάζας / υποβάθρου (tight scenario, fixed size scenario), όπου φαίνεται ότι προσφέρει πλεονεκτήματα και για τα 2 σενάρια. Για το λόγο αυτό, υιοθετήθηκε για όλα τα ακόλουθα πειράματα. Η απόδοση αυτού του μοντέλου U-net δοκιμάστηκε για 2 μεγέθη εισόδου, 40x40 και 256x256, και για τα 3 σενάρια μάζας / υποβάθρου. Η καλύτερη απόδοση, και για τις 2 βάσεις δεδομένων, επετεύχθη για το tight σενάριο με εικόνα εισόδου 256x256 (90,95% για την PA_DDSMsubset και 91,34% για την INbreast), ενώ παρατηρήθηκε συστηματική μείωση των τιμών απόδοσης για αύξηση των εικονοστοιχείων του υποβάθρου. Στην περίπτωση εικόνας εισόδου 256x256, η αύξηση του βάθους του δικτύου, ενισχύει το tight σεναρίο και για τις 2 βάσεις δεδομένων, αυξάνοντας την ακριβέστερη απεικόνιση των εικόνων στο bottleneck, ενώ παράλληλα αυξήθηκε το πλήθος των αναπαραστάσεων της εικόνας, που εξάγει το δίκτυο (92,03% για την PA_DDSMsubset και 91,60% για την INbreast). Η προσθήκη ενός επιπλέον μπλοκ δεν μπορούσε να εφαρμοσθεί για μέγεθος εικόνας εισόδου 40x40, καθώς περαιτέρω μείωση της κλίμακας εικόνας, θα οδηγούσε σε μη ρεαλιστικό μέγεθος εικόνας στο bottleneck. Η επίδραση της μείωσης του αριθμού χαρτών/χαρακτηριστικών απόκρισης (activation/feature maps) δοκιμάστηκε για την περίπτωση εικόνας εισόδου 40x40, καθώς αύξηςη του αριθμού χαρτών/χαρακτηριστικών απόκρισης για μια μικρού μεγέθους εικόνα εισόδου, θα μπορούσε να οδηγήσει το δίκτυο σε υπερεκπαίδευση. Οι καλύτερες επιδόσεις επετεύχθησαν για το tight σενάριο, ενώ υποδεέστερες αυξήσεις παρατηρήθηκαν για τα άλλα 2 σενάρια, αλλά με σχετικά μεγαλύτερες αυξήσεις. Η επίδραση των μεθόδων μεταφοράς εκπαίδευσης μελετήθηκε, για την αντιμετώπιση του περιορισμένου μεγέθους των βάσεων εικόνων που αναλύθηκαν. Η πρώτη αναφέρεται στη μεταφορά προεκπαιδευμένων βαρών (pre-trained weights) από τη βάση PA_DDSMsubset στην INbreast, ενώ η δεύτερη στη χρήση των προεκπαιδευμένων βαρών ως αρχικοποίηση που προηγείται της διαδικασίας βελτιστοποίησης (fine-tuning) στη βάση Inbreast. Τα αποτελέσματα που υποδηλώνουν ότι και οι 2 μέθοδοι παρουσιάζουν συγκρίσιμη απόδοση σε σχέση με την εκπαίδευση εξ αρχής (from scratch) σε κάθε βάση, αναδεικνύοντας την αποδοτικότητα του U-net για μικρού μεγέθους βάσεις εικόνων. Η μέθοδος fine-tuning παρείχε αυξημένη απόδοση σε σχέση με την from scratch διαδικασία εκπαίδευσης, ως ανεμένετο. Οι 2 μέθοδοι μεταφοράς εκπαίδευσης διατήρησαν την ίδια τάση απόδοσης μεταξύ των 3 σεναρίων αποκοπής, με το tight σενάριο να παρέχει την μέγιστη απόδοση. Οι 2 μέθοδοι μεταφοράς φαίνεται να ενισχύουν σχετικά την απόδοση για τα 2 έως τώρα υποδεέστερα σενάρια. Σε αυτές τις περιπτώσεις η προσέγγιση μεταφοράς pre-trained weights από μια ψηφιοποιημένη βάση μαστογραφικών εικόνων φαίνεται να είναι χρήσιμη, υποδεικνύοντας τη μεταφορά βαρών μεταξύ διαφορετικών μαστογραφικών απεικονίσεων, ώστε να ενισχυθεί η απόδοση σε μια συγκεγκριμένη βάση. Τέλος, η χρήση προεπεξεργασίας μετασχηματισμού κυματίου με στόχο την ενίσχυση της αναπαράστασης ακμών κατά την είσοδο του συστήματος δεν συνεισέφερε στην απόδοση. Συνοψίζοντας, τα αποτελέσματα της παρούσας μελέτης πιστοποιούν συγκρίσιμη απόδοση της προτεινόμενης μεθόδου τμηματοποίησης μαστογραφικων μαζών, σε σχέση με τις μεθόδους της τεχνολογικής στάθμης (Table 2.1). Η επίδραση των σεναρίων αποκοπής φαίνεται να επηρεάζει συστηματικά την απόδοση με το tight σενάριο να χαρακτηρίζεται από τη μεγαλύτερη απόδοση, ενώ η σχετική βιβλιογραφία προτείνει το proportional padding σενάριο (Table 2.1, Vivek Kumar Singha et al, Expert Systems with Applications, 2018). Επόμενα βήματα αφορούν τη διερεύνησης μεθόδου μετεπεξεργασίας, καθώς και τη μελέτη απόδοδης σχετικά με τις μορφολογικές κατηγορίες παρηφής και σχήματος των μαστογραφικών μαζών.
Appears in Collections:Τμήμα Ιατρικής (ΜΔΕ)

Files in This Item:
File Description SizeFormat 
Koutla_THESIS.pdf2.91 MBAdobe PDFView/Open

This item is licensed under a Creative Commons License Creative Commons