Ενοποίηση διπλότυπων εγγραφών σε βάσεις δεδομένων

Κυριακούλη, Δήμητρα

Ενοποίηση διπλότυπων εγγραφών σε βάσεις δεδομένων

datacite.contributor.Supervisor	Κωτσιαντής Σωτήριος
datacite.rights	http://purl.org/coar/access_right/c_abf2	el
dc.contributor.author	Κυριακούλη, Δήμητρα
dc.contributor.other	Kyriakouli, Dimitra
dc.date.accessioned	2022-03-01T07:10:58Z
dc.date.available	2022-03-01T07:10:58Z
dc.date.copyright	2022-01-14
dc.degree	masterThesis	el
dc.description.abstract	Η ενοποίηση των διπλότυπων εγγραφών σε βάσεις δεδομένων είναι η διαδικασία κατά την οποία εγγραφές οι οποίες αναφέρονται στην ίδια οντότητα σε πολλαπλές βάσεις δεδομένων εντοπίζονται, συνδέονται και συγχωνεύονται σε μία νέα βάση δεδομένων. Μία ειδική περίπτωση της διαδικασίας αυτή είναι ο εντοπισμός και η απαλοιφή των διπλότυπων εγγραφών μίας βάσης δεδομένων η οποία διενεργείται κατά το στάδιο της προεπεξεργασίας. Σε ένα σύστημα με καθαρά δεδομένα, η ενοποίηση των διπλότυπων εγγραφών συνίσταται στην ένωση των βάσεων δεδομένων με βάση τα πεδία ταυτοποίησής τους. Σε δεδομένα πραγματικού κόσμου, η έλλειψη κοινών πεδίων ταυτοποίησης είναι ένα συχνό φαινόμενο. Επιπροσθέτως, η ποιότητα των πληροφοριών μπορεί να επηρεαστεί από ανθρώπινα λάθη κατά το στάδιο τις καταχώρησης των δεδομένων, από αστοχίες εξοπλισμού αλλά και από την δομική ανομοιογένεια των δεδομένων στις πολλαπλές βάσεις. Στην παρούσα διπλωματική εργασία θα παρουσιάσουμε τα διαφορετικά στάδια της ενοποίησης διπλότυπων εγγραφών και τις διαφορετικές τεχνικές που αναπτύχθηκαν για την αντιμετώπιση των παραπάνω προβλημάτων. Στο πρώτο κεφάλαιο παρουσιάζονται οι στόχοι και οι προκλήσεις της ενοποίησης εγγραφών, γίνεται μία σύντομη ιστορική αναδρομή και περιγράφονται κάποια από τα πεδία εφαρμογής της. Στο δεύτερο κεφάλαιο εξετάζουμε τα διάφορα προβλήματα που μπορούν να εντοπιστούν κατά το στάδιο της προεπεξεργασίας των δεδομένων, όπως η έλλειψη τιμών και η παρουσία θορύβου στα δεδομένα. Στο τρίτο κεφάλαιο περιγράφονται οι βασικότερες τεχνικές ευρετηριοποίησης που στόχο έχουν την μείωση του όγκου των δεδομένων που πρέπει να εξεταστούν ενώ στο τέταρτο κεφάλαιο παρουσιάζονται κάποιες συναρτήσεις ομοιότητας για την σύγκριση των διαφορετικών πεδίων των βάσεων δεδομένων. Τέλος, το πέμπτο κεφάλαιο πραγματεύεται την ταξινόμηση των εγγραφών σε τρεις κλάσεις, όμοιες εγγραφές (matches), ανόμοιες εγγραφές (non matches) και πιθανόν όμοιες εγγραφές (potential matches). Στο κεφάλαιο αυτό παρουσιάζονται επίσης μερικά από τα βασικότερα μέτρα αξιολόγησης της ενοποίησης των εγγραφών.	el
dc.description.translatedabstract	Data matching is the task of identifying, linking and merging records that refer to the same entity across multiple databases. A special case of data matching, performed in the preprocessing step, is the detection of duplicate records within a single database, a task known as deduplication. In a clean data system, data matching would be implemented by simply joining the different databases based on their shared identifiers. However, in real world data, the lack of unique identifiers is a common problem. Furthermore, the quality of the data to be matched may be compromised by human error, equipment failure or structural heterogeneity of the data across the different databases. In this thesis the different stages of the data matching process will be presented, as well as the different techniques that were developed in order to address the aforementioned problems. In the first chapter, the goals and challenges of the data matching task are presented along with a brief historical overview and a description of different application areas. In the second chapter, various data quality issues and ways to overcome them are addressed, such as missing values and the presence of noise. In the third chapter different indexing techniques that aim to reduce the number of record pair comparisons are presented while the fourth chapter consists of a collection of various similarity functions. Finally, in the fifth chapter the process of classifying record pairs into matches, non matches and protentional matches is presented along with some of the main quality measures that aim to evaluate the data matching process.	el
dc.identifier.uri	http://hdl.handle.net/10889/15870
dc.language.iso	gr	el
dc.subject	Ενοποίηση εγγραφών	el
dc.subject	Διπλότυπες εγγραφές	el
dc.subject	Ταίριασμα εγγραφών	el
dc.subject	Διασύνδεση εγγραφών	el
dc.subject	Απαλοιφή διπλότυπων εγγραφών	el
dc.subject	Ευρετηριοποίηση	el
dc.subject.alternative	Data matching	el
dc.subject.alternative	Record linkage	el
dc.subject.alternative	Field matching	el
dc.subject.alternative	Entity resolution	el
dc.subject.alternative	Merge-purge	el
dc.subject.alternative	Data deduplication	el
dc.subject.alternative	Duplicate record detection	el
dc.subject.alternative	Indexing	el
dc.title	Ενοποίηση διπλότυπων εγγραφών σε βάσεις δεδομένων	el
dc.title.alternative	Matching of duplicate data records	el
oaire.licenseCondition	null	el

Files

Original bundle

Now showing 1 - 1 of 1

Name:: Ενοποίηση Διπλότυπων Εγγραφών σε Βάσεις Δεδομένων - Κυριακούλη Δήμητρα.pdf
Size:: 2.51 MB
Format:: Adobe Portable Document Format

Download

License bundle

Now showing 1 - 1 of 1

Name:: license.txt
Size:: 4.53 KB
Format:: Item-specific license agreed upon to submission
Description:

Download

Collections

Τμήμα Μαθηματικών (ΜΔΕ)