Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Ελεονόρας Τσόμη

με θέμα
Υλοποίηση του OmniSketch στο  Apache Flink  
Implementation of OmniSketch in Apache Flink

Εξεταστική Επιτροπή
Καθηγητής Αντώνιος Δεληγιαννάκης (επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς 

Περίληψη
Είναι γνωστό ότι ο όγκος των δεδομένων που παράγονται καθημερινά από οποιαδήποτε εφαρμογή αυξάνεται ραγδαία, με αποτέλεσμα να δημιουργείται άμεση ζήτηση για πλαίσια επεξεργασίας ροών σε πραγματικό χρόνο. Η παρούσα εργασία διερευνά την ενσωμάτωση του OmniSketch στο Apache Flink, με σκοπό την αξιοποίηση του δυναμικού του για την παράλληλη επεξεργασία σε κατανεμημένα συστήματα. Ο πρωταρχικός στόχος είναι η επίτευξη βαθμού παραλληλισμού μέσω της ενσωμάτωσης του OmniSketch στο Synopsis Data Engine (SDE). Η διαδικασία ενσωμάτωσης αξιοποίησε τις δυνατότητες κατανεμημένης επεξεργασίας του Flink για την αποτελεσματική διαχείριση ροών δεδομένων μεγάλης κλίμακας. Επιπλέον, πραγματοποιήθηκαν τροποποιήσεις, από την πλευρά μας, στον αλγόριθμο του OmniSketch προκειμένου να καταστεί δυνατή η λειτουργία του παράλληλο επίπεδο, ενισχύοντας τόσο την αποτελεσματικότητα της σύνοψης όσο και της εκτέλεσης της.

Abstract 
It is known that the amount of data generated every day by any application is rapidly growing, resulting in an immediate demand for real-time stream processing frameworks. This work explores the integration of OmniSketch within Apache Flink to leverage its potential for parallel processing
in distributed systems. The primary objective is to achieve a degree of parallelism greater than one by embedding OmniSketch into the Synopsis Data Engine (SDE) framework. The integration process utilized Flink’s distributed processing capabilities to efficiently handle large-scale data streams. Additionally, modifications, from our part, to the OmniSketch algorithm were made to enable its operation
in parallel, enhancing both summarization and execution efficiency.