BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20220706T132910Z LAST-MODIFIED:20220706T132910Z DTSTAMP:20260811T081443Z UID:1786425283@tuc.gr SUMMARY:Παρουσίαση Διπλωματικής Εργασίας, κ. Καστρινάκης Δημήτριος - Σχολή ΗΜΜΥ LOCATION:Η παρουσίαση θα γίνει με τηλεδιάσκεψ η. DESCRIPTION:https://www.ece.tuc.gr/el/katalogos- ekdiloseon?tx_tucevents2_tuceventsdi splay%5Baction%5D=show&tx_tucevents2 _tuceventsdisplay%5Bcontroller%5D=Ev ent&tx_tucevents2_tuceventsdisplay%5 Bevent%5D=5653&cHash=db6789f3b9007a0 34321bb618363fffe\nΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗ Σ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\n Πρόγραμμα Π ροπτυχιακών Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΔΙΠ ΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ\n ΚΑΣΤΡΙΝΑΚΗΣ ΔΗΜ ΗΤΡΙΟΣ\n με Θέμα:\n Επεξεργασία Βίντ εο σε Πραγματικό Χρόνο σε Περιβάλλον Apache FLINK στο Υπολογιστικό Νέφος \n Real Time Video Processing in Apa che FLINK and the Cloud\n Εξεταστική Επιτροπή\n Καθηγητής Ευριπίδης Πετρ άκης (επιβλέπων)\n Καθηγητής Μιχαήλ Ζερβάκης\n Καθηγητής Αντώνιος Δεληγι αννάκης\n  \n Περίληψη\n Σε αυτό το έργο παρουσιάζουμε ένα κατανεμημένο σύστημα επεξεργασίας ροής μέσω Apach e Flink πάνω στο Kubernetes, που τρο φοδοτείται από την πλατφόρμα ροής υψ ηλής ταχύτητας Apache Kafka. Η λειτο υργία του συστήματός μας θα επεξεργά ζεται ακατέργαστα βίντεο υψηλής ανάλ υσης για τον εντοπισμό αλλαγών στη λ ήψη κάμερας. Ένας από τους κύριους σ τόχους αυτής της εργασίας είναι να κ αταστήσει αυτό το σύστημα εξαιρετικά επεκτάσιμο και ικανό να επεξεργαστε ί μεγάλη ροή εισόδου βίντεο σε όσο τ ο δυνατόν πιο κοντά στον πραγματικό χρόνο. Το Flink χρησιμοποιεί μια σει ρά τελεστών για να μετατρέψει μια ρο ή βίντεο σε ουσιαστικά δεδομένα (δηλ αδή, στην περίπτωσή μας διαφορετικές λήψης κάμερας). Αυτοί οι τελεστές μ πορούν εύκολα να αντιγραφούν, δηλαδή να εργαστούν παράλληλα και να διανε μηθούν μεταξύ πολλαπλών κόμβων που δ ιαχειρίζεται το Flink. Προκειμένου ν α καταστεί δυνατή η πλήρως κατανεμημ ένη και κλιμακούμενη επεξεργασία αρχ είων βίντεο, προτείνουμε τη διαίρεση κάθε καρέ ενός βίντεο σε μικρότερα σύνολα ή ομάδες (blocks), τα οποία σ τη συνέχεια μπορούν να υποβληθούν σε χωριστή επεξεργασία από διάφορους κ ατανεμημένους τελεστές. Όλα τα block s των καρέ ενός βίντεο διανέμονται π ρώτα ομοιόμορφα σε topic partitions του Kafka. Στη συνέχεια, όλοι οι Fli nk κόμβοι διαβάζουν παράλληλα τα par titions. Για να μπορέσει να ανιχνευθ εί αλλαγή λήψης μεταξύ καρέ, υπολογί ζεται πρώτα το ιστόγραμμα έντασης το υ κάθε block από έναν τελεστή. Στην συνέχεια, μαζεύονται σε επόμενο τελε στή όλα τα blocks ενός καρέ και υπολ ογίζεται το συνολικό ιστόγραμμα έντα σης του καρέ αυτού. Ένας τρίτος τελε στής έπειτα, υπολογίζει τις διαφορές των ιστογραμμάτων μεταξύ των διαφορ ετικών καρέ του βίντεο και εξάγει στ η συνέχεια μια συνεχόμενη ροή διαφορ ών ιστογραμμάτων. Ένας τέταρτος τελε στής χρησιμοποιεί την ροή αυτήν και εάν εντοπίσει μια διαφορά που υπερβα ίνει ένα προκαθορισμένο όριο, ανακοι νώνεται μια αλλαγή λήψης κάμερας. Δι αφορετικά, ο τελεστής αναζητά αλλαγέ ς σκηνών “fade” μεταξύ πολλαπλών συν εχόμενων καρέ. Αναπτύξαμε την Flink εφαρμογή μας σε ένα Flink cluster το οποίο με την σειρά του ήταν πάνω σε ένα Kubernetes cluster. Χρησιμοποιή θηκαν έως και 8 Flink κόμβοι, μέσω τ ης πλατφόρμας Google Cloud και χρησι μοποιώντας την εγγενή υποστήριξη του Flink για Kubernetes clusters. Για να καθορίσουμε την επεκτασιμότητα το υ συστήματός μας, συγκρίνουμε την απ όδοσή του με ένα μη κατανεμημένο σύσ τημα. Τα πειράματα παρήγαγαν εξαιρετ ικά αποτελέσματα επιτάχυνσης. Σημαντ ική βελτίωση εντοπίστηκε σε όλες τις δοκιμασμένες αναλύσεις βίντεο. Ωστό σο, παρατηρήθηκε μεγαλύτερη επιτάχυν ση σε πειράματα με βίντεο υψηλότερων αναλύσεων. Επιτεύχθηκε έως και 7 φο ρές καλύτερη απόδοση σε σύγκριση με το μη κατανεμημένο σύστημα.\n Abstra ct\n In this work, we present a dist ributed stream-processing system bui lt with Apache Flink on top of Kuber netes, fueled by the high-speed stre aming platform Apache Kafka. Our sys tem’s function will be processing hi gh-resolution raw videos in order to detect camera shot changes. This wo rk has two mains goals. Firstly, we want to make this system highly scal able, and able to efficiently utiliz e multiple processing nodes. Secondl y, we want our system to be able to process a high input throughput of v ideos in as close to real-time as po ssible. Flink works by applying a se ries of operators in a pipeline to t ransform a video stream into meaning ful data (i.e., shots in our case). These operators can be easily duplic ated. This allows them to work in pa rallel by being distributed inside F link-managed nodes. To allow fully d istributed and scalable processing o f video files, we suggest partitioni ng each video frame into smaller blo cks. These can then be separately pr ocessed by all the distributed opera tors in parallel. The blocks of each frame are first evenly distributed to multiple Kafka topic partitions. Then, all Flink nodes read in parall el from those partitions. For the pu rposes of shot change detection, the histogram of the intensity of each separate block is calculated by an o perator. Then, a second operator ass embles all the histograms of a frame ’s blocks into that same frame’s ful l histogram. In the next step, a thi rd operator receives the full histog rams of adjacent frames and calculat es their differences. A final operat or receives these histogram differen ces as a stream. If a difference exc eeds a predefined threshold, then a camera cut shot change is announced. Otherwise, the operator looks for g radient fades among multiple sequent ial frames. We deployed our Flink ap plication on a Flink cluster on top of a Kubernetes cluster. Up to 8 Fli nk nodes were used on the Google Clo ud Platform, using Flink’s Native Ku bernetes support. To determine the s calability of our system, we compare its performance against a non-distr ibuted system. The experiments produ ced excellent speed-up results. An i mportant improvement was detected in all tested video resolutions. The h ighest speedup however was observed in experiments with the videos of th e highest resolutions. Up to 7 times better performance was reached comp ared to the non-distributed system.\ n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20220708T120000 DTEND:20220708T130000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR