BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20240308T155106Z LAST-MODIFIED:20240308T155106Z DTSTAMP:20261012T220828Z UID:1791832108@tuc.gr SUMMARY:Παρουσίαση Διπλωματικής Εργασίας κας Ουρανίας Ντούνη - Σχολή ΗΜΜΥ LOCATION: DESCRIPTION:https://www.ece.tuc.gr/el/katalogos- ekdiloseon?tx_tucevents2_tuceventsdi splay%5Baction%5D=show&tx_tucevents2 _tuceventsdisplay%5Bcontroller%5D=Ev ent&tx_tucevents2_tuceventsdisplay%5 Bevent%5D=6831&cHash=d3c277cb7045316 3e9b8111ae8578618\nΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗ Σ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\n Πρόγραμμα Π ροπτυχιακών Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΔΙΠ ΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ\n Ουρανία Ντούνη\ n με θέμα\n Βελτιστοποίηση της Αποδο τικότητας και του Κόστους Επεξεργασί ας Ροών : TALOS- Αυτοκλιμακωτής σε ε πίπεδο Διεργασίας για την πλατφόρμα Apache Flink\n Optimizing Stream Pro cessing Efficiency and Cost:TALOS - Task Level Autoscaler for Apache Fli nk Platform\n Εξεταστική Επιτροπή\n Καθηγητής Ευριπίδης Πετράκης (επιβλέ πων)\n Επίκουρος Καθηγητής Νικόλαος Γιατράκος\n Αναπληρωτής Καθηγητής Βα σίλειος Σαμολαδάς \n Περίληψη\n Το A pache Flink είναι μια πλατφόρμα και μηχανή́ κατανεμημένης επεξεργασίας γ ια stateful υπολογισμούς σε αόριστε ς και περιορισμένες ροές δεδομένων. Οι πλατφόρμες Big Data , λόγω της δυ ναμικής φύσης τους, συνηθώς αντιμετω πίζουν διακυμάνσεις στο φορτίο ροών δεδομένων, προκαλώντας over-provisio ng ή under-provisioning πόρων λόγω της στατικής δέσμευσης πόρων. Οι κύρ ιες υπάρχουσες λύσεις, είναι κλιμάκω ση σε επίπεδο ολόκληρου του job. Αυτ ού́ του είδους λύσεις, δεν αποτελούν την βέλτιστη προσέγγιση, σε περιπτώ σεις όπου όλα τα task, δεν βρίσκοντα ι στην ίδια κατάσταση. Στο πλαίσιο αυτό, αποφάσισαμε να αναπτύξουμε έ ναν πράκτορα που διαχειρίζεται τους πόρους ενός Flink job κατά τη δια ́ρκεια εκτέλεσης, σε επίπεδο διεργ ασίας. Η παρούσα διατριβή παρουσι άζει τον TALOS, έναν πρωτότυπο Au toscaler σε επίπεδο διεργασίας που σχεδιάστηκε ειδικά για το Apache Flink. Το TALOS αλλάζει δυναμικά τ ον παραλληλισμό των tasks σε Flink jobs ανάλογα με τις διακυμάνσεις τ ου φορτίου δεδομένων κατά τον χρο ́νο εκτέλεσης. Ο TALOS είναι ένας πράκτορας που βασίζεται σε τιμές κατώφλιου (threshold based) και χρ ησιμοποιεί έναν συνδυασμό μετρικω ́ν, όπως το Kafka consumer lag,thro ughput, backpressure, buffer metrics , και idleness για να λάβει αποφάσ εις για τον καινούριο παραλληλισμό των διεργασιών. Αυτός ο αλγόριθμ ος στοχεύει στην βελτιστοποίηση τη ς απόδοσης του Flink Job, αλλά και στην ελαχιστοποίηση του κόστους σ ε περιβάλλοντα cloud, ειδικά για ε φαρμογές μεγάλης διάρκειας. Αξίζ ει να σημειωθεί ότι το TALOS παρακ ολουθεί κάθε task ξεχωριστά, χωρι ́ς να λάβει υπόψη τη ταχύτητα εξο ́δου και είσοδου, των upstream ή d ownstream tasks , αντίστοιχα. Σε αυ τήν τη διατριβή, δείχνουμε ότι τ ο μοντέλο μας επιτυγχάνει να διατη ρήσει επιτυχώς την απόδοση της εφ αρμογής, ενώ ελαχιστοποιεί το κό στος, παρέχοντας μία βέλτιστη ανα λογία απόδοσης-κόστους σε σχέση με την υπάρχουσα εργασία στην κλιμ άκωση του Flink job. Η σύγκριση υλ οποιείται με το Flink Kubernetes Op erator autoscaler, έναν threshold-b ased αλγόριθμο, όπου και οι δύο πρ άκτορες ελέγχονται σε απαιτητικά φορτία ροής δεδομένων. \n Abstrac t \n Apache Flink is a framework and distributed processing engine for s tateful computations over unbounded and bounded data streams. Big Data p lat- forms, due to their dynamic nat ure, often face fluctuations in data streams workloads, leading to poten tial over-provisioning or under-prov isioning because of static resource allocation. Most existing solutions solve the resource adaptation proble m by scaling the entire Job. These s olutions are sub-optimal since not a ll Tasks are equally stressed and ne ed not be scaled. Therefore, we deci ded to develop an agent that manages the resources of a Flink job during runtime, at a Task level. This thes is presents TALOS, an innovative tas k autoscaler specifically designed f or Apache Flink. TALOS dynamically c hanges the parallelism of tasks with in Flink jobs in response to real-ti me workload fluctuations. TALOS is a threshold-based agent that utilizes a combination of metrics, such as K afka consumer lag, throughput, backp ressure, buffer metrics, and idlenes s to make scaling decisions. This al gorithm targets not only in optimizi ng the performance of the Flink Job, but also in minimizing the cost in cloud environments, especially for l ong running applications. Notable is , that TALOS monitors each task sepa rately, without taking into consider ation output and input rate of upstr eam or downstream tasks, respectivel y. In this thesis, we prove that our model not only successfully maintai ns the performance of the applicatio n while minimizing infrastructure co sts but can provide a better perform ance-to-cost ratio compared to alrea dy existing work on Flink autoscalin g. Our system is compared against Fl ink Kubernetes Operator autoscaler, a threshold-based algorithm and both of the agents are tested in pretent ious workloads. \n Meeting ID: 613 7 64 0471\n Password: 582678\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20240312T100000 DTEND:20240312T110000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR