BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20250217T135000Z LAST-MODIFIED:20250217T135000Z DTSTAMP:20260719T223316Z UID:1784489596@tuc.gr SUMMARY:Παρουσίαση Διπλωματικής Εργασίας κ. Γεωργίου Βιώνη - Σχολή ΗΜΜΥ LOCATION: DESCRIPTION:https://www.ece.tuc.gr/el/katalogos- ekdiloseon?tx_tucevents2_tuceventsdi splay%5Baction%5D=show&tx_tucevents2 _tuceventsdisplay%5Bcontroller%5D=Ev ent&tx_tucevents2_tuceventsdisplay%5 Bevent%5D=7559&cHash=d1d1a3071c2940d fb679f9670f5d59e9\nΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗ Σ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\n Πρόγραμμα Π ροπτυχιακών Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΔΙΠ ΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ\n Γεωργίου Βιώνη\ n με θέμα\n Δυναμική Τοποθέτηση Υπηρ εσιών σε Κουμπερνέτες μέσω Ενισχυτικ ής Μάθησης\n Dynamic Service Placeme nt in Kubernetes with Reinforcement Learning\n Εξεταστική Επιτροπή\n Καθ ηγητής Ευριπίδης Πετράκης (επιβλέπων )\n Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς\n Επίκουρος Καθηγητής Νικό λαος Γιατράκος\n Περίληψη\n Η παρούσ α διπλωματική εργασία εστιάζει στην περιοχή της Τοποθέτησης Υπηρεσιών σε Κατανεμημένα Πολυ-Συστοιχιακά Περιβ άλλοντα Cloud. Στόχος της είναι η με ίωση της καθυστέρησης (latency) των υπηρεσιών, καθώς και του λειτουργικο ύ κόστους του συστήματος, μέσω ενός μοντέλου Μηχανικής Μάθησης Ενίσχυσης (Reinforcement Learning) με υψηλή ε πεκτασιμότητα (highly scalable). Το σύστημα ακολουθεί μια ιεραρχική δομή κατευθυνόμενου ακύκλου γράφου με Βα θμίδες. Η κεντρική βαθμίδα αποτελεί τον κεντρικό υπολογιστικό και πόρο-ε ντατικό πυρήνα του συστήματος, προσφ έροντας τη μεγαλύτερη δυνατότητα κλι μάκωσης. Οι ενδιάμεσες βαθμίδες βρίσ κεται σταδιακά ολοένα και πιο κοντά στη βαθμίδα επαφής με τον χρήστη, η οποία είναι και τελευταία, γεγονός π ου μειώνει σημαντικά την καθυστέρηση διάδοσης, αλλά υστερεί σε σχέση με την κεντική όσον αφορά τις υπολογιστ ικές και κλιμακούμενες δυνατότητες. Η εξωτερική βαθμίδα αντιπροσωπεύει τ ο τελευταίο επίπεδο και πιθανώς αποτ ελείται από κόμβους χαμηλής υπολογισ τικής ισχύος που λειτουργούν ως διακ ομιστές μέσω των οποίων οι χρήστες σ υνδέονται στο σύστημα, είτε πρόκειτα ι για συσκευές IoT, smartphones, υπο λογιστές ή οποιονδήποτε άλλο καταναλ ωτή υπηρεσιών. Όλες οι εφαρμογές ακο λουθούν αρχιτεκτονικές Micro-Service , που σημαίνει ότι αποτελούνται από πολλαπλές (μικρο)υπηρεσίες. Αυτό επι τρέπει τη μεταφορά αυτών των υπηρεσι ών μεταξύ των επιπέδων, όπως απαιτεί ται, για να μεγιστοποιηθεί η απόδοση και να ελαχιστοποιηθούν το κόστος κ αι η καθυστέρηση. Όπως περιγράφηκε π ροηγουμένως, τα ανώτερα επίπεδα προσ φέρουν βελτιωμένη απόδοση εις βάρος αυξημένης καθυστέρησης. Συνεπώς, η μ ετακίνηση αυτών των υπηρεσιών πιο κο ντά στην εξωτερική βαθμίδα μπορεί να είναι ωφέλιμη τόσο από πλευράς κόστ ους όσο και καθυστέρησης, εάν το κέρ δος από τη μείωση της καθυστέρησης κ αι του δικτυακού I/O υπερβαίνει τις απώλειες από πολλαπλές αναπτύξεις στ ις διάφορες βαθμίδες για την ίδια υπ ηρεσία. Το προτεινόμενο μοντέλο: Dyn aQSP, στοχεύει στη διαχείριση της το ποθέτησης και διαγραφής αναπτύξεων σ ε κάθε επίπεδο χρησιμοποιώντας ένα δ υναμικό μοντέλο Ενίσχυσης Q, ενώ παρ άλληλα διαχειρίζεται κατάλληλα τη ρο ή κίνησης μετά από κάθε αλλαγή. Για τη συλλογή πληροφοριών μεταβλητών, τ η διαχείριση λειτουργιών και τη δικτ ύωση των εφαρμογών θα χρησιμοποιηθεί τεχνολογία Service Mesh (Linkerd). Το DynaQSP συλλέγει αυτές τις πληροφ ορίες και τις χρησιμοποιεί για την ε κπαίδευση του μοντέλου Reinforcement Learning, το οποίο με τη σειρά του λαμβάνει αποφάσεις για τη διαχείριση όλων των υπηρεσιών. Τρεις ρεαλιστικ ές εφαρμογές βασισμένες σε μικρο-υπη ρεσίες, το “Online Boutique” της Goo gle, το “Bank of Anthos” και το “Tea Store”, εγκαταστήθηκαν στο προαναφερ θέν ετερογενές πολυ-συστοιχιακό περι βάλλον στο Google Cloud Platform με σκοπό την αξιολόγηση της αποτελεσματ ικότητας του προτεινόμενου μοντέλου. Μετά από αρκετούς κύκλους υλοποίηση ς, δοκιμών και αξιολόγησης, το μοντέ λο βελτιστοποιήθηκε και η καθυστέρησ η και το κόστος του συστήματος μετρή θηκαν για διαφορετικά σενάρια φόρτου και συγκρίθηκαν με την προεπιλεγμέν η συμπεριφορά και με σχετικές έρευνε ς. Τα πειραματικά αποτελέσματα δείχν ουν σημαντική βελτίωση τόσο στο κόστ ος όσο και στην καθυστέρηση σε σχέση με την προεπιλεγμένη συμπεριφορά κα ι τις σχετικές έρευνες, διασφαλίζοντ ας παράλληλα τη συνέπεια του uptime. Πιο συγκεκριμένα τα πειραματικά απο τελέσματα εμφανίζουν ελάττωση της κα θυστέρησης του συστήματος έως και κα τά 80% και του κόστους λειτουργίας κ ατά 44%. Η χρήση ρεαλιστικών εφαρμογ ών σε ένα ετερογενές πολυ-συστοιχιακ ό περιβάλλον εξασφαλίζει την πρακτικ ότητα και τη συνάφεια της αξιολόγηση ς, επιβεβαιώνοντας την αποτελεσματικ ότητα του μοντέλου DynaQSP σε πραγμα τικές περιπτώσεις.\n Abstract \n Thi s thesis takes a deep dive into the space of Service Placement in Distri buted Multi-Clustered Cloud environm ents. This work aims to reduce the o perational cost of the system as wel l as the latency of using a Highly S calable Reinforcement Learning model . For this model, the system follows a hierarchical directed acyclic gra ph structure with multiple tiers. Th e First tier makes up the central co mputational and resource infrastruct ure providing the most potential for scaling. Intermediate tiers are loc ated physically closer to the outer- most tier meaning they have substant ially lower propagation delay, they are however lacking when compared to the Central tier regarding compute and scaling capabilities. The aforem entioned outside tier represents the final tier consisting of nodes with potentially low computational power and is the server through which cli ents connect to the system, whether that is IoT devices, smartphones, or any other potential consumer. All a pplications follow Micro-Service Arc hitectures, meaning they are compris ed of a multitude of (micro)services . This allows for moving these servi ces across the tiers as needed to ma ximize performance and minimize cost and latency. As described earlier t he inner-most tiers provide improved performance at the expense of incre ased latency. Therefore, moving thes e services to the intermediate or ev en the outer-most tier can be benefi cial both cost wise and in terms of latency if the gain of reduced laten cy and network I/O outweighs the los s stemming from multiple deployments across many tiers for the same serv ice. The proposed model: DynaQSP, ai ms to handle the placement and delet ion of deployments across each tier utilizing a dynamic Q Reinforcement Learning model while also appropriat ely managing the traffic flow after each change. To collect metric infor mation and manage functions and netw orking of applications a Service Mes h technology (Linkerd) will be utili zed. DynaQSP collects this informati on and uses it to train our Reinforc ement Learning model which in turn m akes decisions regarding the managem ent of all the services. Three reali stic microservices-based application s, Google’s “Online Boutique”, “Bank of Anthos” and “TeaStore”, were dep loyed in the previously described he terogeneous multicluster environment on the Google Cloud Platform with t he purpose of evaluating the effecti veness of the proposed model. After considerable implementation-testing- evaluation cycles the model was fine -tuned and the system latency and co st was measured for different load s cenarios and compared to default beh avior as well as related work. The e xperimental results demonstrate sign ificant improvement over both defaul t behavior and related work in terms of both reduced cost and latency wh ile ensuring uptime consistency. Mor e Specifically Latency has been redu ced by up to 80% and operational cos ts have been cut by as much as 44%. The employment of realistic applicat ions in a heterogeneous multicluster environment ensures practicality an d relevance to the evaluation, confi rming the efficacy of the DynaQSP mo del in real-world cases.\n Meeting I D: 613 764 0471\n Password: 582678\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20250219T110000 DTEND:20250219T120000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR