BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20250606T081601Z LAST-MODIFIED:20250606T081601Z DTSTAMP:20260811T213043Z UID:1786473043@tuc.gr SUMMARY:Παρουσίαση Μεταπτυχιακής Εργασίας κ. Μιχαήλ Θεολογίτη - Σχολή ΗΜΜΥ LOCATION:Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-58 DESCRIPTION:https://www.ece.tuc.gr/el/katalogos- ekdiloseon?tx_tucevents2_tuceventsdi splay%5Baction%5D=show&tx_tucevents2 _tuceventsdisplay%5Bcontroller%5D=Ev ent&tx_tucevents2_tuceventsdisplay%5 Bevent%5D=7746&cHash=7f11241d9ad92d5 8788807ad05f8b4af\nΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗ Σ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\n Πρόγραμμα Μ εταπτυχιακών (Διδακτορικών) Σπουδών\ n ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ\ n ΜΙΧΑΗΛ ΘΕΟΛΟΓΙΤΗ\n με θέμα\n Αποτε λεσματικοί σε Επικοινωνία Αλγόριθμοι Βαθιάς Μάθησης μέσω Δυναμικού Μέσου Όρου\n Communication-Efficient Fede rated Deep Learning via Dynamic Aver aging\n Εξεταστική Επιτροπή\n Αναπλη ρωτής Καθηγητής Βασίλειος Σαμολαδάς (επιβλέπων)\n Καθηγητής Αντώνιος Δελ ηγιαννάκης\n Επίκουρος Καθηγητής Νικ όλαος Γιατράκος\n Περίληψη    \n Ο σ υνεχώς αυξανόμενος όγκος και η αποκε ντρωμένη φύση των δεδομένων έχουν οδ ηγήσει στην εκτεταμένη χρήση της κατ ανεμημένης βαθιάς μάθησης (DDL) και της Ομοσπονδιακής Μάθησης (FL), οι ο ποίες αντιμετωπίζουν δυσκολίες λόγω του υψηλού κόστους μετάδοσης μεγάλων μοντέλων. Οι πιο σύγχρονες τεχνικές συνήθως επιβάλλουν αυστηρά διαστήμα τα επικοινωνίας με αυθαίρετο και μη τεκμηριωμένο τρόπο. Επιπλέον, τα σύγ χρονα μοντέλα γλώσσας και όρασης αυξ άνονται ραγδαία σε μέγεθος. Αυτοί οι περιορισμοί καθιστούν αναγκαία μια πιο τεκμηριωμένη και προσαρμοστική π ροσέγγιση στον συγχρονισμό. Για να α ντιμετωπίσουμε αυτή την πρόκληση, πρ οτείνουμε τον αλγόριθμο Ομοσπονδιακο ύ Μέσου Όρου (FDA), μια αποδοτική σε επικοινωνία στρατηγική που πυροδοτε ί τον συγχρονισμό με βάση τις πραγμα τικές συνθήκες της εκπαίδευσης, παρα κολουθώντας τη διακύμανση των μοντέλ ων.  Τα πειράματά μας με γνωστά visi on models και tasks δείχνουν ότι το FDA μειώνει σημαντικά το κόστος επικ οινωνίας, διατηρώντας ταυτόχρονα υψη λή απόδοση σε συνθήκες με ετερογένει α. Με βάση αυτά τα αποτελέσματα, προ τείνουμε επίσης την οικογένεια αλγορ ίθμων FDA-Opt—μια ενοποιημένη γενίκε υση τόσο της FDA όσο και του ευρέως χρησιμοποιούμενου FedOpt—σχεδιασμένη να λειτουργεί κατευθείαν, χωρίς ανά γκη επιπλέον παραμετροποίησης. Τα πε ιράματά μας επικεντρώνονται στη βελτ ιστοποίηση προ-εκπαιδευμένων Γλωσσικ ών Μοντέλων (LM) σε tasks Natural La nguage Processing (NLP) τα οποία απο δεικνύουν ότι το FDA-Opt υπερτερεί τ ου FedOpt, ακόμη και όταν ο αλγόριθμ ός μας έχει ρυθμιστεί με hyper-param eters βελτιστοποιημένες για το τελευ ταίο. Αυτά τα αποτελέσματα καθιστούν το FDA-Opt μια καλύτερη, πρακτική κ αι άμεση εναλλακτική λύση του FedOpt για σύγχρονες FL βιβλιοθήκες και συ στήματα.\n Abstract    \n The ever-g rowing volume and decentralized natu re of data have led to the extensive use of distributed deep learning (D DL) and Federated Learning (FL), bot h of which struggle with the high co st of transmitting large models. Sta te-of-the-art techniques typically p rescribe rigid communication interva ls in arbitrary and non-principled w ays. To make matters worse, modern l anguage and vision models are rapidl y increasing in size. These limitati ons call for a more principled, adap tive approach to synchronization. To address this, we propose Federated Dynamic Averaging (FDA), a communica tion-efficient strategy that dynamic ally triggers synchronization based on real-time training dynamics by mo nitoring model variance. Our experim ents with well-established vision mo dels and tasks show that FDA signifi cantly reduces communication costs w hile maintaining robust performance across diverse heterogeneity setting s. Building on these insights, we al so introduce the FDA-Opt family of a lgorithms—a unified generalization o f both FDA and the widely used FedOp t—designed to work out of the box wi thout any calibration. Our experimen ts focus on fine-tuning pre-trained Language Models (LMs) to downstream NLP tasks and demonstrate that FDA-O pt consistently outperforms FedOpt, even when configured with hyper-para meters optimized for the latter. The se results establish FDA-Opt as a pr actical, drop-in replacement for Fed Opt in modern FL libraries and syste ms.\n Meeting ID: 821 3510 3994\n Pa ssword: 126761\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20250611T110000 DTEND:20250611T120000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR