BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20260831T110926Z LAST-MODIFIED:20260831T110926Z DTSTAMP:20260909T133707Z UID:1788950227@tuc.gr SUMMARY:Παρουσίαση διπλωματικής εργασίας κας Δάφνης Παπαδάκη - Σχολή ΗΜΜΥ LOCATION: DESCRIPTION:https://www.ece.tuc.gr/el/katalogos- ekdiloseon?tx_tucevents2_tuceventsdi splay%5Baction%5D=show&tx_tucevents2 _tuceventsdisplay%5Bcontroller%5D=Ev ent&tx_tucevents2_tuceventsdisplay%5 Bevent%5D=8651&cHash=51ec703ca8d6b94 0350e77b9bac937f1\nΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗ Σ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\n Πρόγραμμα Π ροπτυχιακών Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΔΙΠ ΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ\n Δάφνης Παπαδάκη \n με θέμα\n Σύγκριση Τεχνικών Ομοσπ ονδιακής Μάθησης στο PyTorch\n A Com parison of Federated Learning Techni ques at PyTorch\n Εξεταστική Επιτροπ ή\n Καθηγητής Αντώνιος  Δεληγιαννάκη ς (επιβλέπων, ΗΜΜΥ)\n Αναπληρωτής Κα θηγητής Βασίλειος Σαμολαδάς (ΗΜΜΥ)\n Καθηγητής Μίνως Γαροφαλάκης  (ΗΜΜΥ) \n Περίληψη\n Παραδοσιακά, στο Machi ne Learning, όλα τα raw data των cli ents στέλνονται σε έναν κεντρικό ser ver με σκοπό την εκπαίδευση του μοντ έλου. Η μεταφορά των δεδομένων των π ελατών σε έναν server δεν είναι μόνο ακριβή από άποψη επικοινωνίας, αλλά δημιουργεί επίσης σοβαρούς κινδύνου ς για την ιδιωτικότητα και την ασφάλ εια. Το πρόβλημα αυτό είναι ιδιαίτερ α σημαντικό σε τομείς όπως η υγεία, τα χρηματοοικονομικά και οι φορητές συσκευές. Η Ομοσπονδιακή Μάθηση (Fed erated Learning) αντιμετωπίζει αυτό το πρόβλημα και διασφαλίζει ότι τα π ροσωπικά και ευαίσθητα δεδομένα παρα μένουν στη συσκευή κάθε πελάτη. Αντί να στέλνονται τα raw data, οι clien ts συνεργάζονται για την εκπαίδευση ενός κοινού μοντέλου, αποστέλλοντας στον server μόνο τις παραμέτρους του μοντέλου ή άλλες απαραίτητες πληροφ ορίες απαραίτητες για τον αλγόριθμο. Με αυτόν τον τρόπο, η Ομοσπονδιακή Μάθηση επιτρέπει την αποκεντρωμένη ε κπαίδευση μοντέλων, μειώνοντας παράλ ληλα το επικοινωνιακό κόστος και προ στατεύοντας την ιδιωτικότητα των δεδ ομένων.\n Ωστόσο, το πλαίσιο αυτό ει σάγει ορισμένες βασικές προκλήσεις, όπως η ετερογένεια των δεδομένων μετ αξύ των πελατών, οι διαφορές στο har dware των συσκευών τους, οι ασταθείς συνδέσεις δικτύου και τα διαφορετικ ά επίπεδα συμμετοχής των πελατών. Έχ ει προταθεί ένα ευρύ φάσμα αλγορίθμω ν, καθένας από τους οποίους στοχεύει στην αντιμετώπιση διαφορετικών προκ λήσεων. Ωστόσο, έχει αποδειχθεί δύσκ ολο να προσδιοριστεί ποια μέθοδος εί ναι η βέλτιστη, καθώς οι υπάρχοντες αλγόριθμοι συχνά αξιολογούνται κάτω από διαφορετικές πειραματικές συνθήκ ες και με διαφορετικούς στόχους. Για τον λόγο αυτό, είναι απαραίτητη η δ ημιουργία ενός κοινού πειραματικού π λαισίου για τη σύγκριση αυτών των με θόδων, ώστε να μπορούν να εξαχθούν α ντικειμενικά και αξιόπιστα συμπεράσμ ατα σχετικά με την απόδοσή τους.\n Η παρούσα διπλωματική εργασία αξιολογ εί διάφορους αλγορίθμους βελτιστοποί ησης Ομοσπονδιακής Μάθησης κάτω από διαφορετικά σενάρια. Οι μέθοδοι που μελετώνται είναι οι FedAvg, FedProx, SCAFFOLD, FedAdam και FDA-OPT. Όλες οι μέθοδοι υλοποιούνται σε Python κ αι αξιολογούνται σε τρία datasets, τ α MNIST, EMNIST και CIFAR-10, και σε τέσσερις αρχιτεκτονικές μοντέλων: L ogistic Regression, LeNet-5, CNN και ResNet-18. Το performance αξιολογεί ται με βάση τρια metrics: τον αριθμό γύρων επικοινωνίας, τον χρόνο εκπαί δευσης και το επικοινωνιακό κόστος π ου απαιτείται για την επίτευξη μιας επιθυμητής ακρίβειας.\n Τα αποτελέσμ ατα δεν αναδεικνύουν μία συγκεκριμέν η μέθοδο ως ανώτερη από τις υπόλοιπε ς και στα τρια metrics. Ο FDA-OPT επ ιτυγχάνει γενικά το χαμηλότερο επικο ινωνιακό κόστος, ενώ ο FedAdam συγκλ ίνει ταχύτερα ως προς τον χρόνο εκπα ίδευσης. Ο SCAFFOLD, παρά τις ισχυρέ ς θεωρητικές του εγγυήσεις, δυσκολεύ εται να επιτύχει υψηλές τιμές ακρίβε ιας και συνοδεύεται από σημαντική επ ικοινωνιακή επιβάρυνση. Ο FedProx πε ριορίζει το φαινόμενο client drift σ ε ορισμένες περιπτώσεις, ενώ σε άλλε ς παρουσιάζει παρόμοια απόδοση με το ν FedAvg. Συνολικά, τα αποτελέσματα δείχνουν ότι η Ομοσπονδιακή Μάθηση π εριλαμβάνει έναν συμβιβασμό μεταξύ τ αχύτητας, σταθερότητας και επικοινων ιακής αποδοτικότητας.\n Abstract \n Traditionally in machine learning al l the raw data from the clients is s ent to a central server in order to train the model. Transferring the cl ients’ data to a server is not only expensive communication-wise, but it also creates serious privacy and se curity risks. This problem is especi ally important in sectors such as he althcare, finance, and mobile comput ing. Federated Learning (FL) address es this problem and ensures that per sonal and sensitive data remain on e ach client’s device. Instead of shar ing the raw data, clients collaborat ively train a global model by sendin g only model parameters, or other ne cessary optimization information, to the server. That way, Federated Lea rning enables decentralized model tr aining while reducing communication overhead and preserving data privacy . However, this framework introduces some key challenges, such as data h eterogeneity across clients, differe nce in hardware on clients’ devices, unstable network connection and var ying levels of client participation. A wide range of algorithms has been proposed, each aiming to address th e different challenges and improve t he optimization process. It has prov ed difficult to determine which meth od is the most optimal, since existi ng algorithms are often evaluated un der different experimental settings, with different targets each time. F or this reason, it’s necessary to cr eate a common experimental framework and compare the popular methods. Th at way, objective and reliable concl usions about their performance can b e drawn. This thesis evaluates sever al federated optimization algorithms under different scenarios. The meth ods studied include FedAvg, FedProx, SCAFFOLD, FedAdam and FDA-OPT. All methods are implemented in Python an d are evaluated across 3 datasets (M NIST and EMNIST, CIFAR-10) and 4 mod el architectures (Logistic Regressio n, LeNet-5, and a custom CNN, ResNET -18). The performance is assessed un der 3 metrics: communication rounds, training time, and communication co st that was required to reach a targ et accuracy. The results do not sing le out one specific method as consis tently superior to the rest across a ll three metrics. FDA-OPT achieves g enerally the lowest communication co st , while FedAdam converges fastest in terms of training time. SCAFFOLD , in spite of its strong theoretical guarantees, struggles to reach the high accuracies and introduces signi ficant communication overhead. FedPr ox alleviates client drift in some c ases, while in others has identical perfomance with FedAvg. Overall, the se findings showcase that Federated Learning involves a trade-off betwee n speed, stability, and communicatio n efficiency.\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20260903T110000 DTEND:20260903T120000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR