Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Ιωάννη Χριστοφιλογιάννη

με θέμα
Επιλογή Χαρακτηριστικών στο Περιβάλλον του Federated Machine Learning
Feature Selection in the Federated Machine Learning Setting

Εξεταστική Επιτροπή
Καθηγητής Σωτήριος Ιωαννίδης (επιβλέπων)
Καθηγητής Θρασύβουλος Σπυρόπουλος 
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς 

Περίληψη
Αυτή η διπλωματική εργασία παρουσιάζει δύο κύριες συνεισφορές για την προώθηση της έρευνας στην Ομοσπονδιακή Μάθηση (FL): Feature Election και το σύστημα FLEx. Το Feature Election είναι ένας νέος ομοσπονδιακός (federated) αλγόριθμος επιλογής χαρακτηριστικών που επιτρέπει στις παραδοσιακές μεθόδους επιλογής χαρακτηριστικών (FS) να λειτουργούν σε οριζόντια ομοσπονδιακά περιβάλλοντα χωρίς να αλλάζει η βασική τους λογική. Ο αλγόριθμος αξιοποιεί διανύσματα ψήφων που δημιουργούνται από τους πελάτες με βαθμολογίες προτίμησης, διατηρώντας παράλληλα το απόρρητο των δεδομένων, χρησιμοποιώντας μια παράμετρο βαθμού ελευθερίας που ελέγχει το πλήθος των χαρακτηριστικών που επιλέγονται. Η δεύτερη συνεισφορά, το FLEx (Federated Learning Exchange), είναι ένα ολοκληρωμένο σύστημα που συνδυάζει την απόδοση δικτύου της C++ με τις δυνατότητες μηχανικής μάθησης της Python με ενσωμάτωση μέσω της Cython, προστατευμένο από συμμετρική και από ασύμμετρη κρυπτογράφηση. Αυτό το σύστημα συγκρίνεται ευνοϊκά με ανταγωνιστικές λύσεις βάσει μετρικών αξιολόγησης από μια πρόσφατη έρευνα. Η πειραματική επικύρωση σε πέντε σύνολα δεδομένων χρησιμοποιώντας τρεις τύπους μοντέλων ML αποδεικνύει ότι αυτές οι συνεισφορές μειώνουν σημαντικά το κόστος της επικοινωνίας με μειώσεις μεγέθους παραμέτρων μοντέλου σε όλα τα πειράματα (έως 93,4%), διατηρώντας ή βελτιώνοντας την απόδοση του μοντέλου και μειώνοντας τον θόρυβο, την υπερπροσαρμογή και το υπολογιστικό κόστος. Η ενσωμάτωση του αλγορίθμου Feature Election με το σύστημα Flower πέτυχε μειώσεις μεγέθους μοντέλου έως 67,7%, ενώ τα πειράματα επαύξησης χαρακτηριστικών επιβεβαίωσαν την ανθεκτικότητα σε χώρους υψηλών διαστάσεων. Μαζί, το Feature Election και το FLEx καθιερώνουν ένα νέο παράδειγμα για δικτυακά αποδοτική ομοσπονδιακή μάθηση σε σενάρια περιορισμένου εύρους ζώνης με ευαίσθητα δεδομένα

Abstract 
This thesis presents two main contributions to advance research in Federated Learning (FL): Feature Election and the FLEx framework. Feature Election is a novel federated Feature Selection algorithm that enables conventional Feature Selection (FS) methods to operate in horizontal federated settings without altering their core logic. The algorithm leverages client-generated vote vectors with preference scores while preserving data privacy, using a freedom degree parameter to control selection granularity. The second contribution, FLEx (Federated Learning Exchange), is a comprehensive framework that combines C++’s network performance with Python’s machine learning capabilities through Cython integration, secured by both symmetric and asymmetric encryption. This framework compares favorably with competing solutions based on evaluation metrics from a recent survey. Experimental validation across five datasets using three Machine Learning (ML)model types demonstrates that these contributions significantly reduce communication overhead with model parameter size reductions across all experiments (up to 93.4%), while maintaining or improving model performance and reducing noise, overfitting and computational cost. Integration of the Feature Election algorithm with the Flower framework achieved model size reductions up to 67.7%, while feature augmentation experiments confirmed robustness in high-dimensional spaces. Feature Election in FLEx establishes a new paradigm for network-efficient FL in bandwidth-constrained scenarios where data privacy is paramount.