Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Αθανασίου Χριστόπουλου

με θέμα
Ομοσπονδιακή Βελτιστοποίηση Σμήνους Σωματιδίων (PSO) σε Μικροϋπηρεσίες Kafka Streams με χρήση DeepLearning4J
Federated Particle Swarm Optimization (PSO) on DeepLearning4J-powered Kafka Streams Microservices

Εξεταστική Επιτροπή
Επίκουρος Καθηγητής  Νικόλαος Γιατράκος (Επιβλέπων)
Καθηγητής Αντώνιος Δεληγιαννάκης
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς

Περίληψη
Η παρούσα διπλωματική εργασία παρουσιάζει ένα κατανεμημένο σύστημα για την εκπαίδευση νευρωνικών δικτύων με χρήση του αλγορίθμου Βελτιστοποίησης Σμήνους Σωματιδίων (Particle Swarm Optimization – PSO), ως εναλλακτική προσέγγιση στην μέθοδο η Στοχαστική Κατηφόρα Κλίση (Stochastic Gradient Descent – SGD). Το σύστημα υλοποιείται με χρήση των Apache Kafka και Kafka Streams, όπου οι εργαζόμενοι κόμβοι λειτουργούν ως ανεξάρτητα σωματίδια και επικοινωνούν ασύγχρονα μέσω Kafka, κάτι που επιτρέπει επίσης τη λειτουργία του σε ομοσπονδιακά (federated) περιβάλλοντα. Η προτεινόμενη αρχιτεκτονική είναι παραμετροποιήσιμη και επεκτάσιμη, υποστηρίζοντας διαφορετικές διαμορφώσεις του PSO, τρόπους επικοινωνίας και στρατηγικές εκπαίδευσης νευρωνικών δικτύων.
Σε αντίθεση με τις παραδοσιακές σύγχρονες υλοποιήσεις του PSO, το σύστημα λειτουργεί με ασύγχρονο τρόπο, επιτρέποντας στους εργαζόμενους κόμβους να ενημερώνουν τα μοντέλα τους ανεξάρτητα χωρίς καθολικό συγχρονισμό, γεγονός που βελτιώνει τον χρόνο εκπαίδευσης και την επεκτασιμότητα. Το σύστημα υποστηρίζει επίσης διαφορετικές στρατηγικές επικοινωνίας, συμπεριλαμβανομένης της καθολικής και της βασισμένης σε γειτονιές ανταλλαγής πληροφορίας, καθώς και μηχανισμούς φιλτραρίσματος επικοινωνίας, επιτρέποντας ευέλικτο έλεγχο της συμπεριφοράς του σμήνους.
Το σύστημα αξιολογήθηκε πειραματικά σε πολλαπλά σύνολα δεδομένων, με έμφαση τόσο στην ποιότητα πρόβλεψης όσο και στην απόδοση του συστήματος, συμπεριλαμβανομένου του χρόνου εκπαίδευσης και του επικοινωνιακού κόστους. Τα αποτελέσματα δείχνουν ότι η εκπαίδευση με PSO είναι εφικτή σε κατανεμημένα και ομοσπονδιακά περιβάλλοντα και ότι το προτεινόμενο σύστημα υποστηρίζει βελτιστοποίηση χωρίς παραγώγους και παράλληλη επεξεργασία, διατηρώντας παράλληλα ανταγωνιστική απόδοση.

Abstract 
This thesis presents a distributed system for training neural networks using Particle Swarm Optimization (PSO) as an alternative to conventional gradient-based methods, such as Stochastic Gradient Descent (SGD). It is implemented using Apache Kafka and Kafka Streams, where workers act as independent particles and communicate asynchronously through Kafka topics, which also enables operation in federated settings. The proposed architecture is configurable and extensible, supporting different PSO configurations, communication modes, and neural network training strategies.
Unlike traditional synchronous PSO implementations, the system operates in an asynchronous manner, allowing workers to update independently without global synchronization, which improves training time and scalability. The system also supports different communication strategies, including global, neighborhood-based information sharing and communication filtering, enabling flexible control over swarm behavior.
The system was evaluated experimentally on multiple datasets, with emphasis on both predictive quality and system performance, including training time and communication overhead. The results show that PSO training is feasible in distributed and federated settings and that the proposed system supports derivative-free and parallel optimization, while maintaining competitive performance.