Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Χρήστου Κοιλανίτη

με θέμα

Από Κοινού Βελτιστοποίηση Πολλαπλών Εξόδων και Μονάδων Απόφασης σε Κατανεμημένα Βαθιά Νευρωνικά Δίκτυα
Joint Optimization of Online and Offline Decision Modules in Distributed Deep Neural Networks

Εξεταστική Επιτροπή

Καθηγητής Θρασύβουλος Σπυρόπουλος (επιβλέπων)
Καθηγητής Διονύσιος Χριστόπουλος
Αναπληρωτής Καθηγητής Ευάγγελος Καλογεράκης

Περίληψη

Η διπλωματική εργασία μελετά τη συνδυασμένη βελτιστοποίηση μοντέλων πρόβλεψης και μονάδων απόφασης σε κατανεμημένα συστήματα βαθιάς μάθησης. Για την πρόβλεψη πολυμεταβλητών χρονοσειρών χρησιμοποιούνται ένα μικρό τοπικό νευρωνικό δίκτυο και ένα απομακρυσμένο δίκτυο μεγαλύτερης χωρητικότητας. Μια μονάδα δρομολόγησης επιλέγει ποιο μοντέλο παρέχει κάθε πρόβλεψη, με στόχο την ελαχιστοποίηση ενός κριτηρίου που συνδυάζει το σφάλμα πρόβλεψης με μια προκαθορισμένη ποινή απομακρυσμένης εκτέλεσης.
Αρχικά εξετάζονται η κοινή εκπαίδευση και η τάση της δρομολόγησης να συγκεντρώνεται σε μία διαδρομή. Ακολουθεί μια διαχωρισμένη διαδικασία μάθησης, όπου η μονάδα απόφασης εκτιμά το αναμενόμενο πλεονέκτημα του απομακρυσμένου μοντέλου από πληροφορίες διαθέσιμες τη στιγμή της πρόβλεψης. Αναπτύσσεται επίσης επαναληπτική προσαρμογή του απομακρυσμένου μοντέλου και της μονάδας δρομολόγησης, με σταθερό το τοπικό μοντέλο και περιορισμούς στις αλλαγές της συμπεριφοράς τους. Μελετώνται παραλλαγές με συνελικτικά νευρωνικά δίκτυα και παλινδρόμηση Ridge.

Abstract 

This diploma thesis investigates the coordinated optimization of forecasting models and decision modules in distributed deep learning systems. Multivariate time-series forecasting is formulated using a small local neural network and a larger remote network. A routing module selects which model supplies each forecast, aiming to minimize an objective that combines prediction error with a predefined penalty for remote execution.
The study first examines joint training and the tendency of routing to concentrate on a single execution path. It then develops a decoupled learning procedure in which the decision module estimates the expected advantage of the remote model using information available at prediction time. An iterative adaptation procedure updates the remote model and the router while keeping the local model fixed and constraining changes in their behavior. Variants based on convolutional neural networks and Ridge regression are investigated.