BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20251114T112024Z LAST-MODIFIED:20251114T112024Z DTSTAMP:20260515T015850Z UID:1778799530@tuc.gr SUMMARY:Παρουσίαση Διδακτορικής Διατριβής κ. Ιάσονα Χρυσομάλλη - Σχολή ΗΜΜΥ LOCATION:Λ - Κτίριο Επιστημών/ΗΜΜΥ, 141Π-36,1 41Π-37 DESCRIPTION:https://www.ece.tuc.gr/el/katalogos- ekdiloseon?tx_tucevents2_tuceventsdi splay%5Baction%5D=show&tx_tucevents2 _tuceventsdisplay%5Bcontroller%5D=Ev ent&tx_tucevents2_tuceventsdisplay%5 Bevent%5D=8180&cHash=50739bb2d21ca70 035db8fc3772646f0\nΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗ Σ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\n Πρόγραμμα Δ ιδακτορικών Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΔΙΔ ΑΚΤΟΡΙΚΗΣ ΔΙΑΤΡΙΒΗΣ\n Ιάσονα Χρυσομά λλη\n με θέμα\n Βαθιά Ενισχυτική Μάθ ηση με Έμμεση Μίμηση\n Deep Implicit Imitation Reinforcement Learning\n Εξεταστική Επιτροπή\n Καθηγητής Γεώρ γιος Χαλκιαδάκης (Επιβλέπων)\n Καθηγ ητής Μιχαήλ Λαγουδάκης \n Καθηγητής Θρασύβουλος Σπυρόπουλος \n Καθηγητής Ιωάννης Παπαμιχαήλ\n Ομότιμος Καθηγ ητής Μάρκος Παπαγεωργίου\n Καθηγητής Γεώργιος Βούρος (Πανεπιστήμιο Πειρα ιά)\n Associate Professor Alberto Ca stellini (University of Verona, Ital y)\n Περίληψη\n Η μάθηση μέσω μίμηση ς επιτρέπει στους πράκτορες να αποκτ ούν σύνθετες συμπεριφορές μαθαίνοντα ς από επιδείξεις ειδικών/εμπειρογνωμ όνων, προσφέροντας μια εναλλακτική λ ύση στην ενισχυτική μάθηση που στηρί ζεται στην εξαντλητική (trial and er ror) μέθοδο. Ωστόσο, οι συμβατικές π ροσεγγίσεις μάθησης μέσω μίμησης αντ ιμετωπίζουν κρίσιμους πρακτικούς περ ιορισμούς που περιορίζουν την εφαρμο γή τους στον πραγματικό κόσμο. Τέτοι οι περιορισμοί είναι: η απαίτηση για πλήρεις επιδείξεις κατάστασης με ρη τές ετικέτες ενεργειών· η υπόθεση ότ ι οι επιδείξεις των εμπειρογνωμόνων αντιπροσωπεύουν βέλτιστη συμπεριφορά · και η υπόθεση της ομοιογένειας των ενεργειών μεταξύ εμπειρογνώμονα και εκπαιδευόμενου πράκτορα. Οι περιορι σμοί αυτοί δημιουργούν σημαντικά εμπ όδια για την μάθηση μέσω μίμησης σε σενάρια στα οποία: η καταγραφή ενεργ ειών είναι τεχνικά ανέφικτη· απαιτεί ται η διασφάλιση του απορρήτου των ε νεργειών ή η εκμάθηση μέσω μίμησης ε νεργειών είναι υπερβολικά δαπανηρή· είναι γνωστό ότι εμπειρογνώμονας δεν επιδεικνύει βέλτιστη συμπεριφορά, ή στα οποία η βέλτιστη απόδοση είναι απροσδιόριστη ή πιθανότατα ανέφικτη· και στα οποία ο εμπειρογνώμονας και ο εκπαιδευόμενος πράκτορας διαθέτου ν θεμελιωδώς διαφορετικές δυνατότητε ς ενεργειών. \n Με τα παραπάνω ως δε δομένα, η παρούσα διδακτορική διατρι βή εισάγει ένα καινοτόμο πλαίσιο βαθ ιάς ενισχυτικής μάθησης μέσω έμμεσης μίμησης που αντιμετωπίζει αυτούς το υς περιορισμούς. Συγκεκριμένα, το πρ οτεινόμενο πλαίσιο επιτρέπει στους π ράκτορες να μαθαίνουν από σύνολα δεδ ομένων εμπειρογνωμόνων που είναι πιθ ανώς υποβέλτιστα και τα οποία βασίζο νται μόνο σε παρατηρήσεις καταστάσεω ν και όχι μέσω άμεσης διδασκαλίας ή παρατηρήσεων ενεργειών, ενώ παράλληλ α επιτρέπει στους πράκτορες να ξεπερ νούν την απόδοση του εμπειρογνώμονα μαθαίνοντας μέσω της συνεχούς τους α λληλεπίδρασης με το περιβάλλον. \n Σ την διατριβή μας προτείνονται ως μέρ ος του πλαισίου δύο νέοι αλγόριθμοι ενισχυτικής μάθησης: ο αλγόριθμος De ep Implicit Imitation Q-Network (DII QN) για χρήση σε ομοιογενείς χώρους ενεργειών, και ο αλγόριθμος Heteroge neous Actions DIIQN (HA-DIIQN) για χ ρήση σε σενάρια όπου ο εμπειρογνώμον ας και ο εκπαιδευόμενος διαθέτουν θε μελιωδώς διαφορετικές δυνατότητες εν εργειών. \n Ο αλγόριθμος DIIQN επεκτ είνει την κλασσική μέθοδο βαθιάς ενι σχυτικής μάθησης Deep Q-Network (DQN ) με μηχανισμούς για την ανακατασκευ ή των ενεργειών του εμπειρογνώμονα α πό παρατηρήσεις, τον εντοπισμό των π λέον σχετικών επιδείξεων εμπειρογνωμ όνων, και τη δυναμική στάθμιση της κ αθοδήγησης από τον εμπειρογνώμονα έν αντι της αυτόνομης μάθησης σε όλη τη διάρκεια της εκπαίδευσης. \n Η μέθο δος HA-DIIQN από την άλλη, επεκτείνε ι τον αλγόριθμο DIIQN ώστε να μπορεί να λειτουργεί αποτελεσματικά σε ετε ρογενείς χώρους ενεργειών στους οποί ους ο εμπειρογνώμονας και ο εκπαιδευ όμενος διαθέτουν διαφορετικές δυνατό τητες ενεργειών, σε σενάρια δηλαδή ό που η άμεση αναπαραγωγή των επιδείξε ων εμπειρογνωμόνων είναι αδύνατη. Μέ σω καινοτόμων διαδικασιών εντοπισμού μη εφικτότητας και “ανακάλυψης γεφυ ρών” που προτείνουμε, ο αλγόριθμος H A-DIIQN ανακαλύπτει εναλλακτικά εφικ τά μονοπάτια που συνδέουν τις δυνατό τητες του πράκτορα με τις κατευθύνσε ις του εμπειρογνώμονα. ΄Ετσι, ο HA-D IIQN επιτρέπει τη μεταφορά γνώσης με ταξύ πρακτόρων με διαφορετικά συστήμ ατα ελέγχου, παρέχοντας τη δυνατότητ α διαχείρισης καταστάσεων στις οποίε ς οι συμβατικές μέθοδοι μάθησης μέσω μίμησης αποτυγχάνουν. \n Μια βασική καινοτομία του προτεινόμενου στη δι ατριβή μας πλαισίου μας είναι ένας κ αινοτόμος μηχανισμός εμπιστοσύνης πο υ προσαρμοστικά καθορίζει πότε ο εκπ αιδευόμενος πρέπει να ακολουθεί την καθοδήγηση του εμπειρογνώμονα και πό τε να βασίζεται σε εν δυνάμει χρησιμ ότερες ανακαλύψεις του ίδιου του πρά κτορα, επιτρέποντας στο πλαίσιο να ε πιταχύνει την αρχική μάθηση διατηρών τας παράλληλα την αυτόνομη βελτίωση πέρα από τους περιορισμούς του εμπει ρογνώμονα. \n Εν συντομία, οι κύριες συνεισφορές της παρούσας διατριβής είναι οι ακόλουθες: (α) προτείνουμε το πρώτο model-free πλαίσιο βαθιάς ε νισχυτικής μάθησης για έμμεση μάθηση μέσω μίμησης, (β) αξιοποιούμε το πλ αίσιο αυτό για να επιταχύνουμε σημαν τικά την εκπαίδευση DRL αλγορίθμων, (γ) εισάγουμε δύο νέους αλγόριθμους DRL που επιτρέπουν τη μάθηση μέσω έμ μεσης μίμησης από υποβέλτιστους εμπε ιρογνώμονες, με τη δυνατότητα να του ς υπερβαίνουν σε απόδοση, (δ) για πρ ώτη φορά στη βιβλιογραφία, ένας από τους αλγορίθμους μας επιτρέπει μεταφ ορά γνώσης μεταξύ ενός εμπειρογνώμον α και ενός εκπαιδευόμενου πράκτορα π ου διαθέτουν διαφορετικά σύνολα ενερ γειών, δηλαδή λειτουργούν σε ετερογε νείς χώρους ενεργειών, και (ε) δεικν ύουμε πειραματικά την αποτελεσματικό τητα του πλαισίου μας τόσο σε κλασικ ά περιβάλλοντα DRL, όσο και στο απαι τητικό πεδίο της αυτόνομης οδήγησης σε αυτοκινητόδρομους χωρίς λωρίδες κ υκλοφορίας. Αξίζει να σημειωθεί ότι η εργασία μας αποτελεί ουσιαστικά το πρώτο πλαίσιο βαθιάς ενισχυτικής μά θησης για μάθηση μέσω έμμεσης μίμηση ς. \n Πέρα από τη βασική καινοτομία, η παρούσα διατριβή συμβάλλει επίσης με μια νέα ταξινομία των μεθόδων μη χανικής μάθησης μέσω μίμησης, η οποί α διαχωρίζει και οργανώνει το πεδίο σε τρεις κύριες κατηγορίες μεθόδων: άμεσης μίμησης, έμμεσης μίμησης, και αντίστροφης ενισχυτικής μάθησης. Η ταξινομία αυτή προσφέρει μια σαφή κα ι δομημένη εικόνα για το πώς οι διαφ ορετικές προσεγγίσεις μηχανικής μάθη σης μέσω μίμησης -και ειδικότερα οι πλέον σύγχρονες, αυτές που προτάθηκα ν κατά την τελευταία δεκαετία- σχετί ζονται μεταξύ τους. \n Εκτελούμε ολο κληρωμένα πειράματα σε διάφορα περιβ άλλοντα: παιγνίων (MinAtar suite), π λοήγησης (2D Maze, Point Maze), και αυτόνομων συστημάτων οδήγησης (lane- free traffic). Τα πειραματικά μας απ οτελέσματα υποδεικνύουν πως το DIIQN παρουσιάζει βελτιώση έως 136% όσον αφορά επεισοδιακές αμοιβές και μειώσ η έως 67% στο χρόνο εκπαίδευσης σε σ ύγκριση με το τυπικό Deep Q-Network, ενώ παράλληλα ξεπερνά σε απόδοση αμ οιβών καθιερωμένες μεθόδους έμμεσης μάθησης μέσω μίμησης (BCO, GAIfO, OR IL). Οι τελευταίες δεικνύεται ότι δε ν μπορούν να ξεπεράσουν την απόδοση υποβέλτιστων εμπειρογνωμόνων—σε αντί θεση με τη μέθοδό μας, η οποία επιτυ γχάνει κάτι τέτοιο συστηματικά. \n Π αράλληλα, κατά τον πειραματισμό μας σε ετερογενή περιβάλλοντα ενεργειών, τα αποτελέσματά μας δείχνουν πως ο αλγόριθμος HA-DIIQN αξιοποιεί με επι τυχία (ετερογενή) σύνολα δεδομένων ε μπειρογνωμόνων που οι συμβατικές προ σεγγίσεις αδυνατούν να αξιοποιήσουν. Πιο συγκεκριμένα, το HA-DIIQN επιτυ γχάνει έως 64% ταχύτερη σύγκλιση στη βέλτιστη πολιτική σε σύγκριση με το τυπικό DQN, και έως 52% ταχύτερη σύ γκλιση σε σχέση με το τυπικό DIIQN σ ε σενάρια με διαφορετικούς βαθμούς ε τερογένειας του χώρου ενεργειών, ετε ρογένεια ενεργειών εκτεινόμενη από μ ερική επικάλυψη έως πλήρη ασυμβατότη τα. \n Επιπροσθέτως, διεκπεραιώσαμε μια διεξοδική ανάλυση ευαισθησίας πα ραμέτρων, η οποία επικυρώνει τη σταθ ερότητα και ευρωστία της προσέγγισής μας. Πιο συγκεκριμένα, επιβεβαιώνει ότι ο δυναμικός μηχανισμός εμπιστοσ ύνης μειώνει σημαντικά τη διακύμανση της εκπαίδευσης. Επίσης, η ανάλυση μας επιτρέπει να προτείνουμε συγκεκρ ιμένες διαμορφώσεις τιμών υπερπαραμέ τρων (οι οποίες αφορούν διαφορετικά μεγέθη συνόλων δεδομένων, όρια εμπισ τοσύνης, και όρια που καθορίζουν τον απαιτούμενο βαθμό ομοιότητας μεταξύ των καταστάσεων του εμπειρογνώμονα και του εκπαιδευόμενου πράκτορα). \n Οι πρακτικές συνέπειες της παρούσας διδακτορικής διατριβής είναι αξιόλο γες. Αφενός, το προτεινόμενο πλαίσιο μας δεν απαιτεί ετικέτες ενεργειών από εμπειρογνώμονες, σε αντίθεση με τις περισσότερες παραδοσιακές μεθόδο υς μάθησης μέσω μίμησης. Αυτό συμβάλ λει στη “βιωσιμότητα” της μάθησης μέ σω μίμησης ως προσέγγιση μάθησης για σενάρια που περιλαμβάνουν ασαφή ή ε πιρρεπή σε σφάλματα ανθρώπινη παρατή ρηση, εφαρμογές που απαιτούν συμμόρφ ωση με περιορισμούς απορρήτου, ή περ ιπτώσεις κατά τις οποίες οι διαθέσιμ οι για μάθηση πόροι είναι περιορισμέ νοι. \n Επιπλέον, το πλαίσιό μας προ σφέρει την ικανότητα στον εκπαιδευόμ ενο να μαθαίνει από αλλά και να ξεπε ρνά σε απόδοση υποβέλτιστους εμπειρο γνώμονες, μέσω της αξιοποίησης άμεσα διαθέσιμων επιδείξεων από ικανούς α λλά όχι τέλειους εμπειρογνώμονες αντ ί να απαιτείται δαπανηρή επαλήθευση μέσω βέλτιστων εμπειρογνωμόνων. Παρά λληλα, η δυνατότητα χρήσης σε ετερογ ενείς χώρους ενεργειών επιτρέπει: τη μεταφορά γνώσης μεταξύ διαφορετικών πλατφορμών· τις μεταβάσεις από προσ ομοίωση σε πραγματικότητα· καθώς και αλλαγές στις δυνατότητες ενός συστή ματος χωρίς να απαιτείται νέα συλλογ ή δεδομένων. Τέλος, η σημαντική μείω ση του χρόνου εκπαίδευσης που παρατη ρείται στα πειράματά μας, μπορεί να μεταφραστεί άμεσα σε μειωμένο υπολογ ιστικό κόστος, σε ταχύτερους κύκλους ανάπτυξης, καθώς και σε βελτιωμένη δυνατότητα υλοποίησης για εφαρμογές στον πραγματικό κόσμο οι οποίες δεν μπορούν να καταφύγουν στη χρήση μακρ οχρόνιων (ή ενδεχομένως επικίνδυνων) διαδικασιών εξερεύνησης κατά τη μάθ ηση. \n Εν τέλει, ο εμπειρογνώμονας που είναι ο πλέον πολύτιμος δεν είνα ι ο βέλτιστος, αλλά ο πλέον προσιτός · και το καινοτόμο πλαίσιο βαθιάς εν ισχυτικής μάθησης μέσω έμμεσης μίμησ ης το οποίο προτείνουμε, καθιστά επι τέλους την τεχνογνωσία ενός εμπειρογ νώμονα πραγματικά προσιτή και άρα πο λύτιμη.\n Abstract\n Imitation learn ing (IL) enables agents to acquire c omplex behaviours by learning from e xpert demonstrations, offering a com pelling alternative to pure trial-an d-error reinforcement learning. Howe ver, conventional imitation learning approaches face critical practical limitations that restrict their real -world applicability: the requiremen t for complete state-action demonstr ations with explicit action labels; the assumption that expert demonstra tions represent optimal behaviour; a nd the assumption of homogeneous exp ert and trainee agent action spaces. These constraints create substantia l barriers in scenarios where action recording is technically infeasible , privacy-sensitive, or prohibitivel y expensive; where the expert is kno wn to be suboptimal, or optimal perf ormance is undefined or potentially unattainable; and where an expert ag ent and a trainee agent possess fund amentally different action capabilit ies.\n Against this background, this thesis puts forward a novel deep im plicit imitation reinforcement learn ing framework that fundamentally add resses these limitations. Specifical ly, our framework enables agents to learn from state observations-only, suboptimal expert datasets, while po ssessing the capacity to surpass exp ert performance through continuous e nvironmental interaction.\n Our fram ework gives rise to two novel deep r einforcement learning (DRL) algorith ms: Deep Implicit Imitation Q-Networ k (DIIQN) for homogeneous action spa ces, and Heterogeneous Actions DIIQN (HA-DIIQN) for scenarios where expe rt and agent possess fundamentally d ifferent action capabilities.  DIIQN extends the classic Deep Q-Network (DQN) algorithm with mechanisms for reconstructing expert actions from o bservations, identifying relevant ex pert demonstrations, and dynamically weighing expert guidance against se lf-directed learning throughout trai ning.\n HA-DIIQN builds on DIIQN to tackle heterogeneous action settings , in which expert and agent possess different action sets—that is, to ad dress scenarios where direct replica tion of expert demonstrations is imp ossible. Employing infeasibility ide ntification and so-called “bridge di scovery” procedures that we introduc e, HA-DIIQN manages to identify alte rnative feasible pathways that effec tively align agent capabilities to e xpert state trajectories. Thus, HA-D IIQN enables knowledge transfer acro ss agents with different control sch emes, allowing them to cope in situa tions in which conventional imitatio n learning methods fail entirely. A key component of our framework is a novel confidence mechanism that is u sed by both our algorithms to adapti vely determine when to follow expert guidance and when to rely on the ag ent’s own superior discoveries, enab ling the framework to accelerate ini tial learning while preserving auton omous improvement beyond expert limi tations.  \n In a nutshell, our main contributions in this thesis are th e following: (a) we put forward the first model-free DRL framework for i mplicit imitation learning; (b) we e mploy this framework to substantiall y accelerate the training of DRL met hods; (c) we introduce two novel DRL algorithms that enable implicit imi tation learning from suboptimal expe rts with the ability to surpass them ; (d) interestingly, for the first t ime in the literature, one of our al gorithms allows for knowledge transf er between and expert and a trainee agent that possess different action sets—i.e., operate in heterogeneous action spaces; and (e) we demonstrat e our framework’s effectiveness in b oth classic DRL environments, and in the challenging autonomous driving in lane-free traffic domain. We note that ours is effectively the first deep reinforcement learning framewor k for implicit imitation learning.\n Beyond methodological innovation, t his thesis also contributes a novel taxonomy of imitation learning metho ds that organizes the field into thr ee overarching paradigms: explicit i mitation, implicit imitation, and in verse reinforcement learning. This t axonomy offers a clear and structure d view of how different IL approache s, and in particular modern IL appro aches that have appeared in the past decade, relate to one another. \n W e conduct a comprehensive experiment al evaluation of our algorithms acro ss diverse environments spanning gam e-playing (MinAtar suite), navigatio n (2D Maze, Point Maze), and autonom ous driving (lane-free traffic). Our results indicate that DIIQN demonst rates up to 136% improvement in epis odic returns, and up to 67% reductio n in training time compared to stand ard Deep Q-Network (DQN), while cons istently surpassing in terms of rewa rd-gathering performance established implicit imitation learning methods (BCO, GAIfO, and ORIL). The latter are shown to not be able to exceed t he performance of suboptimal experts , in contrast to our method which do es so consistently. \n At the same t ime, when operating in heterogeneous action settings, our results demons trate that HA-DIIQN agents are able to successfully leverage (heterogene ous) expert datasets that are by and large of no worth to conventional i mitation learning approaches. In par ticular, HA-DIIQN is shown to achiev e up to 64% faster convergence to th e optimal policy compared to standar d DQN, and up to 52% faster converge nce relative to standard DIIQN—acros s scenarios with varying degrees of action space heterogeneity, ranging from partial action sets overlap to exclusive actions sets disjunction.  \n Moreover, we conduct a thorough p arameter sensitivity analysis that v alidates the stability and robustnes s of our approach. In particular, ou r analysis confirms that our dynamic confidence mechanism substantially reduces training variance Additional ly, our analysis allows us to provid e specific recommendations for appro priate hyperparameter configurations (regarding different expert data si zes, confidence thresholds, and thre sholds determining the required simi larity between states in the expert and trainee agent trajectories). \n The practical implications of our Ph D work are substantial. On the one h and, our framework does not require expert action labeling, unlike most traditional (“explicit’) imitation l earning methods. This contributes to the “viability” of imitation learni ng as a learning paradigm for scenar ios involving imprecise or error-pro ne human observation, or for applica tions that require the adherence to privacy requirements or to resource- limited budgets. \n In addition, our framework offers the ability to lea rn from and surpass suboptimal exper ts, via leveraging readily available demonstrations from competent but i mperfect demonstrators rather than r equiring (the potentially expensive) verification by optimal experts. Mo reover, the ability of our framework to tackle heterogeneous action spac es, creates the potential for cross- platform knowledge transfer across d istinct hardware generations; for si mulation-to-reality transitions; and for evolving system capabilities wi thout requiring new dataset collecti on. Finally, the training time reduc tions demonstrated in our results, i ndicate the potential for reduced co mputational costs, faster deployment cycles, and improved feasibility fo r real-world applications that canno t afford the luxury of lengthy (or p otentially dangerous) exploration pr ocesses. \n In the end, the most val uable expert is not the optimal one, but the accessible one; and our nov el deep implicit imitation reinforce ment learning framework finally make s that expertise accessible and thus worth distilling from.\n Meeting ID : 960 9596 1272\n Password: 996484\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20251202T153000 DTEND:20251202T170000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR