Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Ιωάννη Πετρουλάκη

με θέμα

Ενισχυτική Μάθηση για Υπέρβαση Εμποδίων με χρήση Τρισδιάστατου Ανθρωποειδούς Μοντέλου
Reinforcement Learning for Obstacle Overcoming using a Three-Dimensional Humanoid Model

Εξεταστική Επιτροπή

Καθ. Μιχαήλ Γ. Λαγουδάκης (Επιβλέπων)
Καθ. Μιχαήλ Ζερβάκης
Καθ. Θρασύβουλος Σπυρόπουλος

Περίληψη

Στον χώρο της τεχνητής νοημοσύνης και της ρομποτικής, η δημιουργία πρακτόρων ικανών να υπερβαίνουν εμπόδια αποτελεσματικά αποτελεί σημαντική πρόκληση. H Ενισχυτική Μάθηση (Reinforcement Learning) έχει λάβει ιδιαίτερη προσοχή για την ικανότητά της να επιτρέπει στις μηχανές να μαθαίνουν και να προσαρμόζονται στο περιβάλλον τους μέσω της αλληλεπίδρασής τους με αυτό. Αυτό έχει οδηγήσει σε πρωτοποριακές εξελίξεις στον τομέα των αυτόνομων πρακτόρων. Η παρούσα διπλωματική εργασία εκκινεί ένα εγχείρημα να αξιοποιήσει τη δυναμική της Ενισχυτικής Μάθησης, εστιάζοντας στη δυνατότητα της υπέρβασης εμποδίων με χρήση ενός τρισδιάστατου ανθρωποειδούς μοντέλου, ξεκινώντας από ένα παράδειγμα μάθησης βαδίσματος. Χτίζοντας σε ένα ολοκληρωμένο υπόβαθρο, το οποίο περιλαμβάνει την πλατφόρμα Unity Game Development, την εργαλειοθήκη ML-agents, το περιβάλλον Anaconda για βέλτιστη διαχείριση εξαρτήσεων και τις θεμελιώδεις αρχές της Ενισχυτικής Μάθησης και του αλγορίθμου Proximal Policy Optimization (PPO), οι προϋποθέσεις είναι έτοιμες για μια βαθιά κατάδυση στις προκλήσεις της δημιουργίας ενός μοντέλου ικανού να υπερβαίνει εμπόδια. Μέσα από μια σειρά πειραμάτων, παρουσιάζονται οι ρυθμίσεις και η πρόοδος, μαζί με τη δημιουργία μιας συνάρτησης ανταμοιβής και του χώρου παρατηρήσεων για τους πράκτορές μας. Εισάγονται αλλαγές στο περιβάλλον για την αξιολόγηση της προσαρμοστικότητας και της ανθεκτικότητας του μοντέλου μας και οι υπερπαράμετροι του PPO ρυθμίζονται σχολαστικά για τη βελτιστοποίηση των αποτελεσμάτων. Η παρούσα εργασία ολοκληρώνεται με πολλά υποσχόμενα αποτελέσματα, παρουσιάζοντας τη δημιουργία ενός πλήρως λειτουργικού μοντέλου, προσαρμόσιμου σε διαφορετικά περιβάλλοντα. Επιπλέον, σκιαγραφεί μελλοντικές κατευθύνσεις για έρευνα και ανάπτυξη, με στόχο να ενισχύσει την ανάπτυξη ευφυών πρακτόρων ικανών να αντιμετωπίζουν δύσκολες προκλήσεις.

Abstract

In the realm of artificial intelligence and robotics, the creation of agents capable of effectively overcoming obstacles is a great challenge. Reinforcement Learning has received substantial attention for its capacity to empower machines to learn and adapt within their surroundings, through interaction with their environment. This has led to groundbreaking advancements in the domain of autonomous agents. This diploma thesis embarks on a journey to harness the potential of Reinforcement Learning, with a specific focus on enabling obstacle overcoming through the utilization of a Three-Dimensional Humanoid Model, commencing from a walking learning example. Building on a comprehensive background, encompassing Unity Game Development, the ML-agents toolkit, the Anaconda environment for streamlined dependency management, and the fundamental principles of Reinforcement Learning and the Proximal Policy Optimization (PPO) algorithm, the stage is set for a deep dive into the challenges of creating a model able to overcome obstacles. Through a series of experiments, the setup and progress are presented, along with the development of a reward function and the observation space for our agents. Changes in the environment are introduced to assess adaptability and resilience of our model, and PPO hyperparameters are meticulously tuned for best results. This thesis concludes with promising outcomes, showcasing the creation of a fully functional model, adaptable to diverse environments. Furthermore, it outlines future directions for research and development, aiming to further the quest for intelligent agents capable of undertaking difficult challenges.