Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Δημήτρη Ηλία

με θέμα

Μάθηση για Ανεβοκατέβασμα σε Σκάλες με το Ανθρωποειδές Ρομπότ Unitree G1

Learning to Walk Up and Down Stairs with the Unitree G1 Humanoid Robot

Εξεταστική Επιτροπή

Καθηγητής Μιχαήλ Γ. Λαγουδάκης (Σχολή ΗΜΜΥ, Επιβλέπων)
Καθηγητής Θρασύβουλος Σπυρόπουλος (Σχολή ΗΜΜΥ)
Καθηγητής Παναγιώτης Παρτσινέβελος (Σχολή ΜΗΧΟΠ)

Περίληψη

Τα ανθρωποειδή ρομπότ αναμένεται να λειτουργούν σε περιβάλλοντα σχεδιασμένα για ανθρώπους, όπου οι σκάλες αποτελούν ένα από τα πιο συνηθισμένα εμπόδια. Σε αντίθεση με τις τροχοφόρες ή τις τετράποδες πλατφόρμες, ένα ανθρωποειδές πρέπει να τοποθετεί κάθε πόδι με ακρίβεια πάνω στο σκαλοπάτι πριν από την επαφή, να ισορροπεί σε μια μικρή επιφάνεια στήριξης και να συντονίζει ολόκληρο το σώμα του, γεγονός που καθιστά τη διάσχιση κλιμάκων μία από τις πιο απαιτητικές εργασίες βάδισης. Η παρούσα διπλωματική εργασία μελετά πώς το ανθρωποειδές ρομπότ Unitree G1 μπορεί να μάθει να ανεβαίνει και να κατεβαίνει σκάλες με χρήση Βαθιάς Ενισχυτικής Μάθησης. Η εκπαίδευση πραγματοποιείται εξ ολοκλήρου σε προσομοίωση, στο περιβάλλον NVIDIA Isaac Lab, όπου 4096 αντίγραφα του ρομπότ εκπαιδεύονται παράλληλα με τον αλγόριθμο Proximal Policy Optimization (PPO) μέσω της βιβλιοθήκης RSL-RL. Η πολιτική ελέγχου είναι ένα πλήρως συνδεδεμένο νευρωνικό δίκτυο, το οποίο παρατηρεί την ιδιοδεκτική κατάσταση του ρομπότ μαζί με έναν ρομποτοκεντρικό χάρτη υψομέτρου του εδάφους γύρω από τα πόδια του, αντίστοιχο με αυτόν που θα μπορούσε να κατασκευάσει το πραγματικό ρομπότ από το ενσωματωμένο LiDAR, και παράγει επιθυμητές θέσεις για τις αρθρώσεις των ποδιών και του κορμού. Η γεωμετρία της σκάλας τυχαιοποιείται στην αρχή κάθε επεισοδίου, ως προς τον αριθμό των σκαλοπατιών, το ύψος κάθε σκαλοπατιού και τον αριθμό των κλιμάκων, ώστε η πολιτική να αποκτήσει μια γενική δεξιότητα αναρρίχησης, αντί να απομνημονεύσει μια συγκεκριμένη διάταξη. ΄Ενα πρόγραμμα σταδιακής εκπαίδευσης (curriculum) εισάγει το έδαφος προοδευτικά, από ένα μεμονωμένο σκαλοπάτι σε μικρές και στη συνέχεια σε τυχαιοποιημένες σκάλες, ενώ μια προσεκτικά διαμορφωμένη συνάρτηση ανταμοιβής, η οποία βελτιώθηκε επαναληπτικά απέναντι στις ανεπιθύμητες συμπεριφορές που ανακάλυπτε ο πράκτορας, ενθαρρύνει την πρόοδο προς τα εμπρός, την τοποθέτηση του ποδιού σε υπερυψωμένη επιφάνεια, ένα φυσικό βάδισμα και όρθια στάση σώματος. Η εργασία αναπτύχθηκε σε δύο φάσεις: αρχικά με προνομιακή γνώση των θέσεων των σκαλοπατιών, για την επικύρωση της δεξιότητας βάδισης και του σχεδιασμού της ανταμοιβής, και στη συνέχεια με τον αντιληπτό χάρτη υψομέτρου, ο οποίος αποτελεί και το επίκεντρο της παρούσας εργασίας. Η εκπαιδευμένη πολιτική αξιολογείται σε γεωμετρίες σκάλας που δεν είχε συναντήσει κατά την εκπαίδευση. Στο τέλος της εκπαίδευσης, περίπου το 96% των επεισοδίων στο πλήρως τυχαιοποιημένο έδαφος τερματίζουν με τη συμπλήρωση του χρονικού ορίου και όχι με πτώση, ενώ ακολουθίες στιγμιοτύπων της τελικής πολιτικής την επιδεικνύουν τη δείχνουν να ανεβαίνει και να κατεβαίνει τόσο μεμονωμένες σκάλες, όσο και ζεύγη κλιμάκων που χωρίζονται από επίπεδο έδαφος, με όρθια στάση και κανονικό βηματισμό. Αυτό υποδεικνύει ότι η δεξιότητα που έμαθε το ρομπότ γενικεύεται σε νέες γεωμετρίες σκάλας, αντί να αναπαράγει μια απομνημονευμένη διάταξη.

Abstract

Humanoid robots are expected to operate in environments built for people, where staircases are among the most common obstacles. Unlike wheeled or quadruped platforms, a humanoid must place each foot precisely on a step before contact is made, balance on a small support area and coordinate its whole body, which makes stair traversal one of the most demanding locomotion tasks. This diploma thesis studies how the Unitree G1 humanoid robot can learn to ascend and descend staircases using Deep Reinforcement Learning. Learning is carried out entirely in simulation in NVIDIA Isaac Lab, where 4096 copies of the robot are trained in parallel with the Proximal Policy Optimization (PPO) algorithm through the RSL-RL library. The control policy is a fully connected neural network that observes the robot’s proprioceptive state together with a robot-centred elevation map of the terrain around its feet, resembling what the real robot could build from its onboard LiDAR, and outputs target positions for the leg and torso joints. The staircase geometry is randomized at the start of every episode, in the number of steps, the height of each riser and the number of staircases, so that the policy must acquire a general climbing skill, rather than memorize a fixed layout. A curriculum introduces the terrain progressively, from a single step to small and then randomized staircases, while a carefully shaped reward function, refined iteratively against the exploits the agent discovered, encourages forward progress, elevated foot placement, a natural gait and an upright posture. The work was developed in two phases: first with privileged knowledge of the step positions, to validate the locomotion skill and the reward design, and then with the perceived elevation map, which is the focus of this thesis. The trained policy is evaluated on staircase geometries that were not seen during training. By the end of training, approximately 96% of the episodes on the fully randomized terrain end by reaching the time limit rather than by a fall, and frame sequences of the final policy show it climbing and descending both single staircases and pairs of staircases separated by flat ground, with an upright posture and a regular stepping gait. This indicates that the learned skill generalizes to new staircase geometries rather than reproducing a memorized layout.
 

Meeting ID: 96687349326
Password: 464126