Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Δημητρίου Ντουνέτα

με θέμα

Σχεδίαση και Υλοποίηση Ενσωματωμένου Συστήματος για Στερεοσκοπική Όραση από Μία Κάμερα
Design and Implementation of an Embedded System for Stereo Vision from a Single Camera

Εξεταστική Επιτροπή

Καθηγητής Απόστολος Δόλλας (επιβλέπων)
Αναπληρωτής Καθηγητής Σωτήριος Ιωαννίδης 
Καθηγητής Ιωάννης Παπαευσταθίου (ΑΠΘ, Τμήμα ΗΜΜΥ)

Περίληψη

Η τρισδιάστατη όραση αποτελεί αντικείμενο έρευνας εδώ και πολλές δεκαετίες, με τους ερευνητές να προσπαθούν να ξεπεράσουν την πρόκληση της απώλειας της τρίτης διάστασης κατά τη χρήση εικόνων. Με την πάροδο των ετών, έχουν επινοηθεί διάφορες τεχνικές για τη σύλληψη του βάθους από εικόνες, συμπεριλαμβανόμενης της στερεοσκοπικής όρασης, της προβολής κροσσών, της σάρωσης με λέιζερ ή ενός συνδυασμού αυτών των μεθόδων. Ενώ οι τεχνικές αυτές έχουν επιδείξει εντυπωσιακά αποτελέσματα, ενδέχεται να μην είναι κατάλληλες για ορισμένες εφαρμογές λόγω παραγόντων όπως το υψηλό κόστος. Κατά συνέπεια, υπάρχει επιτακτική ανάγκη να αναπτυχθεί ένα σύστημα τρισδιάστατης όρασης που να είναι προσιτό, γρήγορο και ικανό να παράγει αποτελέσματα υψηλής ανάλυσης. Η παρούσα διατριβή εφαρμόζει μια καινοτόμο προσέγγιση για την εκτίμηση του βάθους, η οποία μελετήθηκε αρχικά από την Γ. Ρεμάτσκα στη μεταπτυχιακή της διατριβή. Το βάθος υπολογίζεται με τη χρήση μιας μόνο κάμερας σε συνδυασμό με δύο φασματικά διαφορετικές πηγές φωτός. Οι πηγές φωτός αποτελούνται από δύο σύνολα συστοιχιών LED και η πληροφορία βάθους μπορεί να εξαχθεί αναλύοντας τις διαφορετικές ανακλάσεις που καταγράφονται από την κάμερα από αυτές τις δύο πηγές φωτός. Η βασική πτυχή της εκτίμησης του βάθους έγκειται στην αναλογία μπλε προς κόκκινο, η οποία μπορεί να συσχετιστεί με το βάθος μέσω κατάλληλης βαθμονόμησης και επεξεργασίας. Στην παρούσα διατριβή, ο στόχος ήταν να εξελιχθεί ένα σύστημα που επαληθεύτηκε σε εργαστηριακές συνθήκες (ελεγχόμενος φωτισμός, μηδενικές δονήσεις της κάμερας, εντελώς σταθερή απόσταση της κάμερας από την επιφάνεια του στόχου) σε ένα σύστημα κατάλληλο για χρήση στο πεδίο, όπου οι συνθήκες (φωτισμός, δονήσεις της κάμερας, απόσταση από την επιφάνεια του στόχου) ποικίλλουν ευρέως. Αρχικά, η μεθοδολογία επαληθεύτηκε με τη χρήση MATLAB και στη συνέχεια υλοποιήθηκε ως ενσωματωμένο σύστημα πραγματικού χρόνου. Το σύστημα που προέκυψε δοκιμάστηκε διεξοδικά και λειτουργεί σε πραγματικό χρόνο και είναι πλήρως βελτιστοποιημένο για την ελαχιστοποίηση της χρήσης πόρων υλικού, διατηρώντας παράλληλα υψηλή συχνότητα λειτουργίας για την επεξεργασία εικόνων υψηλής ανάλυσης.

Abstract 

3D Vision has been a topic of investigation for numerous decades, with re searchers striving to overcome the challenge of losing the third dimension when using images. Over the years, various techniques have been devised to capture depth from images, including stereo vision, fringe projection, laser scanning, or a combination of these methods. While these techniques have demonstrated impressive results, they may not be suitable for certain applications due to factors such as high cost. Consequently, there is a pressing need to develop a 3D vision system that is affordable, fast, and capable of producing high-resolution output. This thesis implements an innovative approach to estimate depth, initially studied by G. Rematska in her Master
Thesis. Depth is calculated by using a single camera in conjunction with two spectrally distinct light sources. The light sources consist of two sets of LED arrays, and depth information can be extracted by analyzing the different reflections captured by the camera from these two light sources. The key aspect of depth estimation lies in the blue to red ratio, which can be correlated to depth through appropriate calibration and processing. In this thesis, the goal was to evolve a system which was verified under laboratory conditions (controlled lighting, no camera vibrations, completely fixed distance of camera to target surface) into one suitable for field use, in which the conditions (lighting, camera vibrations, distance to target surface) are widely
varied. The methodology was verified using MATLAB and subsequently implemented as a real time embedded system. The resulting system was thoroughly tested in the field and operates in real time and is fully optimized to minimize hardware resource usage while maintaining a high frequency of operation for processing high-resolution images.