Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Ιωάννη Κοκκινάκη

με θέμα

Ανάπτυξη μιας Βιο-Ανταποκρινόμενης Προσομοίωσης Εικονικής Πραγματικότητας με Παρακολούθηση Φυσιολογικών Παραμέτρων σε Πραγματικό Χρόνο για Ταξινόμηση Συμπεριφορών

Development of a Bio-Responsive VR Simulation with Real-Time  Physiological Monitoring for Behavioral Classification

Εξεταστική Επιτροπή

Καθηγήτρια Αικατερίνη Μανιά (Σχολή ΗΜΜΥ, Επιβλέπουσα)
Καθηγητής Μιχαήλ Λαγουδάκης (Σχολή ΗΜΜΥ)
Καθηγητής Κωσταντίνος Μπάλας (Σχολή ΗΜΜΥ)

Περίληψη

Η ταξινόμηση και η κατανόηση της ανθρώπινης συμπεριφοράς κατά τη διαδικασία λήψης αποφάσεων αποτελεί σημαντικό μέρος της αναγνώρισης παραγόντων που μπορούν να βοηθήσουν στην διερεύνηση των μηχανισμών που οδηγούν σε παθολογική ευπάθεια και επηρεάζουν τον έλεγχο των παρορμήσεων. Στο πλαίσιο αυτό, η μεταφορά του παραδείγματος sign-tracking (ST) και goal-tracking (GT) από τα ζωικά μοντέλα στον άνθρωπο μπορεί να προσφέρει σημαντικές πληροφορίες για τις ατομικές διαφορές στην επεξεργασία σημάτων που έχουν συνδεθεί με την ανταμοιβή. Το sign-tracking μπορεί να σχετίζεται με την έντονη προτίμηση της προσοχής του ατόμου σε σήματα που συνδέονται με ουσίες ή τροφή, γεγονός που καθιστά σημαντική την καταγραφή και την περαιτέρω κατανόηση των επιδράσεών του. Οι συνηθέστερες μεθοδολογίες μέτρησής του περιλαμβάνουν φυσικές ή εικονικές δοκιμασίες Pavlovian Conditioned Approach (PCA), πειράματα Value-Modulated Attentional Capture (VMAC), καθώς και αξιολογήσεις βασισμένες σε μορφές παιχνιδιού ή νευροαπεικόνισης.

Η παρούσα προσέγγιση ενσωματώνει τη δομή μιας φυσικής δοκιμασίας PCA σε μια ελεγχόμενη εικονική προσομοίωση, αξιοποιώντας σε βάθος την εμπειρία που προσφέρει η Εικονική Πραγματικότητα (VR), ενώ παράλληλα καταγράφει με ακρίβεια την προσοχή και τη φυσιολογική κατάσταση των συμμετεχόντων μέσω της παρακολούθησης του βλέμματος (eye-tracking) και των σημάτων που σχετίζονται με την καρδιακή λειτουργία σε πραγματικό χρόνο. Αυτό επιτυγχάνεται μέσω της ανάπτυξης μιας προσομοίωσης στο περιβάλλον της Unity, η οποία προβάλλεται στα γυαλιά εικονικής πραγματικότητας (HMD) Meta Quest Pro, σε συνδυασμό με το BIOPAC Research Ring για τη συλλογή βιομετρικών δεδομένων, τα οποία επεξεργάζονται μέσω Python. Επιπλέον, η προσομοίωση μπορεί να χρησιμοποιήσει τα δεδομένα που σχετίζονται με την καρδιακή λειτουργία, ώστε να διερευνηθεί κατά πόσο η παρουσίαση του σήματος ανταμοιβής σε συγκεκριμένες χρονικές στιγμές του καρδιακού κύκλου μπορεί να επηρεάσει την αντίληψη των συμμετεχόντων. Το πλεονέκτημα αυτής της προσέγγισης είναι ότι επιτρέπει τη συλλογή ποικιλοτρόπων δεδομένων σχετικά με τη συμπεριφορά που σχετίζεται με την ανταμοιβή, με στόχο τη βελτίωση της οικολογικής εγκυρότητας. Αξίζει να σημειωθεί πως οι αρχικές δοκιμές του πειράματος επιβεβαίωσαν ότι είναι δυνατή η αξιόπιστη συλλογή δεδομένων.

Οι δραστηριότητες που πραγματοποιούνται στο εικονικό περιβάλλον σχεδιάστηκαν σε συνεργασία με το Brighton & Sussex Medical School (BSMS). Η τεχνική υλοποίηση, καθώς και η αξιολόγησή της, που αποτελούν το επίκεντρο της παρούσας διπλωματικής εργασίας, πραγματοποιήθηκαν στο Πολυτεχνείο Κρήτης (TUC). Τα τελικά πειράματα συλλογής δεδομένων, καθώς και η αναλυτική ψυχολογική μελέτη, πρόκειται να πραγματοποιηθούν στο BSMS.

Abstract

Classifying and understanding human behaviors when it comes to decision making is a crucial part of identifying pathways to pathological vulnerability and impulse control. Following this framework, translating the animal sign-tracking (ST) and goal-tracking (GT) paradigm to humans allows for key insights in evaluating individual variance when processing reward-associated cues. Sign-tracking can translate to attentional biases toward drug or food cues, hence it is important to be able to track it and further understand its effects. The most common methodologies to measure it are physical or virtual Pavlovian Conditioned Approach (PCA) tasks, Value-Modulated Attentional Capture (VMAC) experiments, and game-like or neuroimaging assessments.

This approach integrates physical PCA tasks in a controlled virtual simulation by leveraging the immersion of Virtual Reality (VR), while accurately tracking the participants' attention and physiological state through eye-tracking and real-time heart-related signals. This is achieved by developing a simulation in Unity and running it on the Meta Quest Pro Head-Mounted Display (HMD) while using the BIOPAC Research Ring to collect physiological data, which is processed through Python scripts. Furthermore, the simulation can use the heart-related data to explore whether presenting the reward cue during specific cardiac timing can influence participants' perception. The benefit of this approach is that it will produce a multi-modal assessment of reward-related behavior with enhanced ecological validity. Initial testing of the experiment confirmed that reliable data can be collected.

The tasks that take place in the virtual environment were designed in collaboration with the Brighton \& Sussex Medical School (BSMS). The technical implementation, along with its evaluation, which are the focus of this thesis, took place at the Technical University of Crete (TUC). The final data-gathering experiments and the deep psychological research will soon be conducted at BSMS.  

Meeting ID: 967 5520 2178  
Password: 776967