Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Νικολάου Αγγελίδη 

με θέμα

Συνεχιζόμενη Μάθηση για NeRF σε Σκηνές που Ελήφθησαν από Μη Επανδρωμένα Αερόχηματα
Continual Learning for NeRF in Scenes Obtained from Drones

Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς (Επιβλέπων)
Καθηγητής Αντώνιος Δεληγιαννάκης 
Αναπληρωτής Καθηγητής Ευάγγελος Καλογεράκης

Περίληψη
Τα τελευταία χρόνια, η κλιματική αλλαγή έχει αυξήσει τη συχνότητα και τη σοβαρότητα φυσικών καταστροφών όπως οι σεισμοί, οι πλημμύρες και οι πυρκαγιές. Αμέσως μετά από τέτοια γεγονότα, οι γρήγορες και ακριβείς τρισδιάστατες ανακατασκευές των πληγεισών περιοχών μπορούν να υποστηρίξουν κρίσιμες αποφάσεις για την αντιμετώπιση εκτάκτων αναγκών και την αποκατάσταση. Τα Νευρωνικά Πεδία Ακτινοβολίας (Neural Radiance Fields – NeRFs) έχουν αναδειχθεί ως μια ισχυρή λύση για σύνθεση νέων όψεων και τρισδιάστατη ανακατασκευή από εικόνες. Ωστόσο, τα παραδοσιακά μέσα πληροφορίας των NeRFs υποθέτουν στατικές σκηνές και απαιτούν πλήρη επανεκπαίδευση κάθε φορά που υπάρχουν αλλαγές, καθιστώντας τα ακατάλληλα για δυναμικά, πραγματικά περιβάλλοντα. Σε αυτή τη διπλωματική εργασία, διερευνούμε μεθόδους συνεχούς μάθησης (continual learning) για την επέκταση των μοντέλων NeRF με την ικανότητα σταδιακής ενημέρωσης των ανακατασκευών σκηνής χωρίς καταστροφική λήθη. Αξιολογούμε δύο πλαίσια, τα Nerfstudio και CLNeRF, στα οποία αναπτύχθηκαν προσαρμοσμένα εργαλεία για την υποστήριξη σεναρίων συνεχούς μάθησης. Παρόλο που το Nerfstudio έδειξε δυναμική, τεχνικοί περιορισμοί μάς οδήγησαν να επικεντρωθούμε κυρίως στο CLNeRF, το οποίο επεκτείναμε και προσαρμόσαμε σε διάφορες πειραματικές συνθήκες. Αξιολογούμε την απόδοση σε ένα ευρύ σύνολο αλλαγών σκηνής, όπως προσθήκες/αφαιρέσεις αντικειμένων, μεταβολές φωτισμού, απόκρυψη περιοχών και με ποικίλους τύπους εισόδου δεδομένων. Τα αποτελέσματά μας δείχνουν ότι οι μέθοδοι συνεχούς μάθησης μπορούν να μειώσουν σημαντικά τον χρόνο εκπαίδευσης, να διατηρήσουν την ποιότητα της ανακατασκευής και να διαχειριστούν σύνθετες δυναμικές σκηνές. Αυτά τα ευρήματα αποτελούν τη βάση για την υλοποίηση συστημάτων με χρήση NeRFs σε περιβάλλοντα με περιορισμένο χρόνο, όπως η χαρτογράφηση σκηνών μετά από καταστροφές μέσω εναέριων λήψεων με μη επανδρωμένα αερόχηματα.

Abstract
In recent years, climate change has increased the frequency and severity of natural disasters such as earthquakes, floods, and wildfires. In the immediate aftermath of such events, fast and accurate 3D reconstructions of affected areas can support critical decision making for emergency response and recovery. Neural Radiance Fields (NeRFs) have emerged as a powerful solution for novel-view synthesis and 3D reconstruction from sparse imagery. However, traditional NeRF pipelines assume static scenes and require full retraining whenever updates occur, making them unsuitable for dynamic, real-world environments. In this thesis, we explore continual learning approaches to extend NeRF models with the ability to incrementally update scene reconstructions without catastrophic forgetting. We evaluate two frameworks, Nerfstudio and CLNeRF, where custom tooling is developed to support continual learning scenarios. While Nerfstudio showed promise, technical limitations led us to focus primarily on CLNeRF, which we extended and adapted to suit a variety of experimental conditions. We assess performance across a diverse set of scene changes, including object additions/removals, lighting variations, occlusions, and with a variety of types of input datasets. Our findings demonstrate that continual learning methods can significantly reduce training time, maintain reconstruction quality, and handle complex scene dynamics. These results lay the groundwork for deploying systems using NeRFs in time-sensitive scenarios such as mapping of a post-disaster scene using drone imagery.