Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Σπυρίδωνος Στάμου

με θέμα

Σχεδίαση και Υλοποίηση Υπηρεσιών Αναλυτικής Επεξεργασίας Ναυτιλιακών Δεδομένων AIS στο Apache Spark

Design and Implementation of Analytics Services for Maritime AIS Data Using Apache Spark

Εξεταστική Επιτροπή

Αναπληρωτής Καθηγητής Νικόλαος Γιατράκος (επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς

Περίληψη

Η ευρεία υιοθέτηση του Αυτόματου Συστήματος Αναγνώρισης (AIS) έχει οδηγήσει σε έναν διαρκώς αυξανόμενο όγκο δεδομένων κίνησης πλοίων. Η αφθονία αυτή καθιστά δυνατή τη διερεύνηση ζητημάτων θαλάσσιας κυκλοφορίας, συμπεριφοράς πλοίων και λειτουργίας λιμένων με εμπειρικό τρόπο, αντί μέσω δειγματοληψίας ή χειροκίνητης παρατήρησης. Ωστόσο, ο όγκος των δεδομένων και ο ρυθμός με τον οποίο καταφθάνουν υπερβαίνουν τις δυνατότητες της συμβατικής επεξεργασίας σε έναν κόμβο, δημιουργώντας την ανάγκη για εργαλεία ικανά να τα αναλύουν παράλληλα και σε μεγάλη κλίμακα.
Στην παρούσα διπλωματική εργασία παρουσιάζουμε το Nereus, ένα ολοκληρωμένο (end-to-end) σύστημα θαλάσσιας ανάλυσης δεδομένων AIS, βασισμένο στο Apache Spark. Το Nereus εφαρμόζει αρχικά μια κατανεμημένη διαδικασία προεπεξεργασίας, η οποία απομακρύνει τον θόρυβο που είναι εγγενής στις ακατέργαστες εκπομπές και παράγει καθαρές τροχιές πλοίων. Πάνω σε αυτές, υλοποιεί ένα σύνολο αναλυτικών υπηρεσιών που δεν βασίζονται σε καμία πληροφορία πέρα από τα χωρικά, χρονικά και κινηματικά χαρακτηριστικά του AIS και τον τύπο του πλοίου. Οι υπηρεσίες αυτές είναι η ανίχνευση σκόπιμης απενεργοποίησης του πομποδέκτη και «σκοτεινών» στόχων (dark targets), η χωροχρονική εκτίμηση πυκνότητας κυκλοφορίας, η ανίχνευση εγγύτητας μεταξύ πλοίων, η εξαγωγή προσεγγίσεων σε λιμένες (port calls), η ανίχνευση προσαράξεων και η αναγνώριση αλιευτικής δραστηριότητας. Περιλαμβάνονται επίσης μοντέλα πρόβλεψης χρόνου άφιξης, προορισμού και λιμενικής συμφόρησης. Τα αποτελέσματα αποθηκεύονται σε σχεσιακή βάση δεδομένων και διατίθενται μέσω REST API σε μια διαδραστική διαδικτυακή διεπαφή.
Η πειραματική μας αξιολόγηση πραγματοποιείται σε 46,2 εκατομμύρια ακατέργαστες αναφορές θέσης, από τις οποίες 45,0 εκατομμύρια παραμένουν μετά τον καθαρισμό. Οι αναφορές προέρχονται από 9.518 διακριτά πλοία και καλύπτουν τη θαλάσσια περιοχή της Κρήτης από τον Οκτώβριο του 2025 έως τον Ιούλιο του 2026. Στη cluster της SoftNet, η προεπεξεργασία και οι επτά υπηρεσίες ανίχνευσης ολοκληρώνονται σε 33 λεπτά με οκτώ executors των τεσσάρων πυρήνων ο καθένας, ενώ τα τρία μοντέλα πρόβλεψης εκπαιδεύονται σε έναν μόνο υπολογιστή. Η εκτίμηση του χρόνου άφιξης μειώνει το μέσο απόλυτο σφάλμα κατά 13,9% σε σχέση με την ισχυρότερη μέθοδο αναφοράς. Το όφελος εντοπίζεται κυρίως σε προβλέψεις που γίνονται περισσότερες από έξι ώρες πριν από την άφιξη. Η πρόβλεψη προορισμού επιτυγχάνει ακρίβεια top-1 56,1%, έναντι 29,9% για μια μέθοδο αναφοράς Markov βασισμένη στη συχνότητα διαδρομών, και φτάνει το 62,9% σε λιμένες με περισσότερα από εκατό καταγεγραμμένα στιγμιότυπα. Η πρόβλεψη του μεγέθους ουράς για την επόμενη ημέρα μειώνει το RMSE κατά 12,7% σε σχέση με το μοντέλο persistence.

Abstract 

Nowadays, the widespread adoption of the Automatic Identification System (AIS) has produced a continuously growing volume of vessel movement data. This abundance makes it possible to address questions of maritime traffic, vessel behaviour and port operation empirically, rather than through sampling or manual observation. However, the volume of these data and the rate at which they arrive exceed what conventional single-node processing can sustain, creating the need for tools able to analyse them in parallel and at scale.
In this thesis we present Nereus, an end-to-end system for maritime analytics over AIS data, built on Apache Spark. Nereus first applies a distributed preprocessing pipeline that removes the noise inherent in raw transmissions and produces clean vessel trajectories. On top of these, it implements a suite of analytic services that rely on no information beyond the spatial, temporal and kinematic attributes of AIS together with the vessel type: detection of intentional transponder deactivation and of dark targets, spatiotemporal traffic density estimation, ship-to-ship proximity detection, port call extraction, grounding detection and the recognition of fishing activity and predictive models for arrival time, destination and port congestion. The computed results are persisted in a relational store and served through a REST API to an interactive web interface. 
Our experimental evaluation is conducted on 46.2 million raw position reports, of which 45.0 million survive cleaning, from 9,518 distinct vessels, covering the Cretan maritime domain between October 2025 and July 2026. On the SoftNet cluster the preprocessing and the seven detection services complete in 33 minutes on eight executors of four cores each, while the three predictive models are trained on a single machine. Arrival-time estimation reduces mean absolute error by 13.9% over the strongest baseline, with the gain concentrated beyond six hours from arrival. Destination prediction reaches 56.1% top-1 accuracy against 29.9% for a Markov route-frequency baseline, rising to 62.9% on ports with more than one hundred recorded snapshots. Next-day queue-size forecasting reduces RMSE by 12.7% over persistence.