Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Ερμιόνης Φώτη

με θέμα

MEREBO Reloaded: Ένα Υβριδικό Πλαίσιο Εργασίας με Υποστήριξη Μεγάλων Γλωσσικών Μοντέλων για την Συσχέτιση Εγγραφών και τη Βελτιστοποίηση Αγορών σε Κάθετες Διαδικτυακές Αγορές
MEREBO Reloaded: A Hybrid LLM-Assisted Framework for Record Linkage and Shopping Optimization in Vertical Web Markets

Εξεταστική Επιτροπή

Αναπληρωτής Καθηγητής Νικόλαος Γιατράκος (επιβλέπων)
Καθηγητής Αντώνιος Δεληγιαννάκης
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς 

Περίληψη

Η παρούσα διπλωματική εργασία παρουσιάζει το MEREBO Reloaded, ένα προηγμένο υβριδικό πλαίσιο που επεκτείνει τις θεμελιώδεις ροές αντιστοίχισης προϊόντων και βελτιστοποίησης καλαθιού αγορών των MEREBO (Multi-source Entity REsolution and Basket Optimization) και MEREBO 2 στον τομέα του ηλεκτρονικού εμπορίου φαρμακευτικών προϊόντων. Παρότι τα προηγούμενα αυτά συστήματα συγκέντρωσαν με επιτυχία δεδομένα προϊόντων σουπερμάρκετ, απαιτούσαν σημαντική χειροκίνητη συντήρηση, λόγω των scrapers με CSS selectors που καθορίζονταν ξεχωριστά για κάθε ιστότοπο, της χειροκίνητης δημιουργίας ground truth και των εμπειρικά ορισμένων βαρών ομοιότητας. Επιπλέον, η βελτιστοποίησή τους δεν λάμβανε υπόψη τη γεωγραφική διάσταση, επιβάλλοντας μόνο ένα σταθερό ελάχιστο ποσό παραγγελίας ανά κατάστημα και αγνοώντας τα έξοδα αποστολής. Για να ξεπεραστούν αυτοί οι περιορισμοί, το MEREBO Reloaded ενσωματώνει Μεγάλα Γλωσσικά Μοντέλα (LLMs) σε πολλαπλά στάδια της ροής επεξεργασίας του. Τα LLMs αντικαθιστούν τους εύθραυστους CSS selectors, εξάγοντας αυτόνομα τα δεδομένα των προϊόντων σε δομημένη μορφή απευθείας από τις ιστοσελίδες των φαρμακείων. Η δημιουργία του ground truth αυτοματοποιείται πλήρως μέσω της εξαγωγής του Παγκόσμιου Αριθμού Εμπορικού Είδους (GTIN), σε συνδυασμό με ταξινόμηση βάσει LLM για προϊόντα χωρίς barcode. Η ομοιότητα προϊόντων υπολογίζεται ως συνδυασμός με βάρη της πιθανότητας του Random Forest, της ομοιότητας συνημιτόνου των πολύγλωσσων sentence embeddings και του Δείκτη Μέτρησης Δομικής Ομοιότητας (SSIM). Αντί να καθορίζονται εμπειρικά τα βάρη, ένα LLM τα βελτιστοποιεί ελαχιστοποιώντας μια loss function ευαίσθητη ως προς τα σφάλματα. Ένα LLM λειτουργεί επίσης ως τελικός κριτής της ταυτοποίησης οντοτήτων, επιβεβαιώνοντας ή απορρίπτοντας την κορυφαία υποψήφια αντιστοίχιση για κάθε φαρμακείο. Τέλος, ο αλγόριθμος βελτιστοποίησης καλαθιού αναβαθμίζεται ώστε να λαμβάνει υπόψη τη γεωγραφική διάσταση, απαριθμώντας τις καταστάσεις παράδοσης ανά κατάστημα και υπολογίζοντας δυναμικά το κόστος αποστολής με βάση την απόσταση Haversine μεταξύ του χρήστη και κάθε φαρμακείου. Το σύστημα υλοποιείται ως εφαρμογή full-stack, η οποία αποτελείται από μια ροή επεξεργασίας σε Python, ένα REST API σε Node.js, ένα ευρετήριο αναζήτησης στο Apache Solr και ένα mobile frontend σε Flutter. Η πειραματική αξιολόγηση επιβεβαιώνει τη βιωσιμότητα της προσέγγισης με τη βοήθεια LLM, καθιστώντας το MEREBO Reloaded βάση αναφοράς με δυνατότητα κλιμάκωσης και προσαρμογής για τη συγκέντρωση δεδομένων σε κάθετες αγορές.

Abstract

This thesis presents MEREBO Reloaded, an advanced hybrid framework extending the foundational product matching and basket optimization pipelines of MEREBO (Multi-source Entity REsolution and Basket Optimization) and MEREBO 2 to the pharmaceutical e-commerce domain. While these predecessors successfully aggregated grocery data, they required significant manual maintenance due to scrapers with hand-written CSS selectors, manual ground-truth labeling, and empirically set similarity weights. Their optimization was also geographically unaware, enforcing only a fixed minimum order per store and ignoring shipping costs. To overcome these limitations, MEREBO Reloaded integrates Large Language Models (LLMs) at multiple stages of its pipeline. LLMs replace fragile CSS selectors to autonomously extract structured data directly from pharmacy web pages. Ground-truth generation is fully automated using Global Trade Item Number (GTIN) extraction alongside LLM-based classification for products without barcodes. Product similarity is computed as a weighted combination of Random Forest probability, multilingual sentence embedding cosine similarity, and Structural Similarity Index Measure (SSIM). To eliminate empirical tuning, an LLM optimizes these weights by minimizing an error-aware loss function. An LLM further serves as the final arbiter of entity resolution, confirming or rejecting the top candidate match per pharmacy. Finally, the basket optimization algorithm is upgraded with geographical awareness, enumerating per-store delivery states and computing shipping costs dynamically based on the Haversine distance between the user and each pharmacy. The system is implemented as a full-stack application consisting of a Python pipeline, a Node.js REST API, an Apache Solr search index, and a Flutter mobile frontend. Experimental evaluations confirm the viability of this LLM-assisted approach, establishing MEREBO Reloaded as a scalable and adaptable baseline for vertical market aggregation.