Κατάλογος Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Κωνσταντίνου Βογιατζή

με θέμα

Μείωση Γνωρισμάτων για Υλοποίηση σε Αναδιατασσόμενο Υλικό Ταξινομητών Μάθησης

Feature Reduction for FPGA based implementation of Learning Classifiers

Εξεταστική Επιτροπή

Καθηγητής Απόστολος Δόλλας (επιβλέπων)
Καθηγητής Μιχαήλ Λαγουδάκης
Καθηγητής Ιωάννης Παπαευσταθίου (Τμήμα ΗΜΜΥ, ΑΠΘ)

Περίληψη

Τα τελευταία χρόνια τα σετ δεδομένων έχουν αυξηθεί ραγδαία, κυρίως επειδή συλλέγονται μαζικά από πολυάριθμες συσκευές για τους καταναλωτές στο διαδίκτυο των πραγμάτων ή υπηρεσιών, όπως κινητές συσκευές, αρχεία καταγραφής λογισμικού, κάμερες, ασύρματα δίκτυα αισθητήρων κ.λπ. Ετερογενές υλικό, όπως η αναδιατασσόμενη λογική (Field Programmable Gate Arrays - FPGA) , φαίνεται να είναι μια πολλά υποσχόμενη εναλλακτική από άποψη επιτάχυνσης ακόμη και από επεξεργαστή γραφικών Graphics Processing Unit (GPU) σε πολύπλοκα προβλήματα μηχανικής μάθησης. ;Oμως εξακολουθούν να υποφέρουν από χαμηλούς πόρους μνήμης στο ολοκληρωμένο κύκλωμα καθιστώντας δύσκολη την κλιμάκωση σε εργασίες υψηλής διάστασης, καθώς το Ι/Ο μπορεί να κυριαρχεί στη συνολική καθυστέρηση. Λόγω τέτοιων περιορισμών, οι FPGA επί του παρόντος χρησιμοποιούνται κυρίως για το πρόβλημα συμπερασμάτων και όχι για το πρόβλημα εκπαίδευσης, καθώς συνήθως απαιτεί λιγότερους πόρους μνήμης. Σε αυτή την εργασία προτείνουμε ένα γενικό σχήμα μείωσης διαστάσεων για ταξινομητές εκμάθησης που λειτουργούν και τα δύο ως επιταχυντές εκπαίδευσης και συμπερασμάτων και θα μπορούσαν να εφαρμοστούν σε χαμηλούς πόρους συσκευές υλικού όπως τα FPGA. Τα αποτελέσματα της διπλωματικής εργασίας αυτής καταδεικνύουν εντυπωσιακές βελτιώσεις, με τη χρήση μνήμης στο ολοκληρωμένο κύκλωμα κατά τη διάρκεια της εκμάθησης, μειωμένη κατά 10Χ έως 32Χ για διαδικτυακή και μαζική εκμάθηση, με περίπου 5% κόστος σε ακρίβεια. Υλοποιούμε μια αρχιτεκτονική υλικού με διοχέτευση pipelining χρησιμοποιώντας έναν ταξινομητή εκμάθησης σε συνδυασμό με ένα σχήμα μείωσης διαστάσεων που εφαρμόζει δύο διαφορετικές μεθόδους: πυρήνα κατακερματισμού και αραιή τυχαία προβολή.

Abstract 

During recent years data sets have grown rapidly, mainly because they are collectively gathered by numerous consumer information-sensing internet of things (IoT) devices or services such as mobile devices, software logs, cameras, wireless sensor networks etc. Heterogeneous hardware, such as FPGAs, seem to be a promising alternative in terms of acceleration even from GPUs in complex machine learning problems. They still suffer though from low onchip memory resources making scaling to high dimensionality tasks difficult, as I/O may dominate overall latency. Due to such restrictions, FPGAs currently, are mostly used for the inference problem and not the training one as it usually requires fewer memory resources. In this work we propose a general dimensionality reduction scheme for learning classifiers operating both as training and inference accelerators and could be applied in low resource hardware devices such as FPGAs. We achieve impressive improvements, with on-chip memory utilization during training reduced by 10x to 32x for online and batch learning, with around 5% cost in accuracy. We implement a pipelined hardware architecture using a learning classifier coupled with a dimensionality reduction scheme implementing two different methods: Hash kernel and Sparse random projection. 

Meeting ID: 941 9107 0105
Password: 065259