Έμβλημα Πολυτεχνείου Κρήτης με τίτλο Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
Η Σχολή ΗΜΜΥ στο Facebook  Η Σχολή ΗΜΜΥ στο Youtube

Κατάλογος Εκδηλώσεων

Προβολή ημερολογίου Προβολή ημερολογίου
Προβολή λίστας Προβολή λίστας
iCal - Εκδηλώσεις μήνα iCal - Εκδηλώσεις μήνα
iCal - Εκδηλώσεις 6 μηνών iCal - Εκδηλώσεις 6 μηνών
RSS - Εκδηλώσεις μήνα RSS - Εκδηλώσεις μήνα
RSS - Εκδηλώσεις 6 μηνών RSS - Εκδηλώσεις 6 μηνών

12
Οκτ

Παρουσίαση Διπλωματικής Εργασίας κ. Γεωργακίλα Χρίστου - Σχολή ΗΜΜΥ
Κατηγορία: Παρουσίαση Διπλωματικής Εργασίας  
Τοποθεσία
Ώρα12/10/2022 16:00 - 17:00

Περιγραφή:

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

ΧΡΙΣΤΟΥ ΓΕΩΡΓΑΚΙΛΑ

με θέμα

Μέθοδοι Επαύξησης Δεδομένων για Νευρωνικά Δίκτυα Vision Transformer
Data Augmentation Methods for Vision Transformers

Εξεταστική Επιτροπή

Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Καθηγητής Μιχαήλ Λαγουδάκης
Επίκουρος Καθηγητής Νικόλαος Κομοντάκης (Τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης)

Abstract

The Transformer architecture was first introduced in 2017 and has since become the standard for Natural Language Processing tasks, replacing Recurrent Neural Networks. For the first time, in 2021, the Transformer architecture was used with great success for computer vision tasks, proving that a Vision Transformer can, under certain conditions, outperform Convolutional Neural Networks and become the state-of-the-art in image recognition. One of the main challenges being tackled by subsequent work on Vision Transformers is the need of the architecture for humongous amounts of data during pre-training in order to achieve state-of-the-art accuracy on the downstream task. Some works have addressed this by altering or adding parts to the original Vision Transformer architecture while others are using Self-Supervised Learning techniques to take advantage of unlabelled data. This thesis explores data augmentation methods for Vision Transformers with the goal to increase the model’s accuracy and robustness on classification tasks, with limited amounts of data. Our augmentation methods are based on the architecture’s characteristics such as the self-attention mechanism and the input of discrete tokens. All methods are tested for the benchmark classification datasets CIFAR-10 and CIFAR-100 using Supervised Learning and yield great results. When training with the same model hyperparameters, our best augmentation method improves the baseline’s accuracy on CIFAR-10 and CIFAR-100 by 1.98 % and 2.71 % respectively.

Meeting ID: 954 649 5567

Password: 956799

Προσθήκη στο ημερολόγιό μου
© Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 2014
Πολυτεχνείο Κρήτης