Year: 2017
Type: dissertation
Abstract: Deep recurrent neural networks have recently proved to be very powerful machine learning algorithms.They can have a very large number of trainable parameters which makes them very good at modeling long sequences of information in a very natural way.Recurrent neural networks are now widely used in many machine learning applications and have shown great potential in complicated and difficult tasks.The recognition of long sequences of gestures in a continuous way have long been a point of interest in the literature.Different approaches include probabilistic models, convolutional neural networks, as well as recurrent neural networksThe aim of this Thesis is to create a state-of-the-art, end-to-end model that uses multiple modalities to detect gestures in a continuous sequence of speech and hand movements performed by the user.In this approach we examine the possibility of recognizing continuous sequences without any segmentation or preprocessing.We also focused on integrating multiple modalities in order to make them work in a cooperative way and produce better results than any unimodal approach.This way we are able to make use of multiple streams of information that might be complementary to each other and combine them without over-fitting the training set.Our work includes experiments on the ChaLearn human gestures dataset.The main focus lies on the audio and skeletal modalities, but this approach can easily be extended to integrate other modalities as well.We also want to demonstrate the advantages of deep recurrent neural network architectures over other sequential algorithms, such as hidden Markov models. ΠερίληψηΤα βαθιά νευρωνικά δίκτυα αποτελούν σήμερα τον πιο διαδεδομένο αλγόριθμο μηχανικής μάθησης.Ο μεγάλος αριθμός παραμέτρων τους δίνει την δυνατότητα να μοντελοποιούν περίπλοκες ακολουθίες δεδομένων με πολύ φυσικό τρόπο.Αυτό έχει ως αποτέλεσμα να χρησιμοποιούνται κατα κόρον για την επίλυση ενός αριθμού προβλημάτων μηχανικής μάθησης.Η αναγνώριση ακολουθιών από χειρονομίες με συνεχή τρόπο είναι ένα σημείο ενδιαφέροντος για τη βιβλιογραφία.Οι διαφορετικές προσεγγίσεις περιλαμβάνουν πιθανοτικά μοντέλα, συνελικτικά νευρωνικά δίκτυα, καθώς και επαναλαμβανόμενα νευρωνικά δίκτυα.Σκοπός αυτής της εργασίας είναι η δημιουργία ενός μοντέλου που χρησιμοποιεί έναν συνδυασμό μεθόδων βαθιάς μάθησης για την ανίχνευση χειρονομιών σε μια συνεχή ακολουθία βίντεο.Σε αυτή την προσέγγιση εξετάζουμε τη δυνατότητα αναγνώρισης συνεχών ακολουθιών χωρίς οποιαδήποτε τμηματοποίηση ή προεπεξεργασία.΄Εχουμε επίσης εστιάσει στην πολυτροπική αναγνώριση ούτως ώστε να πάρουμε όσο το δυνατόν καλύτερα αποτελέσματα.Με τον τρόπο αυτό μπορούμε να χρησιμοποιήσουμε πολλαπλές ροές πληροφοριών που θα μπορούσαν να είναι συμπληρωματικές μεταξύ τους και να τις συνδυάσουμε με αποτελεσματικό τρόπο.Το έργο μας περιλαμβάνει πειράματα σχετικά με την βάση δεδομένων ChaLearn 2013.Σε αυτή την εργασία χρησιμοποιήσαμε κατά κύριο λόγο σκελετική πληροφορία και ομιλία αλλά αυτή η προσέγγιση μπορεί εύκολα να επεκταθεί για να ενσωματώσει και άλλες μορφές πληροφορίας.Θέλουμε επίσης να τονίσουμε τα πλεονεκτήματα των νευρωνικών δικτύων σε σχέση με άλλους αλγόριθμους μηχανικής μάθησης, όπως τα κρυφά Μαρκοβιανά μοντέλα. List of Tables 6.1The different class labels.We also present the spoken phrases that correspond to these classes. . . . . . . . . . . . . . . . . .42 7.1 Speech and skeletal model performance.The validation set of the challenge was used in order to test the different networks.We used 20 distinct classes for the skeletal model while for the speech model we used 42 distinct words. . . . . . . . . .58 7.2 Class labels and corresponding keywords. . . . . . . . . .58 7.3 Multimodal results compared with the uni-modal results.These are the results on the validation set with the same 20 distinct classes used by the skeletal model. . . . . . . .60 7.4 Multimodal accuracy and label error rate (LER) on the validation and test set. . . . . . . . . . . . . . . . . . . . . .60 7.5 Our approach in comparison with the top performing approaches of the ChaLearn challenge.We include recognition accuracy, label error rate as well as the type of model used in each approach and the modalities utilized. . . . . . . .61
Author: Γιδιώτης, Αλέξιος
Language: English
Subfield: Human-Computer Interaction
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W6992944666