Work

Réduire la précision et le nombre des multiplications nécessaires à l'entraînement d'un réseau de neurones

Year: 2015
Type: dissertation
Abstract: Je tiens tout d'abord à remercier mon directeur de recherche Jean-Pierre David de m'avoir si souvent fait part de ses inquiétudes à propos de l'avenir de ma maîtrise et aussi tant encouragé à publier le travail accompli.Je tiens aussi à remercier mon codirecteur de recherche Yoshua Bengio pour m'avoir introduit à l'apprentissage profond, avoir activement participé à l'écriture de nos articles, son expérience, sa bienveillance, et ses encouragements.Je les remercie tous deux pour les conversations que nous avons eu ensemble, leurs conseils et la grande autonomie dont j'ai bénéficié.Je remercie le professeur Roland Memisevic pour son excellent cours d'apprentissage automatique pour la vision, ses conseils, son enthousiasme et pour avoir accepté d'être membre du jury d'examen de ma maîtrise.Je remercie le professeur Jean-Jules Brault d'avoir accepté de diriger le jury d'examen de ma maîtrise.Je remercie l'École Polytechnique de Montréal et son département de génie électrique de m'avoir admis en tant qu'étudiant en double-diplôme.Je remercie le CRSNG, les chaires de recherche du Canada, Calcul Canada et ICRA de leurs fonds.Je remercie les étudiants et stagiaires passés et présents du GRM avec qui j'ai pu sympathiser, en particulier : Michel Gémieux, Clément Michaud, Marc-André Daigneault, Gontran Sion et Adrien Labarnet.Je remercie aussi les étudiants du MILA que j'ai pu rencontrer.Enfin, de manière plus générale, je remercie mes amis et ma famille pour leur soutien et leur affection.v RÉSUMÉ Les Réseaux de Neurones (RdNs) sont à l'état de l'art pour un grand nombre de tâches, les meilleurs résultats étant obtenus avec de grands ensembles de données et de grands modèles.La vitesse de calcul des cartes graphiques est en grande partie à l'origine de ces progrès.À l'avenir, l'accélération des RdNs pendant les phases d'entrainement et de test permettra probablement une performance accrue ainsi que des applications grand public plus efficaces énergétiquement.En conséquence, la recherche en systèmes numériques dédiés aux RdNs est d'actualité.Les systèmes numériques sont principalement faits de mémoires et d'opérateurs arithmétiques.Les multiplieurs sont de loin les opérateurs arithmétiques les plus coûteux en termes de transistors d'un système numérique dédié aux RdNs.Dans notre premier article, nous entraînons un ensemble de RdNs à l'état de l'art (les réseaux Maxout) sur trois ensembles de données de référence : MNIST, CIFAR-10 et SVHN.Ils sont entraînés avec trois formats distincts : virgule flottante, virgule fixe et virgule fixe dynamique.Pour chacun de ces ensembles de données et pour chacun de ces formats, nous évaluons l'impact de la précision des multiplications sur l'erreur finale après l'entrainement.Nous trouvons qu'une précision très faible est suffisante non seulement pour tester des RdNs, mais aussi pour les entraîner.Par exemple, il est possible d'entraîner des réseaux Maxout avec des multiplications 10 bits.Des poids binaires, c'est à dire des poids qui sont contraints à seulement deux valeurs possibles (e.g.-1 ou 1), permettraient de beaucoup réduire le nombre de multiplications nécessaires lors de l'entraînement d'un RdN.Dans notre deuxième article, nous introduisons BinaryConnect, une méthode qui consiste à entraîner un RdN avec des poids binaires durant les propagations en avant et en arrière, tout en conservant la précision des poids stockés dans lesquels les gradients sont accumulés.Comme les autres variantes de Dropout, nous montrons que BinaryConnect agit comme régulariseur et nous obtenons des résultats proches de l'état de l'art avec BinaryConnect sur le MNIST invariant aux permutations.vi
Language: French
Open Access status: green
OpenAlex ID: W2338263686
Cites: 53
Cited by:
Related to: 10