Year: 2023
Type: dissertation
Abstract: Vers l'invariance à la rotation pour les réseaux de neurones : application à la détection de (pose de) personnes Les réseaux de neurones actuels ont atteint des performances significatives sur de nombreuses tâches de vision, y compris la détection d'objets et l'estimation de la pose des personnes. Cependant, la détection d'objets à différentes orientations, avec des occlusions partielles et à plusieurs échelles reste des défis scientifiques non résolus. Cette thèse s’intéresse au problème de l'invariance à la rotation dans les réseaux de neurones. Nous proposons un incrément pour atteindre la performance en perception des êtres humains : identifier une personne de manière robuste, en particulier dans des poses complexes. Pour évaluer la performance en rotation des modèles, nous proposons COCOR, un jeu de données construit par rotation à partir de COCO dataset, utilisé comme benchmark pour évaluer l’invariance à la rotation pour la détection d'objets et (de pose) de personnes.Plusieurs approches ont été proposées dans la littérature pour résoudre le problème d'invariance à la rotation dans les tâches de détection : l’intégration d'approches « steerables » dans les architectures existantes, les approches de correction de l’orientation globale de l'image et les approches d’orientation locales de la personne. Notre approche de correction globale offre les meilleurs résultats sur les images de COCOR. Pour les évaluations du COCOR validation, nous avons obtenu les meilleurs scores de 58,5 mAP0.5:0.95 (29,8 points de plus) et 85,3 mAP0.5 (35,2 points de plus) sur la détection de personnes, et 76,1 mAP0.5:0.95 (24,8 points de plus) et 92,5 mAP0.5 (18,5 points de plus) sur l'estimation de la pose des personnes. L'intégration des opérations cyclique, proposées précédemment, dans les réseaux existants fournit des résultats invariants à la rotation seulement sur les tâches de classification d'images, mais pas sur les tâches de détection d'objets et de (pose de) personnes.Pour cette raison, nous proposons Spatial Wise Rotation Invariant Transformer (SWRIT). Le module SWRIT est composé de trois composants : SWRIT-Head, le réseau « backbone » et SWRIT-Tail. SWRIT-Head, empilement des poids d'origine et leur version à différents angles, est appliqué au début du réseau pour obtenir des caractéristiques multi-angles en entrée. Ces caractéristiques sont transmises au modèle backbone pour extraction de caractéristiques plus avancées. SWRIT-Tail est ajouté au réseau pour apprendre et combiner différentes caractéristiques de rotation par le biais d'un module d'attention sensible à la rotation avec une « rotation loss » dédiée. SWRIT peut être intégré dans les réseaux de neurones actuels pour résoudre le problème de rotation dans les tâches de détection. D'après nos résultats d'expérimentation sur COCOR, nous avons obtenu les meilleurs performances à 39,3 mAP0.5:0.95 (10,3 points de gain en absolu) et 64,2 mAP0.5 (14,1 de gain absolu) pour la détection de personnes, et 64,9 mAP0.5:0.95 (13,6 de gain absolu) et 85.8 mAP0.5 (11,8 de gain absolu) sur la détection de pose. A l'aide de SWRIT, nous sommes en mesure d'améliorer les performances des réseaux en matière de détection de (pose de) personnes et de construire un réseau plus robuste vis-à-vis de la rotation.
Source: theses.fr (ABES)
Author: Rottana Ly
Institution: Université Grenoble Alpes
Language: French
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7152106331