Amélioration de la robustesse des réseaux de neurones multimodaux par identification et désactivation des modalités endommagées
Year: 2022
Type: conference-paper
Abstract: Pour la compréhension de scènes routières, la robustesse des systèmes de perception multimodaux est nécessaire, afin de garantir une fiabilité en cas de dysfonctionnement de capteurs.Dans ce contexte, une modalité d'entrée endommagée peut perturber leur bon fonctionnement.Dans cet article, nous proposons Noise Augmentation, une technique d'augmentation de données qui produit des modalités inexploitables pendant l'entraînement d'un réseau de neurones multimodal, et ModAM, un réseau de neurones convolutionnel qui pré-traite les modalités d'entrée, afin d'identifier et désactiver celles qui sont endommagées.Les expériences montrent que la combinaison de nos 2 contributions rend nos détecteurs d'objets significativement plus robustes en conditions dégradées, sans diminuer leurs performances globales en conditions normales.Abstract -For road scene understanding, robustness of multimodal perception systems is necessary to ensure reliability in case of sensor malfunction.In this context, a noisy input modality may disrupt their proper operation.In this paper, we propose Noise Augmentation, a data augmentation technique that produces unusable modalities during a multimodal neural network training, and ModAM, a convolutional neural network that preprocesses input modalities, in order to identify and deactivate the unusable ones.Experiments show that the combination of our 2 contributions makes our object detectors significantly more robust in degraded conditions, without decreasing their overall performances in normal conditions.
Source: HAL
Language: French
Subfield: Automotive Engineering
Field: Engineering
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W4415319129