Couches Dense et Conv2d « sphériques » par l'algèbre géométrique conforme
Year: 2021
Type: conference-paper
Abstract: Les couches de type Dense et Conv2d constituent parmi les briques élémentaires les plus populaires des réseaux de neurones actuels. Dans cet article, nous proposons d’en explorer une variante où les hyperplans sont remplacés par des hypersphères. Nous utilisons pour cela le modèle conforme défini par Hestenes et al. [6] où des hypersphères en dimension n peuvent être paramétrées par un vecteur de l’algèbre géométrique conforme Rn+1,1.En ce qui concerne la couche Dense, une approche similaire existe déjà dans Banarer et al. [1]. L’implémentation de ces deux nouveaux types de couche via des opérateurs d’algèbre linéaire/de convolution classiques est explicitée en même temps que les contraintes pour la mise à jour des poids. L’observation d’expérimentations réalisées sur des données synthétiques et des bases d’images conduit à conclure que les variantes « sphériques » des couches Dense et Conv2d améliorent la fonction de coût et convergent plus rapidement avec un nombre identiques de paramètres. Malheureusement, ce type de couches se révèlent parfois plus sensibles à l’initialisation ce qui peut conduire à une certaine instabilité. Quelques pistes pour remédier à ces problèmes sont présentées.
Source: HAL
Institution: Laboratoire Mathématiques, Image et Applications
Language: French
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W4286977992