Sur le manque d'expressivité des réseaux de neurones et leur résolution de manière optimale par accroissement d'architecture
Year: 2025
Type: dissertation
Abstract: Cette thèse propose une stratégie originale d'accroissement d'architecture de réseaux de neurones en un coup, c'est-à-dire qui optimise conjointement l'architecture du réseau et ses paramètres. Cette méthode s'appuie sur une nouvelle métrique appelée le Manque d'Expressivité, qui associe à un emplacement de l'architecture du réseau actuel, son incapacité à suivre sa dérivée fonctionnelle. Il est montré que cette incapacité, ou Manque d'Expressivité, peut être résolu de manière optimale par l'ajout de neurones appropriés. Ce faisant, la résolution du manque d'expressivité fournit des outils et des propriétés pour développer une architecture à partir d'un très petit nombre de neurones. Ces travaux prouve, théoriquement et empiriquement, que les techniques de croissance basées sur cette métrique convergent vers une expressivité totale, et que si le rôle du gradient fonctionnel est explicite et majeur dans l'expression du Manque d'Expressivité, il est montré que ce rôle est aussi, implicitement, important dans d'autres stratégies récentes de recherche d'architectures neuronales.
Source: theses.fr (ABES)
Author: Verbockhaven, Manon
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7080184235
Cites:
Cited by:
Related to: