Year: 2026
Type: dissertation
Abstract: Inférence adaptative pour des réseaux de neurones profonds à faible coût L'essor continu des réseaux de neurones profonds s'accompagne d'une explosion du coût computationnel, de la latence et de la consommation énergétique lors de l'inférence. Ces contraintes deviennent critiques dans les scénarios de vision par ordinateur temps réel, où plusieurs flux vidéo doivent être traités en parallèle sur des plateformes edge à ressources limitées, ainsi que dans l'exécution de modèles à grande échelle hébergés dans des centres de données. Cette thèse propose une approche systématique fondée sur les sorties anticipées (early exit) pour adapter dynamiquement la profondeur effective d'un réseau en fonction de la difficulté de chaque instance. Le manuscrit explore trois aspects: Architecture : conception, placement et dimensionnement optimaux des branches de sortie permettant de préserver la hiérarchie des caractéristiques tout en minimisant le surcoût paramétrique; Entraînement : stratégies de pertes hiérarchiques, distillation multi-niveaux et calibration statistique des sorties visant à équilibrer précision globale et fiabilité des estimateurs intermédiaires; Inférence : politiques basées sur des seuils de confiance statistiquement fondés pour décider de l'arrêt précoce, et protocole de mesure latence-énergie sur plates-formes GPU serveur et Jetson. Les contributions majeures incluent :i) une exploration systématique des méthodes existantes à travers toute la chaîne de déploiement de l'early exit (architecture, entraînement et inférence); ii) une approche d'inférence basée sur le rejet permettant l'utilisation efficace des sorties anticipées dans des environnements à ressources contraintes; iii) une méthodologie spécifique d'entraînement et d'inférence adaptée aux modèles de langage de grande taille (LLMs) permettant d'exploiter les sorties anticipées pour réduire significativement les coûts computationnels tout en préservant la qualité des réponses générées. L'ensemble du code, des scripts de profilage et des modèles entraînés est publié en open-source afin de favoriser la recherche sur l'efficacité énergétique du deep learning. Les résultats obtenus confirment que les réseaux à early exit constituent une solution pragmatique pour concilier performances et sobriété numérique, ouvrant la voie à des déploiements sécurisés et respectueux de la vie privée sur l'edge et au-delà
Source: theses.fr (ABES)
Author: Florian Valade
Institution: Université Gustave Eiffel
Language: French
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7160402325
