Work

Estimation du flux optique à partir des données issues descapteurs événementiels avec des réseaux de neuronesimpulsionnels

Year: 2024
Type: dissertation
Abstract: Ces travaux de thèse ont pour but le développement d'un modèle de vision artificielle prenant des données issues d'une caméra basée sur des événements pour l'estimation du flux optique dans la scène visuelle. Ce projet repose donc sur trois piliers : premièrement, le flux optique, grandeur associée à la fois à la profondeur et au déplacement relatif entre l'observateur et le monde autour de lui, et qui représente la distribution du champ de vitesses dans la scène visuelle. Cette grandeur, d'importance clé pour la navigation des animaux, est de plus en plus recherchée en vue de ses potentielles applications dans de nouvelles technologies telles que les voitures autonomes. Deuxièmement, les caméras basées sur des événements (EC), un type de capteur bio-inspiré dont les pixels fournissent une information sur les variations locales de la luminosité de façon asynchrone et en temps réel : une augmentation locale de la luminosité déclencherait un événement positif au pixel concerné, tandis qu'une diminution de la luminosité déclencherait un événement négatif. C'est en effet cette information temporelle qui rend les EC aussi intéressantes en tant que capteur pour la vision artificielle, et notamment pour des tâches temporelles telle que l'estimation du flux optique. Ce type de capteurs présente certains avantages par rapport aux caméras conventionnelles : latence inférieure, gamme dynamique très large et efficacité énergétique. Ces avantages sont mitigés par une résolution spatiale inférieure, ainsi que par un manque d'information sur la luminosité absolue dans la scène. Finalement, les réseaux de neurones impulsionnels (SNN) sont des algorithmes d'apprentissage profond composé de neurones bio-inspirées. D'une part les neurones impulsionnels sont dotés d'une mémoire au niveau de leur potentiel de membrane, d'autre part l'information n'est propagée que quand ce potentiel dépasse un certain seuil. Ces neurones sont caractérisés par leur efficacité énergétique quand déployés sur des puces dédiées, car une absence d'information se traduit dans une absence d'impulsions, et par conséquent dans une très faible consommation énergétique. Ainsi, la triade flux optique - EC - SNN se présente comme un système fermé et cohérent : des capteurs liés au mouvement (avec absence d'information si le déplacement relatif est nul), avec des neurones bio-inspirés à propriétés similaires, et tout cela appliqué pour l'estimation d'une grandeur essentiellement liée à la temporalité du mouvement. Nos travaux ont commencé par le développement d'un SNN capable d'estimer le flux optique à partir des données issues des EC. Finalement, nos efforts ont abouti à une publication en mai 2023 dans Frontiers en Neuroscience, introduisant le meilleur SNN de l'état de l'art pour cette tâche. Notre modèle, disponible dans https://github.com/J-Cuadrado/OF_EV_SNN, présente un SNN sans mémoire capable d'exploiter la temporalité des données évènementielles grâce à des convolutions le long de la dimension temporelle pour une représentation améliorée de cette information au niveau du bottleneck en augmentant son champ récepteur effectif. Nous avons continué nos travaux avec une étude sur l'intégration des images en niveau de gris dans un modèle plus complexe pour améliorer les performances du modèle. Bien que nos résultats aient été encourageants jusqu'à présent, nous n'avons pas encore réussi à systématiquement battre nos meilleurs résultats. Ainsi, il s'avère que l'information contenue dans des images standard pourrait en effet ne pas être nécessaire pour l'estimation du flux optique. Par conséquent, nous allons poursuivre nos travaux sur cette ligne de recherche, soit pour vérifier cette hypothèse, soit pour effectivement améliorer les performances de notre modèle grâce à l'exploitation d'une information bimodale.
Source: HAL
Language: English
Open Access status: green
OpenAlex ID: W4403998835
Cites: 135
Cited by:
Related to: 10