Modelo multimodal para la detección de emociones en usuarios de visores de realidad virtual mediante análisis postural y señales biométricas.
Year: 2026
Type: dissertation
Abstract: El reconocimiento automático de emociones se ha convertido en un componente esencial de los sistemas de información modernos, ya que permite adaptar la interacción digital al estado afectivo real del usuario y mejorar la experiencia en aplicaciones de salud, educación o interacción humano–computadora. Sin embargo, en entornos inmersivos de Realidad Virtual (RV) este proceso sigue representando un desafío, pues los métodos tradicionales basados en expresiones faciales resultan poco fiables debido a que los visores de inmersión ocultan gran parte del rostro y limitan la captura de señales visuales afectivas. Para superar esta limitación, este artículo presenta un modelo multimodal que integra señales de electrocardiograma (ECG) y características posturales obtenidas mediante visión artificial. La propuesta se basa en una arquitectura de fusión temprana que combina información fisiológica y corporal en un vector multimodal procesado mediante una red Long Short Term Memory (LSTM), capaz de modelar dependencias temporales relevantes para la detección precisa de emociones en RV. Se desarrolló una aplicación de RV con cuatro escenarios controlados (neutral, ira, miedo y alegría) para inducir respuestas emocionales mientras se registraban simultáneamente señales ECG y puntos corporales mediante MediaPipe. Los datos fueron sincronizados, preprocesados y utilizados para entrenar y validar el modelo. Adicionalmente, se aplicaron los cuestionarios PANAS y SGUS para comparar los estados emocionales reportados con las predicciones automáticas. Los resultados experimentales muestran que la fusión de ECG y postura supera a los enfoques unimodales, mejorando la precisión y robustez del reconocimiento emocional en RV. Este estudio introduce un modelo diseñado para el reconocimiento afectivo bajo oclusión facial en visores de inmersión y sienta una base sólida para el desarrollo de sistemas inmersivos adaptativos aplicados a salud, interacción humana computadora y aplicaciones en terapia, salud inteligente y computación afectiva.
Institution: National Polytechnic School
Language: Spanish
Topic: Emotion and Mood Recognition
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7148227957
