Software Development of Deep Neural Networks Methods applied to Face-based Emotion Recognition and Pain Detection
Year: 2025
Type: dissertation
Abstract: Emotions are a quintessential part of the human experience.Although not all humans experience or express them equally, emotions often guide one's life.When verbal expression fails, body language and facial expressions can help us convey what we feel.These are generally understood regardless of origin or upbringing, being mostly unconscious reactions and thus less controllable.This has drawn interest from the scientific and software development communities.If our facial expressions are understood almost intrinsically, what are the patterns enabling this comprehension?And more importantly, can computational systems replicate it?This is how Facial Emotion Recognition (FER), and later Automatic Facial Emotion Recognition (AFER) methods began.While they traditionally focus on simpler emotions, happiness, anger, disgust and fear, another, more niche state, has captured recent interest: pain.Pain is essential for interacting with the environment and understanding if we are under duress.While it may overlap with conventional emotion definitions, there are key factors that differentiate it.It is also crucial for health and well-being management."How much", "when" and "where" are vital for accurate clinical assessment.Therefore, AFER systems specialized in pain recognition have started to be explored.Although no clinically applicable options exist yet, advancements in AFER, informatics, and artificial intelligence (AI) have accelerated progress in pain recognition.This work examines the history of this field, and experimentally evaluates models for binary pain recognition.The Biovid and MIntPAIN databases served as the basis for this study, providing facial images and videos captured under pain-inducing stimuli.Images emphasizing the contrast between neutral and painful states were extracted, converted to greyscale, stored, and resized according to model requirements.Two model families were evaluated: a Resnet18 convolutional model modified for smaller datasets, later expanded to support parallel processing of an input vector of 17 Facial Action Units (FAUs) intensity features as a second approach; and a Data-efficient Image Transformer (DeiT), evaluated as an attention-based alternative.Model performance was evaluated under multiple conditions, including data augmentations (horizontal flip and random occlusion) varying weight freezing percentages, and different initialization methods.For the Resnet18 models, random initialization and transfer learning from the FER2013 database; for the DeiT, only initialization in the Imagenet dataset was explored.Both sources are widely used in AFER.The results obtained were significantly below what is found in the literature, with accuracies ranging from 46.3% to 57.1%.The findings highlight the difficulty of simpler models in adapting to stronger modifications of the base images, while the DeiT showed better robustness within similar circumstances.The integration of FAU features consistently helped the performance of the weaker model, even if only slightly.Factors such as limited dataset size and restricted data preparation methods, leading to overfitting, likely contributed to the reduced accuracy.As such, suggested future work should broaden the spectrum of accepted features, to include RGB images, temporal features, and potentially other biosignals to better the classification results.i Resumo As emoções são essenciais para a experiência humana.Embora nem todos as experienciem ou expressem da mesma forma, as emoções guiam a vida de cada indivíduo.Quando a expressão verbal falha, a linguagem corporal e as expressões faciais permitem comunicar o que se sente.Estas são geralmente compreendidas independentemente de origem ou educação, sendo reações inconscientes e por isso menos controláveis.Isto tem despertado interesse nas comunidades científica e de de desenvolvimento de software.Se as nossas expressões faciais são compreendidas intrínsecamente, quais os padrões que permitem essa compreensão?E, mais importante, podem sistemas computacionais replicá-la?Assim surgiram os métodos de Reconhecimento Facial de Emoções (FER), e mais tarde Reconhecimento Facial Automático de Emoções (AFER).Embora geralmente se foquem em emoções básicas, como felicidade, raiva, nojo, e medo, outro estado tem captado interesse: a dor.A dor é essencial para as nossas interações com o ambiente e para perceber se estamos em sofrimento.Embora possa coincidir com definições convencionais de emoção, existem fatoreschave que a diferenciam.É também crucial para a gestão da saúde e bem-estar."Quanto", "quando" e "onde" são informações vitais para uma avaliação clínica precisa.Por isso, têm sido explorados sistemas AFER especializados no reconhecimento da dor.Embora ainda não existam opções clinicamente aplicáveis, avanços em AFER, informática e inteligência artificial (IA) têm acelerado o progresso nesta área.Este trabalho examina a história deste campo, e avalia modelos para reconhecimento binário da dor.As bases de dados Biovid e MIntPAIN serviram de base para o estudo, fornecendo imagens faciais e vídeos capturados sob estímulos de dor.Imagens que enfatizam o contraste entre estados neutros e dolorosos foram extraídas, convertidas para tons de cinza, armazenadas e redimensionadas de acordo com os requisitos dos modelos.Foram avaliadas duas famílias de modelos: uma Resnet18 convolucional, modificada para conjuntos pequenos de dados, e posteriormente expandida para incluir processamento paralelo de um vetor com 17 intensidades de Unidades de Ação Facial (FAUs) como segunda abordagem; e um Transformer Eficiente de Imagem (DeiT), avaliado como alternativa baseada em atenção.O desempenho dos modelos foi avaliado em múltiplas condições, incluindo aumento de dados (espelhamento horizontal e oclusão aleatória), diferentes percentagens de congelamento de pesos e métodos de inicialização distintos.Para os modelos Resnet18, explorou-se a inicialização aleatória e a transferência de conhecimento a partir da base FER2013; para o DeiT, apenas a inicialização na base Imagenet foi utilizada.Ambas as bases são amplamente utilizadas para AFER.Os resultados obtidos ficaram significativamente abaixo do reportado na literatura, com precisões entre 46,3% e 57,1%.Estes resultados destacam a dificuldade dos modelos mais simples em adaptar-se a alterações mais complexas das imagens, enquanto que o DeiT demonstrou maior robustez em condições semelhantes.A integração das FAUs ajudou consistentemente o desempenho do modelo mais fraco, ainda que de forma ligeira.Fatores como o tamanho limitado dos conjuntos de dados e métodos restritos de preparação, conduzindo a overfitting, contribuíram para a ii iii redução
Author: Diogo Henrique Vieira Andrade
Language: English
Topic: Emotion and Mood Recognition
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7113672359