Leveling the Playing Field: Ethnicity-Guided Synthetic Data Generation for Fair Face Recognition
Year: 2025
Type: dissertation
Abstract: A rápida proliferação de tecnologias de reconhecimento facial em aplicações críticas de segurança e de consumo trouxe à tona desafios éticos, legais e técnicos profundos.O viés demográfico nos dados de treino compromete a equidade, enquanto a recente remoção de datasets de imagens reais em larga escala (por exemplo, MS-Celeb-1M) limitou a disponibilidade de dados e a reprodutibilidade.Esta tese apresenta um pipeline de difusão sensível à etnia que gera imagens faciais sintéticas com garantias demonstráveis de equidade e risco mínimo de privacidade.A nossa framework inicia-se com um classificador Ethnicity Score, treinado num dataset equilibrado de fontes públicas, que orienta a seleção de identidades para assegurar uma representação proporcional em quatro principais grupos demográficos.Aplicam-se dois geradores de difusão complementares -IDiff-Face para prototipagem rápida e DCFace para síntese escalável -sob três regimes hierárquicos de amostragem (1 000; 10 000; 500 000 imagens), originando 46 conjuntos de dados rotulados.Realizámos uma análise aprofundada das configurações de grelha de estilo e densidades de amostragem, identificando uma grelha DCFace 5x5 ótima com uma seleção estratificada e filtragem de alta confiança, capaz de produzir 500 000 imagens usando 10 000 identidades.Esta configuração atinge uma cobertura efetiva por raça ENS race ≈ 3, 8 (superior à diversidade do RFW) e reduz para metade o índice de estereótipo do RFW.Os modelos treinados nos datasets sintéticos são avaliados em sete benchmarks -LFW, AgeDB-30, CALFW, CPLFW, CFP-FF, CFP-FP e RFW -usando uma arquitetura lightweight (IResNet-34), complementada com alinhamento usando RetinaFace e RANDAUGMENT.O nosso modelo atinge uma accuracy média de verificação de 84,7% nos seis conjuntos in-domain e 79,6% no RFW, reduzindo a dispersão de desempenho entre etnias para 3,78 pp e o erro enviesado para 1,65 pp.Normalizado pelo volume de dados, fornece 174 pontos de benchmark por milhão de imagens -2,5× a densidade do DigiFace-1M e uma ordem de grandeza acima do VariFace.Demonstra-se ainda que ganhos em fidelidade fotométrica (menor FID RFW ) ocorrem em simultâneo com melhorias em ENS race , evidenciando uma sinergia entre realismo e equidade.Estudos de ablação confirmam que a estratégia de amostragem é o fator dominante no ganho de equidade, enquanto arquiteturas mais profundas ou o uso de losses alternativas proporcionam apenas retornos marginais.Em comparação com abordagens baseadas em GAN do estado da arte, o nosso corpus de difusão de escala moderada iguala ou supera a accuracy de reconhecimento em 7-12 pp e reduz as lacunas de desempenho racial em mais de 35%.Além disso, tanto em cenários de difusão como de GAN, o uso de uma arquitetura compacta (IResNet-34) em vez da IResNet-50 de referência reduz o custo computacional em aproximadamente 40% sem comprometer a accuracy ou a equidade.Estes resultados demonstram que conjuntos de dados de difusão de escala moderada, equilibrados demograficamente, oferecem um caminho escalável e consciente da privacidade para implementações de reconhecimento facial mais justas.
Author: André Filipe Garcez Moreira de Sousa
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
SDG: Reduced inequalities
Open Access status: green
OpenAlex ID: W7077172712