Year: 2025
Type: dissertation
Abstract: As redes neurais têm experienciado um crescimento significativo no seu tamanho e complexidade nos últimos anos, levando a avanços notáveis em diversas áreas da inteligência artificial. No entanto, este aumento exponencial no seu número de parâmetros e das necessidades computacionais tem trazido desafios consideráveis, especialmente quando se trata de implementar estes modelos em ambientes com recursos limitados. Além disso, esta exigência computacional dos modelos de Deep Learning tem contribuído para um maior consumo de energia, gerando preocupações económicas e ambientais. Como consequência, reduzir o tamanho e a carga computacional das redes neurais tornou-se um objetivo essencial para alcançar soluções de Deep Learning mais eficientes, escaláveis e sustentáveis. Este trabalho propõe uma abordagem de pruning estruturado para lidar com este desafio, tratando o pruning comouma tarefa de optimização multiobjetivo e recorrendo a um Algoritmo Genético(AG)paraidentificar subredes optimizadas na arquitetura VGG-16 aplicada à tarefa de classificação de imagem com o dataset CIFAR10. Os filtros da rede são representados como um genoma que evolui iterativamente através de processos de seleção natural para encontrar o equilíbrio ideal entre desempenho e eficiência computacional. Devido ao elevado custo computacional das avaliações, utilizou-se uma estratégia de mitigação onde o AG foi treinado e avaliado em apenas 25% do dataset CIFAR-10. A aptidão de cada indivíduo é avaliada com base numa função que pondera a preservação da precisão (40%) e a redução do custo computacional total (NumOps, 60%). Resultados quantitativos demonstram que, em cenários de fine-tuning, o AG superou o método tradicional de pruning por norma L1 em todos os níveis de esparsidade testados, alcançando 88,31% de precisão com 50% de esparsidade, o que representa uma redução de 51,42% no custo computacional (7,14 milhões de operações) face ao modelo base. No entanto, em cenários de reinicialização, embora o AG tenha atingido 92,02% de precisão com 25% de esparsidade (superando o modelo base de 91,05% e reduzindo as operações em 20,46%), não igualou a precisão superior obtida pelo método L1-norm(94,70%). Aumnívelextremode75%deesparsidade, oalgoritmofalhouemevoluirsoluções viáveis devido à estagnação do espaço de busca. As principais observações revelam que o AG desenvolveu uma estratégia adaptativa inteligente por camada, aprendendo a preservar as camadas iniciais cruciais para a extração de características enquanto aplicava um pruning mais agressivo nas camadas finais. O principal contributo deste trabalho é o desenvolvimento de um framework de pruning evolutivo que descobre configurações arquiteturais eficientes, revelando-se particularmente valioso para a optimização de modelos pré-treinados em contextos reais onde o re-treino total do modelo a partir do zero é impraticável.
Source: CiencIPCA
Author: Silva, João
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7217945665