Work

Clustering-Based Training Methods for Convolutional Layers in Neural Networks

Year: 2023
Type: dissertation
Abstract: Durante el transcurso de la última década, las redes neuronales artificiales se han convertido en la punta de lanza del campo de la inteligencia artificial. Su capacidad para modelar funciones de altísima complejidad ha quedado demostrada una y otra vez con sus permanentes avances del estado del arte en prácticamente todos los dominios del área. Las redes convolucionales en particular, han revolucionado el campo de la visión artificial y han sido empleadas con éxito en problemáticas tan disímiles como el procesamiento de lenguaje natural y el modelado de series temporales. No obstante los inmensos avances producidos en tan pocos años, las redes neuronales artificiales continúan siendo, en muchos aspectos, misteriosas “cajas negras”. Debido a la cantidad de unidades de procesamiento que las conforman, la interpretación de los resultados (inferencias) que producen resulta extremadamente compleja. Adicionalmente, presentan problemas de eficiencia, particularmente durante su entrenamiento. Los recursos computacionales necesarios para entrenar una red de miles de millones de parámetros son inmensos, generando un impacto económico y ecológico significativos. Asimismo, esta ineficiencia actúa como limitante al libre acceso a esta tecnología. Este trabajo tiene el objetivo de comprender la codificación de los filtros convolucionales de la primera capa de las redes convolucionales, y proponer un nuevo método de entrenamiento para los filtros de esa capa. Se comenzó por realizar un análisis exploratorio de datos, tomando como punto de partida los filtros aprendidos sobre ImageNet por diversos modelos de redes convolucionales de alto rendimiento. Se indagó sobre las características del espacio de soluciones a las que los diferentes modelos arribaron y se exploraron posibles restricciones sobre este espacio producto del entrenamiento al que fueron expuestos. En el cuerpo principal del trabajo, se ensayaron dos metodologías para la obtención de filtros para una primera capa convolucional. Se aplicaron los algoritmos de agrupamiento K-Means y de reducción de dimensionalidad PCA para generar los filtros de la primera capa convolucional de una red convolucional, de forma no supervisada. El alcance de este trabajo se limitó a la búsqueda de métodos para entrenar únicamente la primera capa de la red, dejando para futuros trabajos la aplicación a capas subsiguientes. Para realizar los experimentos, se emplearon dos conjuntos de datos ampliamente utilizados en la literatura: CIFAR10 y Mnist-Fashion. Asimismo, se tomaron, a lo largo de todos los experimentos, dos modelos de redes convolucionales. Uno de ellos, SimpleConv, fue construido de forma ad-hoc por el tesista. El otro modelo utilizado es EfficientNet V2 Small, de amplia aceptación y utilización en la literatura. Se evaluaron los resultados de forma comparativa al método tradicional de entrenamiento por Descenso por Gradientes y Backpropagation para los dos conjuntos de datos y las dos arquitecturas mencionadas. Finalmente se realizó una serie de experimentos confirmatorios, llevando a cabo un análisis de los parámetros generados por los dos algoritmos alternativos de entrenamiento. Asimismo, se analizaron los cambios experimentados por los filtros durante el proceso de entrenamiento por Descenso por Gradientes y Backpropagation, condicionados a las características del algoritmo utilizado para su inicialización. Este trabajo aporta dos métodos novedosos de entrenamiento para la primera capa de filtros de una red convolucional. Los experimentos demuestran que ambos métodos producen filtros adecuados para una primera capa en la tarea de clasificación de imágenes sobre las configuraciones ensayadas. Bajo estas circunstancias, ambos métodos obtienen desempeños superiores a los obtenidos por el método tradicional de entrenamiento de descenso por gradientes.
Language: Spanish
Open Access status: green
OpenAlex ID: W6990009426
Cites: 40
Cited by:
Related to: 10