Modelos generativos basados en mecanismos de difusión
Year: 2024
Type: dissertation
Abstract: El presente proyecto se centra en el desarrollo de un modelo generativo basado en mecanismos de difusión, específicamente un modelo de difusión condicionado Denoising Diffusion Probabilistic Models (DDPM), para la síntesis de imágenes de Pokémon condicionadas según su tipo (fuego, dragón, veneno, etc.). Este proyecto ha sido implementado desde cero utilizando principalmente TensorFlow y Keras y siguiendo la estructura y algoritmos descritos en diversas fuentes académicas centradas en modelos de difusión. En la memoria, se describen los datos utilizados para el entrenamiento del modelo, así como su procesamiento y filtrado, con el objetivo de entrenar adecuadamente el DDPM. Se detallan los pasos seguidos hasta la obtención de los resultados finales, incluyendo la metodología empleada, la búsqueda, estudio e implementación de las diferentes arquitecturas y funcionalidades, junto con su evolución y mejora. Para consolidar los conocimientos sobre la implementación de un DDPM condicionado, se presentan los distintos modelos de difusión desarrollados a lo largo del proyecto. Esto permite ilustrar su evolución y mejora, desde los modelos más simples hasta el modelo final optimizado. Una vez establecidos dichos modelos, se procede a su validación y ajuste para asegurar que las muestras finales generadas presenten los mejores resultados posibles. El trabajo concluye con la propuesta de futuras líneas de investigación que permitirán perfeccionar y mejorar el modelo de síntesis de Pokémon. Este enfoque destaca la versatilidad de los modelos generativos en la creación de contenido visual a partir de información contextual, así como el uso de técnicas avanzadas en el estado del arte actual para la síntesis de imágenes. Abstract: This project focuses on the development of a generative model based on diffusion mechanisms, specifically a conditional diffusion model known as Denoising Diffusion Probabilistic Models (DDPM), for the synthesis of Pokémon images conditioned by their type (fire, dragon, poison, etc.). This project has been implemented from scratch using primarily TensorFlow and Keras, and follows the structure and algorithms described in various academic sources focused on diffusion models. The report describes the data used for training the model, as well as its processing and filtering, with the aim of adequately training the DDPM. It details the steps followed until the final results are obtained, including the methodology employed, the search, study, and implementation of different architectures and functionalities, along with their evolution and improvement. To consolidate knowledge about the implementation of a conditional DDPM, the different diffusion models developed throughout the project are presented. This illustrates their evolution and improvement, from the simplest models to the final optimized model. Once these models are established, they are validated and adjusted to ensure that the final generated samples present the best possible results. The work concludes with proposals for future research lines that will allow for the refinement and improvement of the Pokémon synthesis model. This approach highlights the versatility of generative models in creating visual content from contextual information, as well as the use of advanced techniques in the current state of the art for image synthesis.
Source: Hispana
Author: Pequeño Lizcano, Alejandro
Language: Spanish
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7058368349