Year: 2023
Type: dissertation
Abstract: Les xarxes neuronals utilitzen cada cop més paràmetres per tal de millorar els models, a base del que es coneix com incrementar la capacitat d'aprenentatge. La regularització és un mètode que tradicionalment ha servit per fer més robust els algorismes i que, en certes circunstàncies en millora els resultats. Aquestes certes circunstàncies sovint apliquen a les xarxes neuronals on s'acostuma a utilitzar una tècnica anomenada dropout, que consisteix en tornar a zero (fer drop) alguns pesos de la xarxa neuronal de manera aleatòria. Sovint no s'estudia prou aquesta tècnica que podria portar a un augment en els resultats de les xarxes neuronals i podria fer reduir la quantitat de paràmetres necessària. En aquest Treball Final de Grau s'analitza el seu efecte en els Transformers aplicat de manera diferent a l'encoder i al decoder, no només tenint en compte les diferents variacions disponibles de dropout sinó també explorant diversos escenaris amb diferents quantitats de dades disponibles per entrenar. Els resultats mostren que el dropout a l'encoder és esencial per regularitzar els Transformers i confirmen que el dropout d'estructures a l'encoder degrada el model.
Author: Rosinés Pozo, Pol
Language: Catalan
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7010718027