Work

Exploring reinforcement learning in natural language processing

Year: 2021
Type: dissertation
Abstract: El Procesament del Llenguatge Natural és el conjunt de tasques que tracten amb el llenguatge "humà". En aquest treball ens centrem en la traducció automàtica, una d'aquestes tasques, que consisteix en traduir automàticament d'un idioma a un altre. La principal forma d'afrontar aquesta tasca és mitjançant l'ús de tècniques de aprenentatge profund, particularment d'aprenentatge supervisat. Aquest treball té com objectiu explorar l'aplicació de tècniques de aprenentatge per reforç a la traducció automàtica. Experimentem amb dos datasets d'extremadament baixos recursos (IWSLT14 alemany-anglès i FLoRes nepalès-anglès) així com amb dues arquitectures d'aprenentatge profund diferents: el Transformer i una red bi-LSTM. Hem observat que les tècniques habituals d'aprenentatge per reforç aplicades al Transformer requereixen molta memòria de la GPU i per tant no hem pogut completar exitosament l'entrenament dels models. No obstant, hem obtingut resultats positius als experiments amb bi-LSTM.
Language: English
Open Access status: green
OpenAlex ID: W3180701530
Cites:
Cited by:
Related to: 10