Year: 2026
Type: dissertation
Abstract: Les xarxes neuronals s'utilitzen àmpliament en la visió per computador per a una àmplia gamma de tasques, on les xarxes s'entrenen habitualment amb conjunts de dades en una única sessió d'entrenament. No obstant això, fer que aquestes xarxes aprenguin de manera contínua és un repte, ja que en aquest paradigma els models s'han d'adaptar a noves dades d'entrenament incorporades al llarg del temps. Un aspecte crític de l'aprenentatge continu és l'oblit del coneixement anteriorment après després d'entrenar amb noves dades. Un altre desafiament per a l'entrenament de xarxes neuronals és el paradigma de l'aprenentatge federat, on les dades estan distribuïdes entre diversos clients en lloc d'una única font, la qual cosa provoca desequilibri de classes i heterogeneïtat de dades entre clients. Aquesta tesi investiga l'aprenentatge continu en un entorn sense exemples, un paradigma que prohibeix emmagatzemar dades de tasques anteriors. Explo- rem l'ús de prototips de classes per a la classificació i investiguem l'ús de la distància euclidiana assumint representacions de característiques isotròpiques. Demostrem que les distribucions de característiques de les classes no són isotrò- piques en un entorn continu a causa del dilema estabilitat-plasticitat. Discutim dues pràctiques principals d'entrenament continu: Per una banda, entrenar la xarxa en una primera tasca amb un conjunt de dades gran i congelar-la, de forma que només s'entrena la capa de classificació de forma continua en les tasques successives. Per l'altra, entrenar tota la xarxa de nou per a cada nova tasca. En el primer cas, proposem aprofitar les covariàncies de les característi- ques per tenir en compte les distribucions anisotròpiques de les noves classes en què el model no ha estat entrenat. En el segon cas, analitzem la qüestió del desplaçament semàntic a l'espai d'embedding i proposem generar mostres adversarials a partir de les dades de la nova tasca que puguin comportar-se de manera similar a les de la tasca antiga. Aquestes mostres generades són pseudo-exemples que s'utilitzen per rastrejar el moviment dels prototips de classe en l'espai d'embedding en evolució. Més enllà de la classificació d'imatges, també estudiem l'aprenentatge continu per a la recuperació d'informació, on l'objectiu és recuperar el document més similar a un document de referència dins d'un corpus gran de documents. Discutim la qüestió de la incompatibilitat que sorgeix de desar prèviament les representacions del corpus de les tasques antigues i d'utilitzar el model més recent per codificar les consultes durant la recuperació. Proposem desplaçar les representacions de les consultes a l'espai de representacions antic durant la recuperació per compensar el desplaçament de l'espai de representacions, evitant així la necessitat de re-indexar o calcular les representacions de tot el corpus cada vegada que s'actualitza el model. Per a l'aprenentatge federat, explorem l'ús d'extractors de característiques preentrenats que assoleixen un rendiment superior explotant només les distribu- cions de característiques dels clients en un entorn sense entrenament. Analitzem com el fet de compartir estadístiques de segon ordre dels clients augmenta el pressupost de comunicació i proposem estimar aquestes estadístiques de segon ordre al servidor utilitzant només estadístiques de primer ordre dels clients amb un estimador de covariància demostrablement no esbiaixat. L'enfocament proposat sense entrenament redueix dràsticament el cost de comunicació mentre aconsegueix una inicialització de classificador més estable i eficaç.
Author: Goswami, Dipam
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7160462647
Cites:
Cited by:
Related to: