Architetture transformer unificate per la rappresentazione e la generazione di serie temporali di dati tabulari eterogenei
Year: 2026
Type: dissertation
Abstract: The increasing adoption of Deep Learning models across diverse domains has recently stimulated research on extending such methods to structured tabular data, especially when these data exhibit temporal dependencies, as in transactional or nancial time series.However, tabular datasets pose unique challenges due to their heterogeneous nature, combining numerical and categorical features, and the variable temporal structure of the data.This thesis presents a uni ed Transformer-based framework for both representation and generation of time-dependent heterogeneous tabular data.We rst introduce UniTTab, a Transformer architecture capable of representing transactional time series through a uniform embedding space that jointly encodes categorical and numerical attributes.Trained via a masked token pretext task, UniT-Tab e ectively captures temporal dependencies and internal heterogeneity, outperforming traditional Machine Learning and Deep Learning methods across various prediction and classi cation tasks.Building on this representation foundation, we explore large-scale training of Transformer models on real-world bank transaction datasets, establishing the rst foundation model for transactional data.We then extend this framework to data generation, introducing two models-UniTTab-AR, an autoregressive Transformer, and BankDiT, a di usion-based Transformer-for synthetic transaction generation.These models address privacy constraints in the nancial domain by producing realistic yet non-sensitive synthetic data that preserve temporal dynamics and statistical properties of real transactions.I Finally, we generalize the di usion-based approach to the broader task of tabular time series generation, introducing TabDiT, a Di usion Transformer architecture speci cally designed for heterogeneous and variable-length sequences, and demonstrating state-of-the-art performance across multiple datasets.Overall, this work contributes a coherent framework that uni es the representation, learning, and generation of heterogeneous temporal tabular data through large-scale Transformer architectures, paving the way for foundation models in structured temporal domains such as nance, healthcare, and beyond. IIArchitetture Transformer Uni cate per la Rappresentazione e la Generazione di Serie Temporali di Dati Tabulari Eterogenei Sommario La crescente adozione di modelli di Deep Learning in diversi ambiti applicativi ha recentemente stimolato la ricerca sull'estensione di tali metodologie anche ai dati tabulari strutturati, in particolare quando questi presentano dipendenze temporali, come nel caso delle serie transazionali o nanziarie.Tuttavia, i dataset tabulari pongono s de peculiari dovute alla loro natura eterogenea -che combina attributi numerici e categoriali -e alla variabilità della loro struttura temporale.Questa tesi presenta un framework uni cato basato su architetture Transformer per la rappresentazione e la generazione di dati tabulari eterogenei dipendenti dal tempo.Inizialmente, viene introdotto UniTTab, un modello Transformer in grado di rappresentare serie temporali transazionali attraverso uno spazio di embedding uniforme che codi ca congiuntamente caratteristiche numeriche e categoriche.Addestrato mediante un "pretext task" di tipo masked token, UniTTab cattura e cacemente le dipendenze temporali e l'eterogeneità interna dei dati, superando approcci di Machine Learning e Deep Learning tradizionali in diversi compiti di previsione e classi cazione.A partire da questa base di rappresentazione, il lavoro esplora l'addestramento su larga scala di modelli Transformer su dataset reali di transazioni bancarie, de nendo il primo foundation model per dati transazionali.Successivamente, il framework viene esteso alla generazione di dati, introducendo due modelli: UniTTab-AR, un Transformer autoregressivo, e BankDiT, un Transformer III basato su modelli di tipo di usion.Entrambi a rontano le problematiche di privacy tipiche del dominio nanziario, generando dati sintetici realistici ma non sensibili, che preservano le dinamiche temporali e le proprietà statistiche delle transazioni reali.In ne, la tesi generalizza l'approccio basato su di usion al compito più ampio della generazione di serie temporali tabulari, introducendo TabDiT, un'architettura Di usion Transformer speci camente progettata per dati eterogenei e sequenze di lunghezza variabile, che dimostra prestazioni allo stato dell'arte su diversi dataset.Nel complesso, questo lavoro propone un quadro coerente che uni ca rappresentazione, apprendimento e generazione di dati tabulari temporali eterogenei tramite architetture Transformer su larga scala, aprendo la strada allo sviluppo di modelli fondamentali per domini strutturati e temporali, come quello nanziario, sanitario e oltre.IV 8.2.2 Variable-length time series . . . . . . . . . . . . . . .8.3 Experiments . . . . . . . . . . . . . . . . .
Language: English
Subfield: Signal Processing
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7155669207