Get started
Work

Where OOD detectors go blind: a validation protocol across four substrates, and why autoregressive ASR likelihood is not an OOD score

Year: 2026
Type: preprint
Abstract: Resumo. Sistemas de IA que precisam decidir "isto está fora do meu domínio?" falham de quatro maneiras distintas. Em duas delas o sistema não fica incerto — fica confiantemente errado, o que é o pior caso porque ninguém desconfia de um sistema convicto. Este trabalho aplica um protocolo de validação a quatro substratos (imagem, texto, agentes corporificados e fala) e, numa rodada final, a 18 modelos com dois tipos de sensor medidos em cada um. Prior art, dito primeiro. A inversão de verossimilhança em modelos generativos foi estabelecida por Nalisnick et al. (ICLR 2019), e a explicação por complexidade da entrada por Serrà et al. (ICLR 2020). Chegamos a ambas de forma independente. Isso é evidência de que o instrumento funciona, e não é contribuição nossa. O que este trabalho acrescenta é o protocolo de validação e um achado de engenharia específico. O achado. A verossimilhança por token de um decoder autorregressivo de ASR não é um score de OOD válido. Medido em seis modelos Whisper contra ruído sintético: AUROC de 0,074 a 0,476 — todos abaixo de 0,50, isto é, todos invertidos. O mecanismo aparece na contagem de tokens: os modelos só-inglês emitem 1,0 token em ruído contra ~10 em fala. Não é confiança; é não ter falado nada, dividido por segundos. Uma cabeça CTC (wav2vec2-base-960h) sobre o mesmo áudio dá 0,969 e passa no controle. A falha é do decoder autorregressivo, não da confiança de ASR em geral. Uma correção de atribuição. Um resultado anterior nosso relatava um efeito de exposição de +0,540 em sensores de features. Comparando modelos de arquitetura, tamanho e receita idênticos (variantes .en do Whisper contra as multilíngues), o efeito é +0,150. Cerca de 72% do que atribuíamos a exposição era arquitetura. O que não passou. Cinco previsões foram registradas com sinal algébrico antes da rodada final. Nenhuma passou. O material acima foi o que apareceu no lugar, e está descrito como tal. Três previsões anteriores também falharam e permanecem no texto como falhas. Método. Todo experimento é precedido por um portão barato que pode reprovar o desenho antes de gastar recurso. O portão de fala reprovou cinco vezes seguidas; o da rodada final reprovou duas versões do desenho — numa, todo modelo multilíngue era maior que todo monolíngue, tornando tamanho e exposição inseparáveis; noutra, a tarefa saturava em 0,999 e a previsão ficava insatisfazível por construção. Os artefatos de medição acompanham o depósito. Limitações. Um par de línguas, um corpus familiar por substrato, dois a nove modelos por eixo. Nenhuma medida usa dado clínico, e nenhuma afirmação sobre fala patológica foi testada.
DOI: 10.5281/zenodo.22001091
Language: English
Open Access status: green
OpenAlex ID: W7203719112
Cites:
Cited by:
Related to: