Content-based retrieval in large-scale audio collections with natural language as the interface
Year: 2025
Type: dissertation
Abstract: Les col·leccions d’àudio, que poden incloure des d’arxius musicals fins a biblioteques de sons ambientals, han crescut ràpidament. Tanmateix, aquests recursos continuen estant desaprofitats a causa de la manca de metadades i les capacitats de cerca limitades. Aquesta tesi investiga la recuperació de so basada en continguts dins de col·leccions d’àudio de gran escala, emprant el llenguatge natural com a interfície, amb l’objectiu de permetre un accés més intuïtiu i expressiu al contingut sonor. S’aborden tres reptes centrals: el disseny del sistema, la disponibilitat de dades, i l’avaluació. Pel que fa al disseny del sistema, s’exploren dues direccions principals. Primer, en la generació d’etiquetes d’àudio, es comparen combinacions de models de representació lingüística i d’escolta automàtica (machine listening) dins d’una arquitectura basada en Transformers. Segon, en la recuperació basada en llenguatge, s’investiguen estratègies de refinament (fine-tuning) per a models preentrenats en una configuració bi-encoder, considerant diferents funcions de pèrdua (loss functions) i els efectes d’augmentar les dades d’entrenament amb parelles sorolloses (poc fiables) d’àudio i text. Per fer front a l’escassetat de dades emparellades de text i música, es presenten dos conjunts de dades nous: Song Describer, una col·lecció de descripcions musicals generades per la comunitat, i WikiMuTe, que emparella àudio musical amb descripcions textuals enciclopèdiques. Aquests conjunts proporcionen nous recursos tant per a l’avaluació com per a l’entrenament de models multimodals. En el treball d’avaluació, s’identifiquen problemes de filtració de dades (data leakage) en una base de dades de proves existent, i es proposen divisions de dades més realistes. També es presenta MuChoMusic, una base de dades de proves de pregunta/resposta múltiple dissenyat per avaluar la comprensió musical en models multimodals. A més, un estudi amb usuaris explora com les limitacions d'un sistema de cerca modelen el comportament dels usuaris al utilizar llenguatge natural, revelant una tendència a formular consultes breus malgrat l'interès en realitzar cerques més detallades. En conjunt, aquestes contribucions pretenen avançar en la integració entre el llenguatge natural i la comprensió de l’àudio, i establir les bases per a una interacció més rica amb el contingut sonor.
Author: Weck-Hufnagel, Benno
Language: English
Topic: Music and Audio Processing
Subfield: Signal Processing
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7213387685