Get started
Work

Ṭarab et IA : la génération de musique maqām à travers traduction automatique et capture de mouvement

Year: 2025
Type: dissertation
Abstract: Cette thèse multidisciplinaire explore la génération automatique de musique et l'adaptation individuelle basée sur la capture de mouvement (mocap) dans l'improvisation du maqam. La musique maqam, répandue au Moyen-Orient et en Afrique du Nord, se distingue par son interactivité avec l'auditoire, suscitant un engagement émotionnellement intense et physiquement significatif, produisant un état d’enchantement (tarab). La thèse examine comment l'intelligence artificielle et les technologies de détection modernes peuvent enrichir l'expérience du tarab. La première partie utilise la traduction automatique (MT) pour générer des phrases instrumentales improvisées en temps réel pour les traditions mawwal et taqasim. En raison du manque de transcriptions d'improvisations et des défis de transcription automatique de cette pratique interactive non métrique, j'ai développé des outils pour créer des ensembles de données textuelles issues d'entrées vocales et MIDI. J'ai constitué un ensemble de données avec des musiciens à Amman, collectant 6 991 phrases parallèles de mawwal pour MT (appels vocaux→réponses instrumentales), traitant l'improvisation maqam comme une langue sous-représentée. J'ai cherché à représenter simplement les phrases tout en obtenant de bons résultats de traduction et en maintenant le contenu musical. En utilisant les degrés de gamme et des durées quantifiées, j'ai réduit le vocabulaire à 15 éléments distincts. La fusion de notes adjacentes similaires a aussi aidé. Cette méthode a donné des résultats réussis comparables aux applications NLP typiques avec un petit ensemble de données diversifié (8 maqamat). J'ai validé la mesure BLEU de la MT avec des métriques objectives basées sur la musique, toutes deux alignées. Les évaluations d'experts ont également aidé à interpréter les scores BLEU. Les résultats MT, neuronaux (NMT) et statistiques (SMT), ont montré que la fusion de sous-ensembles de maqamat n'améliore pas nécessairement les résultats; elle peut favoriser des phrases plus courtes et moins complexes, surtout en NMT. Les matrices de confusion ont révélé que dans les petits ensembles, l'écart de performance entre SMT et NMT s'élargit si les styles ou les compétences des utilisateurs diffèrent de ceux qui ont créé l'ensemble. Ma discussion souligne que le background des utilisateurs, les choix de performance, la taille et la qualité des données sont cruciaux pour la conception du système. La modélisation a été validée par une étude utilisateur et une œuvre d'art. J'ai également commandé 717 improvisations instrumentales (taqasim), extrait des motifs fréquents (n-grams), et proposé une méthode pour les transformer en phrases complexes par traduction itérative. La deuxième partie examine les mouvements corporels subtils des auditeurs pour évaluer leur engagement avec le taqasim réalisé par l'homme, en tenant compte de leur contexte culturel. J'ai validé l'utilisation de la mocap par accéléromètre pour mesurer la quantité de mouvement (QoM) en laboratoire et mené un test interculturel avec 60 participants à Amman et Oslo. Les signaux QoM ont aidé à identifier des schémas d'engagement significatifs. En les combinant en courbes de tendance, on a illustré des engagements progressifs et soudains avec des aspects structurels et non structurels des taqasim. Les indications QoM correspondaient aux données auto-déclarées et à la littérature musicale. Des techniques de classification et clustering ont été appliquées au QoM. Le SVM a estimé les contextes culturels des participants, tandis que le clustering K-means a mis en évidence l'importance de la formation musicale. Cela montre le potentiel de l'accélérométrie mocap pour améliorer la génération et la perception musicale en temps réel, afin d'atteindre le tarab. Les résultats pourraient influencer l'avenir des œuvres instrumentales interactives. Je conclus en proposant un algorithme préliminaire de génération de taqasim adapté au mocap, ouvrant la voie à de futures recherches.
Language: English
Open Access status: green
OpenAlex ID: W7141778495
Cites:
Cited by:
Related to: