Motion Capture

Le système de motion capture mis en place pour enregistrer les pas de danse de deux danseurs, repose sur 23 caméras de motion capture infrarouges de marque Qualisys, chacune fonctionnant à une fréquence de 100 Hz. Ces caméras utilisent des marqueurs passifs, c’est-à-dire des dispositifs réfléchissant la lumière infrarouge. Les caméras sont positionnées de manière stratégique : certaines sont fixées en hauteur en contre-plongée, d’autres sont installées au plafond ou montées sur des trépieds.

Avant toute captation, il est impératif d’effectuer une calibration de l’environnement, qui permet de définir un volume de captation. Cette calibration permet au système d’établir son référentiel spatial et d’assurer une détection fiable et cohérente des marqueurs pendant l’enregistrement.

Une fois la phase de calibration terminée, il est nécessaire de créer un modèle spécifique pour chaque participant, ici un danseur et une danseuse. Les participants présents dans la scène portent une combinaison fournie par Qualisys, équipée de 42 marqueurs passifs positionnés à des emplacements spécifiques. Le modèle fournit au système les informations nécessaires pour identifier précisément les marqueurs à suivre, permettant ainsi d’éliminer les interférences ou parasites éventuels dans la pièce, notamment les reflets ou objets susceptibles d’être interprétés à tort comme des marqueurs.

Après la validation des deux étapes précédentes, la chorégraphie débute sur un signal donné par la musique liée à cette chorégraphie dans le manuscrit original de 1782 et enregistrée préalablement par les élèves du département de musique ancienne du Conservatoire à Rayonnement Régional de Lille. Deux danseurs évoluent sur la scène, et l’ensemble de leurs mouvements est capté par notre système de motion capture. Les données recueillies sont constituées de trajectoires en six degrés de liberté (6DOF : x, y, z, roll, pitch, yaw) provenant de 84 marqueurs.

À partir de ces marqueurs, un squelette est construit selon un rig standard (figure 6), puis exporté au format .fbx. Le fichier .fbx est ensuite exploitable dans un moteur de jeu 3D tel que Unity pour animer un avatar de façon réaliste.

En résumé, le danseur enfile la combinaison, exécute sa chorégraphie, le mouvement est capté, traité, et utilisé pour générer l’animation de l’avatar (figure 7). L’ensemble de ce processus constitue une vérité terrain (groundtruth) qui sert de référence pour tester et évaluer notre modèle d’intelligence artificielle.