Workflow Production Virtuelle / Pixotope
Les 15 et 16 novembre sur le salon SATIS stand C26, nous vous présenterons un workflow simplifié d'une production virtuelle sur un mur LED (Infiled) de 2,5x2,5m.
Le principe de cette présentation est de filmer une personne avec une caméra pilotée en motion control via un robot ARCAM (XDmotion) devant un fond en 3D temps réel Unreal Engine (Epic) affiché sur un mur LED dont la scène a été adaptée pour le moteur 3D dans Maya (Autodesk). L'ensemble est orchestré dans l'application Pixotope - une couche logicielle sur Unreal simplifiant l'utilisation d'Unreal Engine dans un environnement Broadcast ou de production virtuelle.
Les mouvements de la caméra (x,y,z, pan, tilt, zoom,...) fixée sur le robot ARCAM sont transmis au moteur 3D Unreal Engine à travers l'application Pixotope permettant ainsi de synchroniser la caméra physique du plateau avec la caméra virtuelle du moteur 3D et d'animer le décor 3D affiché dans le mur LED pour intégrer le personnage filmé sur le décor virtuel.
L'image du mur LED est générée par un premier moteur 3D Unreal (Engine n°1) à partir d'une station graphique HP Z8 Fury, d'une carte Nvidia RTX 4090 et d'une carte vidéo SDI pour une synchronisation vidéo optimale (Genlock).
L'application Pixotope est installée sur la Z8 en complément d'Unreal et permet :
la calibration spatiale du plateau physique et du décor virtuel.
la gestion des déformations d'optique de la caméra physique.
la récupération des mouvements de la caméra (envoyées par le robot ARCAM) et la synchronisation de la caméra physique et de la caméra virtuelle.
le pilotage du moteur Unreal : lancement d'animations et événements dans Unreal à l'aide d'une interface HTML ou d'une playlist.
la synchronisation des lumières du plateau avec celle du décor 3D (DMX).
Extended SET
La technologie présentée peut étendre le fond virtuel 3D au delà du mur LED, ce qui permet de filmer un décor à 360° quelque soit la dimension du plateau (on parle alors d'extended set ou d'extension de décor) - l'image générée en dehors du mur LED est gérée par un second moteur 3D Unreal Engine (Engine n°2) synchronisé avec le moteur du mur LED.
Ce second moteur 3D est installé sur une seconde station HP Z8 (Z8 Fury, RTX 4090, SDI) et synchronisé avec le premier Engine.
Pixotope est également utilisé pour :
La correspondance des couleurs (color match) entre le fond 3D affiché sur le mur LED et filmé par la caméra et le fond 3D généré pour l'extension de décor (qui lui n'est pas filmé par la caméra).
La correspondance physique entre le fond 3D de l'extended set et celui du mur LED pour qu'il n'y ait pas de décalage d'espace entre les 2 univers gérés par deux moteurs 3D. Pixotope propose des outils spécifiques pour créer un jumeau numérique du plateau pour une meilleure synchronisation spatiale du plateau et du décor 3D.
La synchronisation image des deux moteurs 3D avec gestion des délais entre l'image affichée dans le mur LED et celle de l'extended SET.
Réalité Augmentée
Le second moteur 3D (Engine n°2) peut être également utilisé pour afficher des objets (ou textes) virtuels au premier plan (devant le personnage filmé).
Body Pose Estimation
Bien qu'au premier plan, il est possible grâce à Pixotope et du Body Pose Estimation de faire interagir le personnage filmé avec des objets en réalité virtuelle - cet outil permet d'analyser en temps réel les mouvements du personnage filmé sans équipement additionnel et d'en déduire un squelette virtuel 3D. Ce squelette est utilisé dans la scène 3D pour interagir avec la scène 3D et les objets de la RA.
pour plus d'informations sur ce workflow :
Informations et accréditation pour le SATIS :
