Partie 1 – Production virtuelle & murs LED
En quelques années, l’avènement d'Unreal - le moteur 3D temps réel de jeu vidéo d'EPIC - dans l’univers de la création graphique a permis à Pixotope de devenir un acteur incontournable de la production 3D temps réel sous Unreal – en simplifiant son utilisation dans la production de contenus immersifs.
Pixotope propose un ensemble d’outils fonctionnant sous Unreal Engine et utilisés pour simplifier l’exploitation quotidienne du moteur 3D dans des environnements broadcast (télé), production virtuelle ou événementiel, avec des fonctionnalités telles que :
· La gestion de caméras du plateau et du tracking.
· La gestion de mur LED simples ou complexes (courbes).
· L'intégration de scènes natives Unreal Engine et la synchronisation de plusieurs moteurs 3D pour des murs LED de grande résolution.
· Le pilotage des lumières plateaux et de la scène Unreal DMX.
· La création de jumeaux numériques.
· La gestion de scène en réalité augmenté (AR).
· L'extension de décor (XR) et gestion de l’extension du décor (colorimétrie, déformations optiques, calibration).
· Le contrôle d’événements (déclenchement d’animations via webapp).
· Switch caméra sur mur LED.
· Body pose estimation (interaction acteur / scène 3D automatisée).
· La gestion de texte.
· ….
Vous trouverez dans ce white paper un résumé des différentes techniques et outils utilisés dans la création et l'utilisation de la 3D temps réel pour le broadcast, l'événementiel et la production virtuelle - la première partie étant principalement dédiée aux murs LED.
La production virtuelle
La production virtuelle et la 3D temps réel broadcast font appel à de nombreuses technologies ce qui peut les rendre assez complexes au premier abord. Comme toutes nouvelles technologies il est nécessaire de commencer simplement pour lever les différentes contraintes techniques.
En audiovisuel, la production virtuelle peut se résumer simplement à filmer des acteurs / talents devant un fond généré en 3D temps réel par un moteur graphique. C'est la série The Mandalorian de Disney, qui a médiatisé l'un des premiers plateaux de production virtuelle en télé. Dans cette série de nombreux plans sont filmés en utilisant un décor d’arrière-plan – fond et ciel - constitué par des murs d'écrans LED – Le premier plan est fait de vrais décors, vaisseaux, sable, rochers.. Les caméras filmant la scène sont synchronisées avec le décor 3D, lorsqu'elles se déplacent, la perspective de la 3D du mur LED est calculée en temps réel pour se synchroniser avec la perspective de la caméra réelle du plateau. Dans ce schéma de production schématisé on a donc :
Un ensemble de murs LED (fond, ciel, …)
Des décors physiques.
Des acteurs / talents.
Des lumières.
Une ou plusieurs caméras physiques synchronisées avec le décor 3D.
Une scène 3D pour générer le fond du décor.
Un moteur 3D pour calculer la scène en temps réel.
Mur LED
Le mur LED est composé de plusieurs dalles (panneaux ou cabinets) sur lesquelles sont fixées des lumières LEDS RVB, chaque trio de lumières RVB constitue un pixel de couleur. Contrairement à un écran de télévision plat qui est composé d'une seule dalle retro éclairée ou éclairée par des LEDS (OLED). L’avantage d’avoir plusieurs dalles est de pouvoir créer des surfaces de n'importe quelle taille, forme et résolution et de pouvoir remplacer facilement une seule dalle si besoin.
Les différentes dalles ont chacune leur propre électronique, ce qui permet de les paramétrer séparément.
Un mur LED peut être utilisé pour un décor de fond, un plafond, le sol ou comme source d'éclairage colorée pour des reflets par exemple. En fonction de son utilisation on peut avoir besoin de caractéristiques différentes (pitch, luminosité, profondeur des noirs, poids, prix,…).
Pitch
Une dalle va être défini par son pitch; distance entre le centre de 2 pixels en mm (1,2; 1,5; 1,9; 2,3mm…) – la taille moyenne étant aujourd’hui de 1,9mm. Plus le pitch est petit, plus la résolution de la dalle est grande et moins les lumières LEDS seront visibles, comme les points d'une affiche en impression - la taille du pitch du mur joue également sur son prix et son poids.
La colorimétrie
Il est important de pouvoir calibrer la couleur des dalles pour obtenir la meilleure homogénéité possible entre les différentes dalles qui constituent le mur. La colorimétrie peut également jouer en fonction de l’angle de vision (ainsi que la luminosité).
La luminosité
La luminosité des dalles peut être un facteur important pour des tournages en extérieur de jour par exemple.
Fréquence d’affichage
Une haute fréquence d'affichage (en hertz) peut être intéressante dans certaines configurations où l’on souhaite utiliser des technologies d'affichages multiples simultanément (technologie Ghost Frame par exemple).
Délai de l'électronique
Dans un contexte de plateau virtuel sur mur LED, on peut avoir besoin de tourner en multi-caméras et de devoir switcher le fond du mur LED d’un axe caméra à l’autre, dans ce cas le changement de signal d’une caméra à l’autre sur le mur LED doit se faire avec le moins de latence possible pour éviter des problèmes d’affichages sur le mur.
Forme des dalles
Certains fabricants de dalles proposent des dalles courbes avec un réglage gradué de l’inclinaison, ceci permet de créer des murs LED courbes plus immersifs.
Résolution d'image
L'habillage d'un mur LED va dépendre de sa taille et de la résolution des images que l'on souhaite afficher sur l’écran. Un moteur 3D temps réel Unreal peut facilement alimenter un mur LED en HD voir en 4k, au-delà de cette résolution classique d’image dans le monde du jeu vidéo, il sera nécessaire d'utiliser plusieurs moteurs 3D pour alimenter des parties du mur et obtenir des résolutions supérieures au 4k.
Dans ce cas on utilise un scaler - électronique ou logiciel intermédiaire entre le mur LED et les moteurs 3D pour gérer le mapping des engines sur le mur. Les différents moteurs 3D doivent être synchronisés entre eux pour que la scène 3D soit correctement affichées dans le mur et qu’il n’y ait pas de décalage d’animation entre les engines.
L'affichage final sur les dalles se fait grâce à un LED Controler Processor (Brompton, Novastar,..).
Jumeau numérique
Pour la création de murs LED complexes (courbes par exemple) - Il est presque obligatoire de créer en jumeau numérique du mur qui pourra être exploité lors de la création de la scène 3D , pour obtenir une meilleure synchronisation entre la scène et la caméra réelle.
Fabricants
Coté fabricants, il existe aujourd'hui un très grand nombre de solutions sur le marché, lors du dernier salon de l’intégration audiovisuelle ISE à Barcelone on a pu croiser des dizaines de fabricants de murs LED. Dans cette jungle on peut néanmoins retenir quelques noms fiables pour le broadcast et la production virtuelle : Alfalite, Infiled, Leyard, Roe, Unilumin, Sony… Les murs LED Alfalite sont notamment fabriqués en Espagne.
N’hésitez à nous contacter pour plus de détails sur ces technologies. En attedant la seconde partie de ce white paper.