Malgré l'annulation de l’édition 2020 du salon NAB qui aurait dû avoir lieu mi-avril à Las Vegas, de nombreux éditeurs et fabricants ont quand même profité du moment pour présenter leurs nouveautés de ce milieu d’année (Autodesk, Blackmagic, Elements, HP, Unreal, Pixotope, Vizrt, Boris FX….), d'autres ont préféré attendre la tenue de l'IBC en septembre à Amsterdam finalement annulé il y a quelques jours.
Le Siggraph prévu à Washington fin juillet et le MIFA*, mi-juin à Annecy, deux salons spécialisés dans l’animation et la 3D ont également été annulés.
* Remplacé par une version en ligne du 15 au 30 juin.
Le confinement, un catalyseur des tendances
Le confinement mondial de ces dernières semaines a été un catalyseur de tendances déjà initiées depuis quelques mois. Au-delà de l'explosion des solutions de travail à distance (télé travail) et du cloud qui ont dû faire leurs preuves rapidement en quelques semaines, la période actuelle a mis en lumière les acteurs de l’OTT (streaming, VOD) et la guerre qu’ils sont en train de se livrer : celle des contenus. Avec une demande croissante de contenus pour alimenter leurs plateformes Netflix, Amazon Prime, Disney+ (avec déjà 50 millions d’abonnés en 5 mois), Apple TV, MyCanal, … deviennent incontournables. De simples consommateurs de contenus pour certains, ils sont devenus des acteurs importants de la création numérique en produisant leurs propres séries et films, bouleversant jusqu’à la chronologie des médias. Bien qu’ébranlée par le ralentissement de la production traditionnelle (événements sportifs, concerts, salles de cinéma fermées, tournages impossibles et communication difficile), la demande de contenus et de biens dématérialisés ne faiblie pas : web, vidéos youtube, musique, séries, films, jeux vidéo, livre numérique… accélérant d’autant plus rapidement le passage au tout numérique. Pour répondre à cette demande et contourner les contraintes actuelles de nouvelles expériences sont lancées comme ce mini concert virtuel de 8 minutes du rappeur Américain Scott Trevis diffusé comme un live à des horaires prédéterminées et pour quelques dates dans l’univers du jeu vidéo Fortnite entièrement détourné pour l’occasion. Cette expérience en 3D temps réel a été suivi par plus de 12 millions de joueurs simultanément lors de la première diffusion, de quoi faire réfléchir tout le secteur de l’événementiel. Avec l’arrivée de nouvelles cartes graphiques sur le marché comme Nvidia (RTX) et AMD (Big Navi), les moteurs graphiques 3D temps réel, comme Unreal Engine qui fait tourner Fortnite, dépassent les frontières de leur utilisation première pour venir épauler la création de contenus : rendu accéléré GPU, production virtuelle, événementiel et Broadcast (réalité augmentée, studio virtuel). Ces nouveaux GPU sont également à l’honneur dans le traitement de l’image, que ce soit pour le rendu temps réel ou le machine learning qui amènent progressivement de l’intelligence à nos applications, que ce soit pour des tâches simples comme la reconnaissance de formes pour l’indexation de vidéos ou pour vous proposer des choix de montage dans la timeline de votre logiciel de montage ou corriger (presque) tout seul l’étalonnage !
IA, machine learning et deep learning
L'IA et plus précisément le machine learning (ML) consiste à entrainer un algorithme à partir de nombreuses données pour qu’il puisse ensuite analyser une information. Son utilisation est apparue depuis quelques temps dans l’industrie du Media Entertainment avec les premiers outils de reconnaissance d'image (formes humaines, visages, objets). Cette fonctionnalité a très vite été exploitée pour l'indexation de contenu média (photos, vidéos) avec la création automatique de tags, idéale pour la recherche de médias (stocks, rushes, archives,…). Un petit article en anglais sur les différences entre l’intelligence artificielle, le machine learning et le deep learning. https://www.datacamp.com/community/tutorials/machine-deep-learning
ML et reconnaissance d’image : Elements Media Library
Coté stockage disque, on peut trouver l’utilisation du machine learning dans la Media Library, une option logicielle des solutions de stockage pour l’industrie du média Elements. La Media Library permet d’explorer un stockage SAN sous forme de librairie d’éléments graphiques et apporte de nombreuses fonctionnalités : conversion de clips automatisées, création de timelines simples, partage d’éléments, annotations de clips… Dans sa dernière version, la Media Library utilise l’apprentissage automatique pour reconnaitre des objets, acteurs, logo de marques, textes sur des plans. Cette fonctionnalité permet aisément d’associer des tags pour identifier et retrouver facilement une vidéo. Une des particularités de cette fonction est que l’on peut « nourrir » l’algorithme avec ses propres images, objets ou personnes à rechercher « on premise » (en local) sans avoir besoin d’un accès à internet. https://elements.tv/features/ai-search/
ML, VFX et reconnaissance de formes avancée : Flame 2021
Le machine learning est également utilisé pour des tâches plus complexes de reconnaissance de formes, comme dans la dernière version d'Autodesk Flame (Flame 2021) qui intègre des outils d'extraction de parties du visage pour la création d'effets spécifiques de beauté (retouche numérique de visage), de masques pour la génération d'effets de profondeur de champ post-produits ou de remplacements automatique de ciels.
ML, montage et étalonnage : Blackmagic Design Resolve
La version 16 de DaVinci Resolve de Blackmagic Design utilise également le machine learning (Neureal Engine chez BMD) pour l'analyse de visage. Cette version intègre également un outil de contrôle automatisé des couleurs avec Auto Color qui permet de régler correctement la densité des ombres pour obtenir la bonne exposition. Le timewarp de la version 16 de Resolve Studio (version payante) utilise le Neural Engine pour comparer son résultat à la vidéo originale et corriger certains artefacts qui apparaissent dans les effets de timewarp et de reconstruction d'image. L'IA est également utilisée depuis quelques temps pour la restauration d'image : Adobe utilise par exemple son moteur de machine learning Adobe Sensei pour coloriser des photos noir et blanc.
En plus de la colorisation de plans, le machine learning peut être aussi utilisé pour la restauration d’image avec par exemple des outils de reconstruction d'images manquantes, le passage de 24 à 60 images / sec… tout n'est pas encore parfait mais les premières images sont déjà étonnantes. Voir les essais de Denis Shiryaev sur le film des frères Lumière sur l'arrivée du train à la gare de La Ciotat (1896).
ML, sous titrage, deep fake et codec
Le machine learning apporte également une aide aux outils de sous-titrage automatique pour les contenus en direct ou pour des vidéos qui n’ont pas été sous-titrées en amont. Les algorithmes ne se contentent plus de traduire un mot, ils utilisent les bases de données de phrases pour reconstruire des phrases en contexte. Une autre utilisation du machine learning : le deep fake, il s’agit par exemple de remplacer le texte d’une personne par une autre, utilisé depuis quelques temps dans l’émission de Canteloup sur TF1 après le 20h. Illustré également par l’acteur Jim Meskimen :
Le machine learning devrait progressivement être utilisé pour la compression vidéo, certains codecs actuels ont atteint leurs limites et seul de nouveaux algorithmes devraient pouvoir dépasser les limites techniques d’aujourd’hui. https://www.ibc.org/manage/cracking-the-code-ai-enters-the-frame/5812.article
De nouveaux acteurs
Avec le confinement, Netflix a vu sa base d'utilisateurs grossir de plus de 16 millions de nouveaux utilisateurs pour atteindre près de 183 millions d’utilisateurs et a signé un accord avec MK2 fin avril pour proposer une cinquantaine de films classiques à son catalogue (François Truffaut, Jacques Demy, Alain Resnais…). En mars c’est Disney qui a lancé en France sa nouvelle plateforme de streaming Disney+ incluant de nombreux blockbusters américains – comme la collection Marvel, la saga Star Wars et sa série Madalorian pour 6,99€ / mois.
De nouvelles exigences techniques
La progression de la part de marché de ces nouveaux acteurs dans la production de contenu leur permet d'imposer de nouvelles normes techniques de fabrication et de diffusion (streaming), comme le 4K, disponible en streaming sur presque toutes les plateformes web avec le HDR. La seule contrainte étant d'avoir une télé 4K HDR et un bon débit internet. Coté téléviseurs, le 4K et le HDR sont devenus presque un standard du milieu de gamme depuis l'année dernière.
Ces nouvelles technologies obligent les prestataires techniques à fournir des contenus respectant ces prérequis techniques : 4K,8K : Les producteurs doivent fournir des productions au minimum en 4K (Netflix). HDR : De nombreux films sont proposés en HDR sur les différentes plateformes de streaming principalement Dolby Vision chez Netflix et Apple TV. Sécurité : Ces nouveaux acteurs, souvent américains, imposent des normes de sécurité plus contraignantes aux prestataires et studios français. Agilité : L'arrivée de ces nouveaux acteurs sur le marché avec leur consommation importante de contenus et la mise à disposition des documentaires, films et épisodes de séries à la demande a également un impact important sur la création de contenus qui devient de moins linéaire, saisonnière et prévisible. Ceci oblige les industries techniques à être plus agiles et à optimiser leurs moyens de production pour pouvoir répondre rapidement à la demande.
Normalisation de la HDR, Dolby Vision en tête
Cette année pas de grandes révolutions coté HDR (High Dynamic Range), les formats se stabilisent : Dolby Vision (Netflix, Apple TV,…), HDR10, HDR10+, HLG. Les principaux fabricants et éditeurs de la production de l’image proposent des workflows complets pour le traitement HDR : Caméras : Arri, RED, Pana, Canon, Sony,… Moniteurs Broadcast : Sony, Canon,… Ecrans : LG, Panasonic, Eizo,… Encodage : Colorfront, AJA, Blackmagic,… Post Prod & étalonnage : Autodesk, Adobe CC, Resolve, Baselight, Foundry,… Masterisation : Colorfront, Autodesk, Blackmagic… A noter qu’un nouveau workflow de masterisation Dolby Vision est proposé dans la nouvelle version de Flame 2021.
Vous pouvez trouver un dossier complet sur le HDR sur le Labo de JAY :
Le 8K
Le 8k est déjà utilisé pour les tournages de certaines superproductions américaines, films et grosses séries. La technologie est prête, de nombreuses caméras sont équipées de capteurs 8K : Red Helium, Sony F65 et même les DSLR comme le nouveau canon EOS R5 qui aimerait bien révolutionner le 8K comme le 5D à son époque. Même si les premières images grand public qui devaient être diffusées par la NHK pendant les JO de Tokyo attendront un peu, les OTT comme Netflix se constituent un catalogue de productions 8K pour pouvoir proposer une offre quand le grand public sera équipé. La problématique de l'adoption du 8K n'a pas beaucoup évoluée ces derniers mois : augmentation des couts des infrastructures (stations de travail, stockage, temps de traitement) et pas de diffusion grand public (offre de télé 8K et infrastructures réseaux internet encore trop légères pour le 8k). L’augmentation du volume de stockage peut être compensée en partie par une stratégie de segmentation du stockage en fonction des besoins : stockage online pour les projets en cours (accès direct aux données), nearline (accès plus long aux données) et d’archivage. Coté post-production, la bande passante requise pour le travail en 8K reste un problème un peu plus complexe. Pour de la lecture 4K ou 8K, en fonction du type de travail, il faut trouver le bon compromis compression / qualité d’image (différent si on fait du montage, des vfx, de l’étalonnage…). En 4K non compressé RVB 8 bits / canaux 4:4:4 1Go/s et 4x plus en 8K soit 4Go la seconde !
Lecture 8K non compressé temps réel : Elements Bold
Pour certains types de travaux haut de gamme (VFX, étalonnage, validation de plans), on est parfois obligé de travailler en 8K non compressé avec une lecture des images en temps réel. C’est pour ce type de travaux que le stockage Elements BOLT a été créé. Le châssis Bolt intègre des disques SSD en NVMe pour fournir une passante jusqu’à 20 GB/s pour la lecture 8K et plus.
Travail graphique à distance
Avec une simple connexion internet, il est possible aujourd’hui de travailler en accédant à sa station de travail à distance (remote desktop) ou en utilisant des ressources informatiques à distance (station, rendu ou stockage cloud). Le confinement de ces dernières semaines a propulsé ces technologies au-devant de la scène et a permis de les mettre à l'épreuve du feu presque du jour au lendemain sans trop de rodage. Au-delà des outils classiques de control d'un PC à distance comme teamviewer, VNC et autres outils parfois peu optimisés pour une utilisation dans un univers de création graphique, 3 tendances se sont dégagées ces dernières semaines en fonction des utilisations : • Remote desktop : accès à la station graphique à distance. • Stations et rendu dans le cloud : accès à des stations virtuelles dans le cloud. • Review : sessions de screening à distance (étalonnage, montage,…).
Les applications graphiques (montage, détourage, 3D,..) demandent une faible latence (temps de réponse entre l’action humaine et la réaction sur l’écran) et pour certaines une bonne précision des couleurs (étalonnage et séances de validation) et pour d’autres un rafraichissement sans faille de l’affichage (étalonnage, montage, compositing, animation,...).
Remote desktop
Dans le cas du remote desktop (bureau à distance), on va venir prendre le contrôle à distance d’une station graphique (dans un nodal du studio ou dans un data center) via une connexion réseau (local ou internet), un poste client (un simple PC ou Mac), un logiciel de contrôle et dans certaines configurations du matériel. Il est ainsi possible d’utiliser les ressources de la station graphique distante comme en local (comme HP ZCentral, anciennement RGS) ou hardware de type émetteur / récepteur comme Amulet Hotkey.
HP ZCentral (anciennement RGS)
ZCentral est une solution logicielle d’HP s’appuyant sur une carte graphique Nvdia, fournie sans cout additionnel avec les stations graphiques de la série Z (Z1, Z2, Z4, Z6, Z8,..), il s’agit d’une solution idéale pour une utilisation à distance sur Windows ou Linux. ZCentral utilise les ressources de la carte graphique Nvidia de la station à contrôler pour dialoguer entre le client et la station graphique distance, Nvidia GeForce ou Quadro sur Windows et Quadro sur Linux. Pour les clients utilisant Active Directory, HP ZCentral propose également des outils de gestion et de routage des stations connectées (comme avec une grille). ZCentral permet ainsi de piloter simplement à distance une station graphique et ses applications dans un réseau local ou à travers internet.
Travail graphique à distance : Amulet Hotkey / Teradici
Quand le logiciel n’est pas assez performant ou ne supporte pas toutes les configurations on peut utiliser des solutions matérielles de travail à distance comme Amulet Hotkey fonctionnant sur une base Teradici. Coté utilisateur, il suffit d’un poste client avec un boitier externe équipé d’un retour écran, de ports USB pour le clavier, la souris, la tablette et de sorties audio et coté station graphique d’un boitier (ou une carte PCIe). Ceci permet de travailler à distance avec une connexion réseau en local ou à travers internet tout en gardant l'interactivité d'un poste en local. Amulet Hotkey utilise la technologie PCoIP qui optimise les communications réseau pour déporter l'affichage graphique, les attachements USB et les entrées / sorties audio. Pour le graphiste, l’utilisation est la même qu’en local. Il connecte ses périphériques USB (clavier, souris, tablette) et son écran (2x HD ou 4x HD ou 1x 4K en fonction du modèle de boitier Amulet), son PC et ses applications fonctionnent en réalité depuis un autre site et sont distribués sur le réseau à l'aide du protocole PCoIP, comme un KVM. Cette solution est adaptée à tous types d'utilisateurs et d'applications, des postes administratifs aux postes graphiques. En plus de fournir un client hautement sécurisé, simple à utiliser et à gérer, le décodage matériel du client zéro garantit que les performances soient déterminées par le bureau virtuel hôte ou le poste de travail distant. Cela présente de nombreux avantages, notamment la possibilité de déployer un seul type de client dans une entreprise, quels que soient les exigences de performance de l'utilisateur.
Plus d'informations sur Amulet Hotkey
Stations et rendu dans le cloud
Dans cette configuration, la station graphique n’est plus physiquement dans le studio et n’a pas d’existence physique équivalente, il s’agit d’une station virtuelle (VM) qui émane d’un serveur dans un data center. De nombreuses sociétés proposent des solutions plus ou moins simples à configurer : Amazon Web Service AWS, Google Cloud, Microsoft Azure, IBM..
Stations dans le cloud : Simple Animation
Simple Animation propose une utilisation facilitée du cloud pour la configuration et l’utilisation de stations graphiques virtualisées.
A partir d’une interface web, l’administrateur du studio peut venir configurer une station de travail à partir de certains critères : nombre de processeurs, ram, carte graphique et applications pré installées (Adobe, Autodesk, Avid, …) ainsi que le stockage virtuel du studio. Une fois les configurations définies, l’administrateur peut attribuer les stations de travail aux différents graphistes. Les utilisateurs peuvent ensuite se connecter à partir d’un simple PC client sur un web browser pour démarrer la VM distante et travailler comme en local avec la configuration attribuée et son stockage. Les applications sont licenciées avec les licences du studio comme en local par login (Adobe, Autodesk…). Simple Animation offre une interface de configuration simplifiée, qui permet de créer rapidement différents profils de stations et d'attribuer au besoin la puissance CPU et GPU.
C'est une solution pratique pour :
Augmenter son parc de machines temporairement.
Travailler avec des utilisateurs qui ne peuvent pas venir sur site.
Partager les ressources "d'une machine" avec plusieurs utilisateurs sur différents créneaux horaires.
Rendu dans le cloud : YellowDog
YellowDog propose une solution de rendu 3D dans le cloud en utilisant les différentes infrastructures du marché (Amazon AWS, Google Cloud, …). La technologie de rendu multi-cloud de YellowDog permet aux studios d'animation et VFX d’utiliser l'infrastructure de rendu cloud de leur choix en s'intégrant aux principaux fournisseurs de solutions cloud : Microsoft Azure, OVH, Google, AWS, Alibaba Cloud, Oracle. Les équipes de YellowDog travaillent en synergie avec les équipes techniques du studio pour déterminer les outils nécessaires pour une solution de rendu de bout en bout. YellowDog s'intègre de manière transparente au pipeline de rendu existant d'un studio, offrant une capacité de calcul additionnelle sécurisée et intelligente. YellowDog peut être utilisé par les studios disposant d'un gestionnaire de rendu existant tel qu'OpenCue, Deadline ou Tractor et qui souhaitent gérer et distribuer intelligemment le rendu à plusieurs fournisseurs de cloud. Tous les logiciels de rendu du commerce peuvent être utilisés avec YellowDog, y compris pour des pipelines entièrement personnalisés.
Étalonnage et validation à distance
Le cloud peut être également utilisé dans le cadre de sessions de validation de montage ou d’étalonnage à distance (productions à l’étranger, tournages,... ) qui demandent un contrôle de la qualité de l’image et / ou des couleurs. Dans ce cadre d’utilisation, les algorithmes de compression d’image utilisés pour transporter l’image entre les 2 sites jouent un rôle important car ils doivent fournir une image juste en termes de couleur et de débit d’affichage tout en utilisant une faible bande passante internet.
Sessions review / étalonnage à distance : StreamBox
Streambox propose des solutions de review et d’étalonnage à distance point à point ou point vers multipoints pour les travaux de post-production à distance nécessitant une précision des couleurs et une faible latence. L’offre Streambox est constituée de boitiers encodeurs et décodeurs ainsi que de players logiciels. Avec le matériel et les logiciels Streambox il est possible d’encoder et diffuser d'un site à un autre avec une grande précision des couleurs et une faible latence grâce à des algorithmes de compression d'image performants.
Plus d'informations sur Streambox
3D Temps réel, VR, AR, Production virtuelle
Des cartes graphiques de plus en plus puissantes
Les premiers rendus de scènes 3D utilisaient les processeurs des cartes mères des PCs pour leurs calculs (CPUs), les cartes graphiques étaient utilisées principalement pour l’affichage. Avec le temps et les premiers jeux et logiciels 3D, celles-ci se sont perfectionnées et ont progressivement remplacé les CPUs pour le calcul 3D en utilisant leur propres processeurs (Cores). De nombreuses fonctions de rendu sont aujourd’hui câblées dans la carte graphique rendant celle-ci beaucoup plus rapide qu’un CPU généraliste pour le calcul 3D et pour d’autres fonctions comme pour l’encodage avec certains codecs. Deux fabricants de cartes graphiques bataillent depuis des années pour le contrôle du marché : Nvidia et AMD (anciennement ATI) avec un avantage de Nvidia en ce moment. Chacun propose une gamme étendue de cartes graphiques pour le monde professionnel, gamers ou particuliers. Chez Nvidia, c’est la gamme Quadro qui est utilisée pour les professionnels et GeForce pour le grand public. Les nouvelles générations de cartes graphiques permettent d'afficher des scènes 3D de plus en plus complexes mais également de plus en plus réalistes, grâce notamment à l'intégration de fonctions simulant les paramètres physiques de la lumière en temps réel (comme la gamme RTX de Nvidia et le support du Ray Tracing en temps réel pour la gestion des réflexions).
Les moteurs de jeux à la conquête des industries
En parallèle, des acteurs issus du jeu vidéo haut de gamme (AAA) et du mobile ont voulu dépasser leurs frontières et s’attaquer à d’autres marchés en proposant de nouveaux modèles économiques. C’est le cas notamment d’Unreal Engine d’Epic Games et de Unity avec leur moteur de rendu 3D temps réel. Ces deux éditeurs essayent de démocratiser leur moteur 3D pour que celui-ci soit utilisé dans d’autres secteurs que celui du jeu vidéo comme le design, l’architecture, l’animation, les vfx ou le broadcast. L’association cartes graphiques ultra puissantes et moteurs 3D temps réel issus du monde du jeu vidéo permet de proposer de nouveaux workflows en temps réel dans de nombreux domaines de la création d’image. Voir notamment la démonstration impressionnante de la prochaine version du moteur Unreal Engine 5 sur la future Playstation 5.
Production Virtuelle
En augmentant la résolution et le réalisme des scènes 3D, décors et personnages, il devient de plus en plus concevable d'utiliser la 3D temps réel pour les tournages et les VFX. Au début pour les décors en arrière-plans puis progressivement pour des personnages secondaires, foules, props, … L'arrivée l'année dernière des grands murs d'écrans LED (Leyard et autres) vient augmenter les possibilités de tournage live avec de la 3D temps réel, en permettant de remplacer les fonds verts du studio par de grands écrans sur lesquels le décor 3D affiché est asservi à la caméra du plateau, permettant enfin aux acteurs et présentateurs d'évoluer dans un environnement final ou preview (à la place d'un fond vert beaucoup moins immersif).
Voir le making of de la série Mandalorian de Disney+ / ILMVFX.
Rendu GPU
Dans le secteur de l'animation 2D et 3D, secteur en pointe en France avec la création de nombreuses séries ou longs métrages d'animation, l'arrivée sur le marché de solutions de rendu temps réel (ou accéléré GPU) peut avoir de grandes répercussions sur les pipelines de production souvent très serrés. Les moteurs de rendu traditionnels (Arnold, V-Ray – annoncé en version 5 il y a quelques jours - et autres) se sont orientés progressivement vers le calcul GPU pour proposer des solutions hybrides CPU / GPU ou purement GPU et rejoindre la nouvelle génération de moteurs GPU (Redshift, Octane, Unreal Engine, Unity…). Le calcul CPU étant plus précis mais plus lent il permet encore de calculer des effets spécifiques que l'on ne peut pas obtenir avec l'accélération GPU. L'IA est venue également épauler ces moteurs GPU pour diminuer le bruit obtenu sur l'image lorsque l'on utilise certaines techniques de rendu.
Broadcast AR et VR
Dans l'univers Broadcast, les derniers mois ont vu l'arrivée de ces moteurs 3D temps réel et principalement Unreal Engine dans les régies des JTs des chaines de télé et sur quelques émissions. Bien qu'existant depuis longtemps (milieu des années 90), les plateaux virtuels ont toujours eu un peu de mal à s'imposer en France. Ce nouvel engouement c'est fait à partir de la Réalité Augmentée (RA) qui permet d'afficher sur le plateau physique de l'émission ou du JT une scène 3D illustrant le propos du journaliste. Le réalisme des nouveaux moteurs permet d'afficher des scènes plus détaillées et animées pour enrichir les contenus des JTs ou des émissions. L'utilisation successive de la RA dans plusieurs journaux télévisés a permis progressivement de travailler sur des plateaux hybrides, alliant décors 3D temps réel, RA et plateau physique.
Studio virtuel et Réalité Augmentée Broadcast : Pixotope
Pixotope de The Future Group est une solution d’habillage graphique 3D temps réel pour la création de studios virtuels réalistes et pour la réalité augmentée utilisant les dernières évolutions du moteur 3D Unreal Engine (4.24). Pixotope est conçu avec une simplicité opérationnelle et une grande flexibilité avec la possibilité d’intégrer de nombreuses fonctionnalités et données externes (import de scènes 3D, support des protocoles de tracking de caméra, etc…) Pixotope offre un éditeur WYSIWYG temps réel, un outil de génération automatique de studios virtuels, son propre keyer et des panneaux de commande personnalisés conçus par l'utilisateur. Pixotope est une couche logicielle par-dessus Unreal Engine qui permet d’ajouter des fonctionnalités Broadcast :
Keyer.
Contrôle des caméras (physiques et virtuelles).
Tracking caméra.
Déclenchement d’événements.
Studio virtuel : Vizrt
Coté moteur temps réel, Vizrt, éditeur historique de solutions graphiques pour le Broadcast a présenté son dernier moteur 3D, Viz Engine 4 avec ses nouveautés :
Réflexions de la scène & ombres omnidirectionnelles.
Calcul temps réel des matériaux et shaders physiques.
Post Processing des effets : profondeur de champ avec HDR, correction colorimétrique, tone mapping, etc…
Nouvelles lumières : points dynamiques, directionnelles, spots, area light…
Support de l’illumination globale avec backing de textures et association de lumières fixes ou dynamiques.
Photogrammétrie, Scan 3D et capture de la réalité
Initié il y a quelques années dans google maps, Apple Plans ou par des sociétés comme Realviz et ImageModeler, la capture de la réalité commence à se démocratiser avec l'arrivée sur le marché de scanner 3D LIDAR plus accessibles (télédétection par laser ou Light Detection And Ranging) et de logiciels utilisant l'assemblage de photos pour la création d'objets 3D. L’utilisation de ces outils correspond également à une demande croissante de création de contenus, cette fois-ci il s’agit de éléments 3D. Que ce soit pour les décors, objets, personnages, le cout de modélisation des objets 3D reste un poste important dans la création d’un film 3D, une série ou un jeu vidéo et les assets ne sont pas toujours réutilisables entre deux films (ils le sont plus facilement pour de la série d’animation). Ces techniques de capture d'environnement associée à la 3D temps réel devraient changer les processus de création 3D traditionnels (modélisation manuelle et mapping de texture). Avec ces technologies comme celle du LIDAR il est possible de scanner de nombreux types d'objets et de scènes complexes et récupérer un nuage de points et leur texture. Même si les bases de données obtenues sont encore compliquées à exploiter et manipuler car elles présentent de nombreux points, cette technologie permet d'obtenir des décors complexes à des couts inférieurs. Ces technologies sont de plus en plus utilisées pour l'architecture et l'urbanisme mais également pour les VFX, utilisés par exemple sur le second volet des animaux fantastiques, film se déroulant dans l'univers de Harry Potter où des rues de Paris ont été scannées en 3D pour la réalisation de nombreux plans. Elles peuvent également être utilisées pour la création de décors virtuels en Broadcast. De nombreux outils sont aujourd'hui disponibles pour numériser l'environnement que ce soit à partir d'assemblage de photos / vidéos ou de scan laser. A noter que récemment Unreal a racheté la société Quixel qui s’était spécialisée dans le scan d’environnements naturels (scènes, objets 3D, textures) – La librairie d’assets Quixel est maintenant disponible avec Unreal Engine, la société travaille notamment à la création d’outils de création de texture, un peu comme le propose Substance (Adobe).
3ds Max 2021 : des nouveautés autour du temps réel.
A l’occasion du NAB, Autodesk a présenté sa nouvelle version de 3ds Max 2021 . Cette version apporte de nombreuses nouveautés et modernise les outils existants pour optimiser les performances et le flux de travail 3D et notamment la 3D temps réel. Dans 3ds Max 2021, Autodesk a introduit de nouveaux outils et processus pour le baking de textures (utilisé pour les jeux vidéo ou studios virtuels), des améliorations importantes de sa fenêtre Viewport (notamment pour l'utilisation de moteur 3D temps réel) et l'utilisation des textures Substance, l'amélioration des outils pour la gestion du son avec ProSound et les imports SketchUp. 3ds Max 2021 intègre également en standard la dernière version du moteur de rendu Arnold 6.0 et Python 3.0 comme interpréteur par défaut.
E-sport / Événementiel
La situation de confinement a accéléré considérablement l'utilisation du numérique pour de nombreuses sociétés et pour nous tous, que ce soit pour les réunions en télétravail (réunions Zoom, Skype, Microsoft, …), le travail à distance (remote desktop), la communication (mailing, webinaire, vidéo) ou les réunions familiales dominicales sur Houseparty ;) C'est encore plus vrai pour l'industrie du divertissement qui doit faire face à de nombreux changements. C'est le cas par l'exemple de l'industrie du cinéma qui a dû adapter en urgence la chronologie des médias pour une diffusion en VOD ou streaming des films prévus en salles en mars et avril sur Apple TV, Amazon Prime ou autres plateformes de VOD, mais c'est aussi une consommation accrue de contenus numériques (sites d'actualité, plateformes de streaming, YouTube…) le besoin de contenus numériques a explosé, obligeant les acteurs qui consomment le plus de bande passante à dégrader la qualité des contenus pour diminuer la charge d'internet. Coté événementiel, les événements physiques sont totalement à l'arrêt (événements sportifs comme les JO de Tokyo, concerts, salons et expos.). Les organisateurs essayent de proposer différentes alternatives avec la création d'événements virtuels, c'est par exemple le cas du salon spécialisé sur la VR et les nouvelles technologies, le Laval Virtuel qui a hébergé son événement sur une plateforme web en mode "seconde life" où l'on pouvait se déplacer à l'aide de son avatar dans un espace virtuel pour assister à des conférences en ligne et rencontrer d'autres inscrits à l'événement. Le salon a réuni plus de 11500 personnes alors que l'organisateur n'en attendait que 1500. D'autres ont choisi d'utiliser les univers de jeux vidéo pour diffuser leur événement, comme le concert virtuel Astronomical de Travis Scott dans Fortnite avec une série de 5 "concerts" du 24 avril au 26 avril. Pendant une dizaine de minutes, le spectateur / joueur était plongé dans l'univers relooké du jeu vidéo pour une expérience sonore et visuelle inédite, le spectacle virtuel à réunit simultanément plus de 12 millions de "joueurs" lors de la première … Les grands musées ont dû également se réinventer, le Louvre virtuel a par exemple accueilli plus de 10 millions de visiteurs en un peu plus de deux mois !
Réalité virtuelle (VR)
Au-delà du jeu vidéo et de la prouesse technique de réunir autant de spectateurs et joueurs sur un même événement cela ouvre de nouvelles perspectives sur la création d'univers virtuels pour l’Entertainment, en complément des événements physiques on pourrait très bien imaginer certains spectacles sons et lumières dans un environnement VR immersif. La VR continue son évolution, la technologie est mieux maitrisée et la complexité du modèle économique a épuré l’offre des différents fabricants. HP a lancé une nouvelle version de son back pack (G2) avec support d’une carte graphique Nvidia RTX 2080. De seconde génération, le HP Z VR Backpack G2 est un PC portable qui vient se porter dans le dos avec un harnais pour supprimer les câbles entre le casque et la station de travail et permettant ainsi une mobilité en VR. Cette version connaît plusieurs améliorations par rapport à la version précédente avec par exemple l’intégration d’une carte graphique Nvidia GeForce RTX 2080.
Le Z VR Backpack est une solution idéale pour la VR en mobilité comme dans les salles d’arcade par exemple (Location Based Entertainment).
Retrouvez nos configurations HP sur mesure pour vos applications (3D, temps réel, montage, compositing, VR...)
E-Sport
Un autre domaine est sous le feu des projecteurs ces derniers temps : l'E-sport qui, confinement oblige, a connu un attrait croissant. Les premières expériences d'E-sport mélangeaient un rassemblement physique (généralement salle de concert ou une salle dédiée) pour suivre une compétition de jeux vidéo entre des équipes ou des joueurs, le confinement a dématérialisé la salle pour ne garder que la partie visualisation en ligne de l'événement, le dernier exemple en date est le F1 Esports Virtual Grand Prix avec de vrais pilotes de F1 : Charles Leclerc , Alex Albon … Voir https://www.facebook.com/watch/?v=2668200603413022
Le confinement a également mis en lumière des applications de sport virtuel, sur lesquelles on peut se réunir pour un run collectif tout en restant chez soi. C’est le cas par exemple de l’application Zwift qui mélange sport physique et contenu virtuel : un vélo sur un home trainer devant un paysage virtuel (les capteurs du vélo sont couplés à l’application pour faire défiler le décor et afficher les autres coureurs). L’application propose les mêmes possibilités avec la course à pied sur tapis. https://www.zwift.com/
Pour conclure
Malgré la crise qui traverse nos industries techniques et qui remet en cause de nombreuses pratiques et processus de fabrication, il n'en reste pas moins que la demande de contenus est plus forte que jamais et ce n’est que le début de la bataille des contenus, le contrôle des tuyaux de diffusion ne suffisent plus, il faut également les alimenter. Que ce se soit pour de simples tutoriels ou courts métrages sur YouTube ou pour les milliers d'heures de séries créés chaque année, les jeux vidéo, l'E-sport ou la visualisation temps réel, la demande est croissante sans forcément compromettre la qualité, il suffit de regarder la qualité des séries aujourd’hui. Pour nous permettre de continuer à travailler et mettre en place rapidement des processus de fabrication alternatifs, cette période nous a forcés en quelques jours ou semaines à trouver et utiliser en production de nouvelles idées, services, outils et logiciels que nous n’aurions jamais eu le temps d’essayer autrement. Ces nouveaux processus de fabrications nous permettront peut-être de nous reconstruire et d’offrir à nos clients de nouveaux services et créations graphiques pour relancer notre industrie créative. Un nouveau Far West s'ouvre à nous, celui du tout numérique.