Téléportation dans les environnements XR : clés et réalités

Miguel Churruca, directeur marketing et communication de Remue-méninges, expose dans ce forum les clés technologiques et conceptuelles du concept de téléportation dans les environnements XR, une technique graphique et d'interaction avec de grandes possibilités.

Il Terme XR est devenu populaire pour décrire l'utilisation de arrière-plans virtuels à propos d'un Grand mur vidéo LED, en l'utilisant pour des séries, des films ou des événements en direct. Cela ne représente qu’une partie des applications possibles de la technologie XR, puisque le concept dépasse cette application parfois spectaculaire, mais ne profite pas de toutes les possibilités de la Réalité Etendue.

Commençons alors par délimiter le terme. Si l'on part du concept de Virtuel continu de Émigrer oui Kishino, le Réalité étendue (XR ou eXtended Reality) serait tout ce contenu qui combine objets réels avec virtuel. Selon ces auteurs, parmi les la « vraie » réalité tel que capturé par la caméra et génération d'images entièrement synthétiques foins combinaisons d'objets réels et virtuels qui génèrent un réalité mixte (Monsieur) de étendu (XR). Par conséquent, des contenus tels que Décors virtuels 3D, réalité augmentée (RA) ou Réalité Mixte Immersive (IMR) Ce seraient des éléments qui s’inséreraient dans le concept XR. Et pas seulement cela, mais, comme nous l'avons souligné précédemment, nous pouvons considérer que le contenu virtuel sur un mur vidéo serait, par essence, un ensemble virtuel, mais affiché sur un mur vidéo au lieu d'être intégré en chrominance et affiché sur un écran différent.

Outre les avantages évidents de DIRIGÉ, puisqu'il n'est pas nécessaire d'avoir un jeu de chrominance pour inclure les personnages dans l'environnement virtuel, nous pouvons considérer cette méthode comme utile pour environnements en direct ou avec un public en direct, puisqu'ils peuvent voir le résultat de la composition directement, et non sur un écran séparé. Mais si nous devons inclure des objets supplémentaires comme d'autres personnages présents dans des endroits éloignés ou des objets comme la réalité augmentée dans la scène, nous aurons besoin d'autres éléments et techniques pour ça. Ou, utilisez AR en contexte au sein de la LED, comme un trompe l'œil.

Chroma ou LED

Dedans NAB 2022, Brainstorm a déjà utilisé les deux techniques dans son démonstration virtuelle, y compris personnages distants, enregistré dans chrominance, à l'intérieur du scène affichée sur LED, interagissant avec le présentateur et avec des éléments virtuels, ainsi que Objets AR placés dans leur contexte de telle manière que, à l'écran, ils apparaissent comme une réalité augmentée sur la scène, grâce au point de vue de la caméra et le Réfléchissez à la technologie XR.

De même, il n'y a aucune raison pour que le contenu XR ne puisse pas être généré à l'aide de Incrustation chroma ou murs d'images indistinctement. Bien sûr, il y aura des moments où il sera plus utile ou plus efficace d’utiliser ensembles de chroma et d'autres dans lesquels il est préférable d'utiliser LED. Nous avons déjà mentionné que l'utilisation de LED nous apporte des avantages en termes d'intégration de caractères par rapport à la chrominance, mais Si nous quittons l’environnement « optimal » de la LED, nous rencontrons alors certains inconvénients.. Lorsque nous multiplions les éléments qui composent la scène, ou que nous traitons d'écrans LED de formes étranges, avec un sol, dans un coin, etc., des problèmes tels que mise au point, moiré, profondeur de champ ou encore influencer le résultat final.

Même si nous combinons les deux techniques (chroma et LED) dont nous continuons à parler Contenu XR, et c'est là que se présente la possibilité d'inclure téléportation de personnages ou AR dans des environnements XR basés sur LED. Nous parlerons de téléportation lorsque nous intégrerons un personnage distant, enregistré en chroma, dans un environnement réel, pour générer l'illusion que vous êtes dans le même espace que la personne sur le plateau. Et bien sûr, il peut être intégré soit dans un plateau réel, sur plateau virtuel ou sur écran LED live.

Le personnage comme objet AR

En revanche, téléporter un personnage distant vers une scène XR implique de considérer ce personnage comme un objet AR au sein de la scène. C'est parce que nous travaillons sur un Environnement 3D, donc le personnage doit avoir le taille, perspective et ajustement corrects au sein de la scène et interagir, si nécessaire, avec d'autres éléments, tels que lumières virtuelles, oh projeter des ombres sur des éléments virtuels, y compris. La technologie de Présentateur 3D Brainstorm vous permet d’y parvenir de manière transparente. Cette technologie, en combinaison avec l'outil Télétransporteur, permet l'insertion de personnes réelles en tant qu'objets de réalité augmentée dans des scénarios distants en temps réel, faisant en sorte que les deux mondes se comportent comme un seul, avec ajustement précis de la perspective et du mouvement (tant que les deux perspectives sont similaires), et en ajoutant ombres virtuelles et ajustements d'éclairage pour obtenir une illusion de réalisme. TeleTransporter vous permet également d'insérer présentateurs et objets 3D dans des vidéos provenant d'emplacements distants, et vice-versa.

Pour cela nous avons besoin capturer le personnage distant avec une caméra fixe, pour éviter les écarts de suivi. L'ensemble doit avoir un caméra de préférence avec suivi pour s'assurer que le personnage distant suit les mouvements de la caméra, même si caméras fixes aux deux endroits, technologie PisteGratuit de Brainstorm permettrait de générer des mouvements de caméra virtuelle. Le personnage distant doit, si possible, avoir un éclairage similaire à celui du décor, ou le l'astuce sera perceptible.

A l'origine, cette technologie a été réalisée sur environnements réels, dans lequel le caractère a été inséré enregistré en chroma sur place télécommande. Aujourd'hui les possibilités se multiplient, au pouvoir insérez le personnage dans un mur vidéo LED, et le faire interagir avec le présentateur et lui permettre d'être vu non seulement par le public à la maison, mais aussi par le public sur le plateau. Et grâce à la technologie 3D Presenter de Brainstorm, le personnage distant peut interagir avec le objets virtuels du décor, projetant des ombres ou même des reflets, ce qui permet une intégration beaucoup plus réussie dans les arrière-plans virtuels hyper-réalistes que l'on peut générer avec le nouvelles techniques de rendu.

Un concept évolutif

La téléportation élève la téléprésence à un autre niveau, permettant à une personne de se déplacer virtuellement vers un autre endroit sans avoir besoin d'être à l'intérieur d'un écran capturé par une webcam. Résistant incrustation chroma pour capturer le personnage distant, même avec un téléphone mobile, amenant les gens comme des objets et pas seulement comme des vidéos sur les plateaux, générant un interaction beaucoup plus dynamique et attractive pour le public.

Ce concept continue d'évoluer, comme en témoigne le projet européen Admirer, auquel Brainstorm participe (en plus de coordonner le projet) et à travers lequel se développent des technologies qui font progresser et démocratisent la réalité mixte immersive, augmentant ses applications pour les contenus audiovisuels de tous types.