The Future Group, Fremantle Media, Ross Video et Epic Games développent le concept de réalité mixte interactive dans « Lost in Time »

La chaîne norvégienne TV Norge lance un nouveau format dans lequel trois concurrents testent leurs compétences dans des mondes fantastiques grâce à la réalité mixte interactive rendue possible par le populaire moteur de jeu vidéo Unreal Engine.

Le groupe Future, Fremantle Media, Vidéo de Ross et Epic Games, ont développé un concept intéressant de télévision linéaire associé à un environnement de jeu vidéo, donnant naissance à un format hybride appelé « Interactive Mixed Reality ».

Le premier projet issu de cette collaboration est Perdu dans le temps, un concours que la télévision norvégienne TV Norge a récemment lancé, non sans controverse en raison des problèmes techniques liés à une production d'une telle complexité.

Derrière ce projet se trouve Bård Anders Kasin, un jeune artiste multimédia autodidacte de Notodden, en Norvège, qui a participé à la production de Matrice rechargée oui Les révolutions matricielles. Kasin, en collaboration avec l'ingénieur logiciel et entrepreneur Jens Petter Høili, fondateur d'EasyPark et Fairchance, s'est mis au travail pour créer The Future Group (TFG), basé à Oslo et axé sur la révolution de la télévision en combinant des effets visuels de pointe, des jeux interactifs, la participation des téléspectateurs et le commerce électronique. Leur concept d'IMR va au-delà de la réalité virtuelle mais maintient conceptuellement l'idée de créer du contenu dans une expérience multi-niveaux, complexe et immersive.

The Future Group s'est associé il y a trois ans à Fremantle Media, producteur de grands formats tels que J'ai du talent, idole oui Le facteur X pour lancer Lost in Time, le premier concours interactif de réalité mixte. Le fabricant Ross Video et le développeur Unreal Engine Epic Games ont rejoint ce projet. Dans le cas de Ross, il a conçu la technologie de production et développé une version pour un environnement de diffusion du moteur Unreal appelé Frontier, capable de générer des graphiques en temps réel haute résolution utilisés en production.

Perdu dans le temps est produit à l'aide de grands cycloramas de chrominance verte aux studios Dagslys (Oslo). Dans le concours, trois participants doivent relever de nombreux défis dans un jeu physique « superposé » à l'aide de chroma avec des environnements imaginaires. Le public peut suivre la diffusion depuis chez lui ou sur un appareil mobile, voyant le concurrent parfaitement mélangé dans un environnement virtuel construit à partir de graphiques informatisés en temps réel. Les environnements sont thématiques et vont de l'ère glaciaire au Jurassique, en passant par l'Ouest américain ou le Moyen Âge avec de véritables accessoires interactifs.

Grâce à une application pour smartphone ou tablette, les téléspectateurs chez eux peuvent jouer en temps réel contre les concurrents ou d'autres joueurs de tout le pays.

L'un des grands défis de ce projet, dans lequel TFG a investi plus de 40 millions de dollars, est qu'un moteur de jeu vidéo fonctionne avec des marges de quelques millisecondes tandis que les caméras de diffusion fonctionnent à des vitesses de 25 à 50 images par seconde. Pour que cela fonctionne pour la diffusion, il a été nécessaire de faire correspondre exactement les fréquences d'images des caméras virtuelles et physiques. Pour ce faire, l'équipe de Ross Video a eu accès au code source d'Unreal en le repensant afin que l'image virtuelle rendue ait le même genlock que les images de studio capturées avec le timecode SMPTE.

Pour obtenir une saisie précise des couleurs, un ensemble de caméras système HD a été personnalisé pour exécuter 4:4:4 RVB au lieu des images compressées 4:2:2 YCbCr conventionnelles.

Les participants et les objets physiques sont suivis par 150 capteurs infrarouges placés derrière l'écran vert. Cette disposition permet également la capture de mouvements en temps réel.

Les caméras sont équipées du logiciel Ross UX VCC qui constitue un pont entre les systèmes de caméras robotiques et manuels avec une sortie de suivi et le moteur Unreal. En production ils interviennent
un Technocrane, une caméra de plafond automatisée, plusieurs systèmes SolidTrack et plusieurs unités Steadicam.

Après sa première en Norvège, TFG et Fremantle ont l'intention de proposer le format au monde sous la forme d'un ensemble d'environnements virtuels prédéfinis, ainsi que d'une bibliothèque d'actifs 3D permettant aux créateurs de contenu de créer leurs propres mondes. Cela permettra à chaque diffuseur d'adapter l'émission à ses besoins.

Unreal au NAB 2017

Vidéo Ross, Vizrt et Zero Density ont démontré des intégrations avec Unreal Engine lors du dernier NAB 2017 qui illustrent la puissance des capacités de rendu en temps réel du moteur. De plus, The Future Group et House of Moves ont montré comment Unreal Engine contribue à innover en matière de production et de diffusion de divertissement.

Ross Video a fait une démonstration à Las Vegas Frontier, une plateforme innovante de rendu graphique de studio virtuel qui utilise Unreal Engine pour générer des séries de photos pour des émissions comme Lost In Time.

Viz Virtual Studio de Vizrt permet désormais aux producteurs de créer facilement des décors virtuels 3D complexes et interactifs et des graphiques immersifs à l'aide d'une interface intuitive. Virzt a ajouté Unreal Engine au flux de travail Viz Virtual Studio pour un rendu accéléré en temps réel. La solution mise à jour est déjà utilisée par Fox Sports, BBC News, The Weather Channel et CNN.

De son côté, Zero Density Virtual Studio est une solution de studio virtuel photoréaliste qui compose des images dans un espace 3D à l'aide d'Unreal. Reality, le compositeur 3D accéléré basé sur des nœuds de la solution, accède à Unreal Engine en tant que moteur de rendu 3D pour s'exécuter en temps réel. La combinaison de la flexibilité d'Unreal, de la puissance et de la qualité du rendu, ainsi que des capacités d'incrustation, de suivi et d'ombrage de Zero Density, permet aux clients d'atteindre une créativité impressionnante.

Perdu dans le temps

C'est ainsi qu'est né The Future Group

https://www.youtube.com/watch?v=SNIZjuYbioc