Brainstorm participe au projet EMERALD

Remue-méninges participe au projet européen ÉMERAUDE « IA et automatisation des processus pour un divertissement et des médias durables » financé par la Commission européenne dans le cadre du programme Horizon Europe.

Le consortium interdisciplinaire de sept partenaires comprend, outre Brainstorm, des entreprises des secteurs des technologies du cinéma, de la diffusion, du streaming et du divertissement en direct (BBC, Brainstorm Multimedia SL, Disguise Systems, Filmlight et Technologies MOG) soutenu par deux grandes universités européennes (Universidad Pompeu Fabra and The Provost, Fellows, Foundation Scholars & The Other Members Of Board Of The College Of The Holy & Undivided Trinity Of Queen Elizabeth Near Dublin).

"EMERALD s'efforce de créer des outils révolutionnaires pour les secteurs du divertissement numérique et des médias en exploitant le potentiel des technologies de l'IA, de l'apprentissage automatique et du Big Data. L'objectif primordial est de révolutionner le traitement, d'améliorer l'efficacité de la production, de minimiser la consommation d'énergie et d'élever la qualité du contenu grâce à des innovations de pointe", déclare Francisco Ibanez, R&D Project Manager at Brainstorm. “Currently, there is a massive increase in the volume of video-based and extended reality content, with an unsustainable demand for skilled human resources, data processing and energy. This project aims to address this challenge through the développement de l'automatisation des processus pour la création de médias durables.»

EMERALD vise à appliquer le ML pour automatiser certaines des tâches les plus exigeantes en main-d'œuvre impliquées dans la production de contenu vidéo, qui ont des implications considérables en termes de temps et d'énergie. Javier Montesa, R&D Technical Coordinator at Brainstorm, says that Brainstorm in collaboration with University Pompeu Fabra (UPF) will develop DL-based methods and tools for video matting. “The main objective is to produce high-quality results for the automated real-time integration of remote presenters or performers into virtual scenes and sets for broadcast/streaming media using DL without the need of a trimap. With the AI enhancement of BRA’s InfinitySet, we will bring the quality of green-screen methods to simpler configurations.”

Montesa explique que Brainstorm prévoit de intégrer InfinitySet aux systèmes UPF Deep Learning pour l'estimation de la pose de la tête et du corps qui permettra à l'opérateur de déclencher un contenu qui s'affichera automatiquement sur différentes parties de la scène, des écrans virtuels, des espaces réservés graphiques 3D, ou simplement devant le présentateur lors de ses déplacements. Francisco ajoute que « nous explorerons de nouvelles façons d'améliorer l'insertion du présentateur, d'afficher et de tordre sa silhouette, ou de calculer son ombre avec plus de précision et de réalisme ».

De plus, Brainstorm sera impliqué dans la création d’outils conçus pour l’équilibrage automatisé des couleurs et la correspondance des prises de vue. Des manipulations de couleurs sont nécessaires en post-production, en VP et dans les studios virtuels de diffusion. Javier Montesa déclare que l'automatisation de l'étalonnage des couleurs du présentateur pour qu'il corresponde à la scène virtuelle sera particulièrement utile pour les studios virtuels de diffusion qui ne disposent pas de coloristes. « L'intégration de cette correction automatisée des couleurs dans InfinitySet simplifiera l'utilisation de l'outil et améliorera l'intégration présentateur-scène lorsque les conditions d'éclairage ne sont pas contrôlées ou lorsque les conditions d'éclairage de la scène virtuelle sont censées varier au cours d'un programme ».