头脑风暴深入研究 EMERALD 项目中的人工智能、机器学习和大数据应用

头脑风暴 正在参与欧洲项目 翠 “娱乐和可持续媒体的流程自动化和人工智能”，由欧盟委员会根据“地平线欧洲”计划资助。

这个由七个合作伙伴组成的跨学科联盟，除了 Brainstorm 之外，还包括电影、广播、流媒体和现场娱乐技术领域的领先公司（BBC、Disguise Systems、Filmlight 和 MOG Technologies），由两个支持 欧洲重要大学 (Universidad Pompeu Fabra y The Provost, Fellows, Foundation Scholars & The Other Members Of Board Of The College Of The Holy & Undivided Trinity Of Queen Elizabeth Near Dublin).

弗朗西斯科·伊巴内斯Brainstorm 研发项目总监强调，“EMERALD 致力于利用人工智能、机器学习和大数据技术的潜力，为数字娱乐和媒体领域开拓创新工具。总体目标是通过尖端创新彻底改变处理方式、提高生产效率、最大限度地减少能源消耗并提高内容质量。”

“目前，基于视频和扩展现实的内容数量大幅增加，对训练有素的人力资源、数据处理和能源的需求不可持续。该项目旨在通过开发可持续媒体创作的流程自动化来应对这一挑战，”他补充道。

EMERALD 旨在应用机器学习来自动化视频内容制作中一些最劳动密集型的任务，这对时间和能源的使用都有相当大的影响。

哈维尔·蒙特萨, coordinador técnico de I+D en Brainstorm, afirma que Brainstorm, en colaboración con la Universidad Pompeu Fabra (UPF), desarrollará métodos y herramientas basados en aprendizaje profundo para el “matting” de video. “El objetivo principal es producir resultados de alta calidad para la integración automática en tiempo real de presentadores o artistas remotos en escenas y sets virtuales para medios de transmisión y streaming utilizando aprendizaje profundo sin la necesidad de un ‘trimap’. Con la mejora de IA de InfinitySet de BRA, llevaremos la calidad de los métodos de pantalla verde a configuraciones más simples”, asegura.

Montesa explica que Brainstorm tiene planes de integrar InfinitySet con los sistemas de aprendizaje profundo de UPF para la estimación de la pose de la cabeza y el cuerpo que permitirá al operador activar contenido que se mostrará automáticamente en diferentes partes de la escena, pantallas virtuales, marcadores de posición de gráficos 3D o simplemente frente al presentador mientras se mueve. Ibáñez agrega que “se explorarán nuevas formas de mejorar la inserción del presentador, cambiar su silueta y calcular su sombra con más precisión y realismo”.

Además, Brainstorm participará en la creación de herramientas diseñadas para el equilibrio automático del color y la coincidencia de tomas. Las manipulaciones de color son necesarias en postproducción, en producciones virtuales y en estudios virtuales de transmisión.

Javier Montesa afirma que automatizar la gradación de color del presentador para que coincida con la escena virtual será especialmente valioso para los estudios virtuales de transmisión que no tienen coloristas. “La integración de esta corrección automática de color en InfinitySet simplificará el uso de la herramienta y mejorará la integración presentador-escena cuando las condiciones de iluminación no estén controladas o cuando las condiciones de iluminación de la escena virtual estén destinadas a variar durante un programa”.