In 'Here', Zemeckis tests the excellence and innovation of Artificial Intelligence in cinema

A room can hold countless lives throughout its centuries. Director Robert Zemeckis proposes in 'Here' an unforgettable journey through time with the help of the latest Artificial Intelligence techniques where the past and present intertwine like never before.

Here It takes place in a single location, showing moments from prehistory to events far in the future. By interweaving personal and universal themes, the film invites audiences to reflect on love, loss, and the passage of time reflected in the marriage formed by Richard (Tom Hanks) y Margaret (Robin Wright). To achieve the impressive time travel reflected in the faces of the protagonists Hanks and Wright who, together with Paul Bettany y Kelly Reilly star in the story, Robert Zemeckis went to the team Metaphysic con Your plate leading his supervision and the British-Indian visual effects studio DAY under the leadership of Johnny Gibson.

the movie written by Eric Roth based on the graphic novel of the same name by Richard McGuire, it featured a budget of 45 million dollars using three sets in its filming that housed two identical copies of the room so that one could be filmed while the other was decorated according to the period. In addition, the exterior scenes prior to the construction of the house were filmed on a third set.

He director of photography Don Burgess He agreed with Zemeckis that, after trying body doubles and countless makeup tests, the film will only be viable with the help of Artificial Intelligence. And achieving this level of realism through traditional computer graphics techniques that involve 3D modeling, rendering and facial capture, would have been impossible given the quality demands required by the production of Here.

Neural Performance Toolset (NPT)

Miramax (la productora de cine y televisión propiedad de beIN Media Group y Paramount) invitó entonces al estudio Metaphysics a realizar una prueba de pantalla para el proyecto recreando a un joven Tom Hanks, que recordaba a su juventud en películas como Big pero con la experiencia del paso de los años de un actor de su talla. La tecnología Neural Performance Toolset (NPT) de Metaphysics está revolucionando el mundo de los efectos visuales generados por IA con su innovador marco de aprendizaje automático. Diseñada para ofrecer un realismo y un control inigualables, esta tecnología aprovecha arquitecturas de modelos de última generación, manipulación avanzada del espacio latente y técnicas de animación neuronal.

They are complejo sistema de procesamiento de datos and their redes neuronales de última generación están diseñados para obtener resultados de alta resolución sin perder control ni flexibilidad. Esta arquitectura no solo preserva la integridad de la transferencia del rendimiento facial, sino que también mantiene los matices específicos del contexto y la identidad durante el entrenamiento. Con estas herramientas, el supervisor de efectos visuales de producción en Here, Kevin Baillie, y la productora de efectos visuales, Sandra Scott, decidieron que había llegado la hora de que la IA mostrara en pantalla hasta dónde puede llegar.

Aunque los modelos de redes neuronales alcanzaron en las primeras pruebas resultados fotorrealistas notables, Metaphysics desarrolló nuevas herramientas para el control de la línea ocular de los actores y otras técnicas que respaldaran los movimientos bruscos de cabeza de los actores.

El equipo desarrolló características faciales en hasta cinco edades diferentes para Tom Hanks, cuatro edades para Wright y dos edades para Bettany y Riley. En total, la película emplea sustitución facial en 53 de los 104 minutos de su metraje total. Para acompasar el los movimientos de los actores con la edad ficticia recreada por IA, en el set de rodaje se dispusieron monitores para cada talento en los que se mostraba la imagen procedente de cámara y el resultado tras la aplicación de la IA. Gracias a este trabajo en tiempo real, los actores podían ajustar sus interpretaciones así como los equipos de maquillaje (con maquillaje real junto al maquillaje digital), peluquería o atrezzo comprobar el resultado según el espacio temporal de la escena.

El resultado final en el que los actores viajan por el tiempo de forma invisible al público fue una mezcla de múltiples renders neuronales de Inteligencia Artificial y la composición en Nuke de Foundry. El devenir del paso del tiempo en el exterior tras la ventana principal del salón se valió de una pared LED con contenidos de cada época movidos por el motor de Unreal.

IA made in Spain

En la impecable producción de Here ha desempeñado una papel clave, además del potencial de la NPT de Metaphysics, las herramienta de Inteligencia Artificial de la compañía española Generative Suite que con su propuesta Magnific permitieron aumentar la resolución de las imágenes.

Created by Javi López y Emilio Nicolás, Magnific consigue un upscaler y unenhancer avanzados de la IA capaces de reimaginar eficazmente gran parte de los detalles de la imagen, guiados por una serie de indicaciones y parámetros. Sus resultados quedan patentes en Here con un resultado magistral.

https://www.youtube.com/watch?v=11rXdSI5XqQ