Augmented reality in Telemadrid: origin, technologies and creativity

Estábamos acostumbrados a ver la realidad aumentada en electoral programs or in retransmisiones deportivas. Sin embargo, ya las podemos encontrar, a diario, in Telemadrid. ¿Cómo ha conseguido este hito la televisión pública madrileña? Lo descubrimos de la mano de José María Casaos, director de Ingeniería y Tecnología; Antonio of Tena, jefe de Área Procesos de Ingeniería; y Eduardo Cabrera, realizador a cargo de la coordinación de la realidad aumentada.

Cualquier innovación tecnológica debe tener un porqué; un sentido que haga razonable el esfuerzo tecnológico que conlleva. La augmented reality It is an element of which, although everyone does not hesitate to recognize its benefits, it is also subject to mala praxis. Sometimes, used in informative fields, they are still mere fireworks that, to pro of spectacularity, they renounce their basic purpose: to reinforce the presentation of information on screen and give context to the presentation of a news.

Telemadrid is clear about the true purpose of augmented reality. It has been implementing it recurrently for two years, each time with higher frequency and different applications. He doesn't just play with elements overlapping: Among its usual resources, there are also vinyls, the extension of funds and its joint use with a videowall de 21 metros; en este último caso, este soporte de grandes dimensiones puede llegar a interact directamente con la realidad virtual.

La televisión madrileña construye estos desarrollos, además del equipo interno habitual de los trabajadores de la casa que hacen los informativos, apoyada en un equipo de tres grafistas dedicados en exclusiva la realidad aumentada de la empresa Now, logrando una media de 5 elementos de realidad aumentada por informativo. No obstante, este dato oculta una realidad: todo el equipo de la casa (presentadores, redactores, dirección, área técnica, grafistas…) está involucrado al 100% en estos procesos.

Para saber cómo han conseguido llegar a este punto, es necesario remontarse a 2019.

Impulsado “desde arriba”

José María Casaos, director de Tecnología de Telemadrid, cuenta que la dirección de informativos solicitó a la dirección de operaciones y tecnología un sistema de realidad aumentada para las elecciones nacionales de abril de 2019; un mes después, también sería utilizado en las autonómicas madrileñas. En este momento, empezó un camino que acabaría por llevar a utilizar los gráficos de RA diariamente: “Ahí empieza todo: se diseña e implementa el sistema y el flujo de trabajo, y se prepara un equipo de personas para hacerse cargo de ello”.

In the words of Casaos, once the new systems were installed, the elections were “the perfect excuse” to start using this type of elements, since “the content and information management had among its objectives to use these systems on a regular basis.” The objective was change the language of how to tell stories and transmit information within current affairs and news programs. "You already know that non-verbal communication is essential when transmitting something. Development would have to contribute to this objective in order to tell the information better and in a more enriched way," he adds.

Un proceso de 20 años

A pesar de que el último gran paso se dio en 2019, la trayectoria de Telemadrid con los virtuales se remonta a hace más de 20 años, afirma Antonio de Tena. En aquel entonces, la cadena madrileña contaba con un sistema de virtuales de la casa Run (ahora parte de Avid) y un sistema de rotulación que posteriormente fue cambiado por tecnología Chyron. Este sistema les permitía hacer seis programas diarios en “virtual puro y duro” con un sistema de tracking “totalmente autónomo”. Clave para ese desarrollo fue Run, que acabó usándose tanto para hacer un rótulo, como para hacer el virtual set of Madrid Direct, con lo cual “la combinación fue perfecta”, señala De Tena.

It is esquema no ha cambiado: “El único sistema de gráficos on-air que tiene Telemadrid desde hace un montón de años es Orad, con lo cual ese camino lo teníamos recorrido”. Con esta instalación como base, el área liderada por Tena alquilaba una cámara sensorizada con su óptica para las elecciones. Esta solución, que no se movía de una posición fija, sirvió para que la cadena diera sus primeros pasos en materia de realidad aumentada.

Todo cambió, como Casaos anticipaba, con las elecciones de 2019.

Primeros pasos con tracking

Los primeros pasos de Telemadrid con la augmented reality were notablemente caseros. Así lo afirma De Tena: "We put a camera hooked with some zip ties to a light fixture to make the graphics anchored to that size and that position. In this way, everything was done except when the graphics were given, which had to enter and exit in the same plane." The workflow It was the same one they used for a sign: “Someone entered iNews, our ladder system; they chose a template, like some bars could be; and came to control through MOS.”

Once it decided to acquire its own system for the 2019 elections and a team was created with a person dedicated exclusively to augmented reality, it was based on previous experience to optimize the processes. Therefore, De Tena It is clear that the system could be assembled in a simple way because "the steps had already been taken; we simply had to use them and massify them."

Technical workflow

The Telemadrid technical team launched itself into augmented reality definitively with a camera anchored to a crane, thus allowing a proposal to be made more dynamic y spectacular. It was chosen Mon-Sys, whose system, Tena comments, is based on “10-centimeter reflective stickers pasted on the ceiling of our set.”

The infrared camera integrated Mo-Sys system constantly looks to these references to trackear assumption. These data, together with the zoom and focus of the camera, end up making up the basic engine of the display. “This chain is going to a Ultimatte which, in turn, is directed at the mixer table,” he adds.

“This system can tell us what I do, if I bend, if I break… Until now it has been very reliable,” says Tena, who points out that the same constellation located on the ceiling of the studio Telemadrid would allow them to include a second augmented reality system, something they study for the future.

The entire integration, in addition to the aforementioned manufacturers, was carried out with the help of suppliers such as Data Average y Moncada, who helped the Telemadrid Systems team to implement the new technology.

Collaborative processes

These new workflows need to develop new processes in which the involvement of practically all people and operational and technical areas of the house. En los programas especiales, los representantes de Telemadrid coinciden en que es “muy bonito” ver la aportación de todos ellos, especialmente de “áreas que trabajan detrás de las cámaras haciendo un trabajo necesario pero a veces no reconocido”.

Además, en este caso de los programas de elecciones, la incorporación de los “datos” electorales en tiempo real y su visualización de diferente forma en todas las plataformas es de vital importancia. Es clave tanto para el contenido del programa como para el trabajo interno de áreas como Sistemas de Información. “Por tanto, su involucración y aportación, además de imprescindible para que todo salga según lo planificado, es un ejemplo más de lo bonito y gratificante que es el trabajo en equipo en televisión y su repercusión en la motivación de los profesionales de la casa”, apuntan.

La importancia del guion

Realizar la cobertura informativa de unas elecciones con realidad aumentada requirió esfuerzo por parte de los presentadores, pero no dejó de ser una nueva aplicación de modelos que han acompañado a la televisión desde hace décadas: barras, tartas, la asamblea, etc. En definitiva, representaciones visuales de números o de lugares que los conductores del programa estaban acostumbrados a desgranar.

No obstante, cuando se empezó a usar la realidad aumentada fuera del contexto de las elecciones, surgió la necesidad de empezar a trabajar estas piezas de una forma diferente. De Tena: “Nos dimos cuenta de que en el día a día nos faltaba un guion. Sin él, no costaba mantener esa credibilidad. Por ejemplo, coincidiendo con el aniversario de la llegada de Colón a América, hicimos su barco y lo mostramos en pantalla. El presentador improvisó y el resultado no fue tan bueno como podíamos esperar”.

En este punto, toma importancia la importancia de Eduardo Cabrera, encargado del guion y coreografía (entre muchas otras labores) de las aplicaciones de realidad aumentada. Según Cabrera, lo más importante para su éxito es la “previsión y la coordinación”. Cómo acercarse, qué pasos dar o de qué manera interactuar serán elementos fundamentales para el éxito de estas propuestas.

The implicación de los presentadores, remarca Casaos, también es vital. La buena noticia es que en Telemadrid están “entregados a la causa”. Cabrera confirma la premisa y afirma, entre risas, que “antes les daba un poco de vergüenza, pero ahora y entran a todo”. Como concluye De Tena, “cuando hicimos un par y vieron que quedaron muy bien, ya se convirtió en una especie de competición: a ver quién hacía mejor la interpretación con la realidad aumentada”.

Coordination with the editorial team

The generation of augmented reality parts in news programs is a labor coral. Although there are three people dedicated exclusively to the creation of the pieces, they have the help of Antonio de Tena and graphics for specific collaborations, the coordination of Eduardo Cabrera for the organization and scripting, and the inexhaustible requests from the entire news writing team, who have seen in this technique an opportunity to give a new approach to news production.

Para poder atender a todas las solicitudes y ocurrencias que van naciendo día a día, Cabrera organiza la creación de elementos de realidad aumentada en tres partes: corto, medio y largo plazo. En este calendario se incluirán tanto cuestiones genéricas (días internacionales o efemérides), como noticias que se pueden prever y precisan de un montaje más completo.

¿Cuánto se tarda en crear estos destellos visuales de entre 30 y 60 segundos de duración? Todo dependerá de la complejidad de la pieza. Incluir un vinilo en el suelo se puede hacer “de hoy para hoy”, cuenta Cabrera; simplificando todos los procesos, “basta con la inclusión de una imagen en formato PNG”. Otros ejemplos de piezas sencillas lo encontramos en la recreación de la explosión de la central nuclear de Fukushima, dado que se puede generar una estructura de edificios usando formas geométricas.

Soluciones creativas

Hablar del uso de realidad aumentada en Telemadrid es hablar de creativity. ¿No hay tiempo para probar una realidad aumentada en el plató? El equipo de aumentadas baja, enciende las cámaras “a las 9 de la mañana” y hace una simulación para terminar de comprobar si todo funciona. ¿Una pieza no se ha podido probar lo suficiente e implica riesgos? Se decide grabarla para luego insertarla en directo, incluyendo su respectiva postproducción de audio.

En ocasiones, los redactores podrán solicitar piezas de una notable dificultad, pero estas quedan creadas en apenas unos minutos. ¿El secreto? El “reciclaje”. El hecho de que ya lleven dos años creando contenido diario les permite reutilizar piezas “cambiando ligeramente su diseño”. Por ejemplo, hablamos de la recreación de un aula para mostrar el ratio de escolares por clase.

Proceso artesanal

Si bien otros grupos mediáticos, tanto en España como fuera de nuestras fronteras, optan por la adquisición de plantillas, Telemadrid prefiere apostar por la creación manual de cada una de las piezas que se verán en pantalla. Más allá de los beneficios que esto implica (tener el control total sobre los elementos utilizados y la evidente cost reduction que implica no recurrir a renders de terceros), lo cierto es que, cuando han decidido comprarlas, el resultado no ha sido tan bueno como podían esperar.

In the words of De Tena: "The problem with all real-time 3D graphics systems is that there is no render. Either the machine processes it in real time or it jerks. Sometimes, you buy geometries made for architecture and they are elements with a million polygons. We put that in the machine and it takes the light from the building (laughs). So, the only way we can include these elements is to optimize them, and that takes time."

At the same time, Tena comments that this is a world that, at times, resembles that of the old fashioned animation, “when the background [background] and foreground [foreground] were in layers and, with two movements at different speeds, they generated depth.” This system allowed them, using six textures in different planes, generate El Retiro de Madrid, for example.

Reconstructing (digitally) the set

Sometimes, requests from the editorial team can be completely ambitious, thus implying the transformation of the set. For example, they have sometimes requested that the entire space be transformed into a completely different place; Also, that specific elements of the scenery vary.

To deal with this type of pieces, the augmented reality team decided create a virtual copy of the entire set. Thus, it is played with a falsa sensación de realidad extendida, ya que todo se hace sobre una pantalla verde.

But, ¿cómo se utiliza el croma si no hay ningún plató virtual adherido al set de informativos? Tena lo cuenta: “Partiendo del videowall, lanzamos un verde en la pantalla y ponemos una alfombra verde de plástico. Después, hacemos una máscara con el resto de paredes y el techo. De esta forma, hemos creado un minidecorado virtual”. Esta solución limita, como no podía ser de otro modo, la libertad de movimiento del presentador, pero aporta una versatility importante en el día a día de las producciones.

Videowall, segunda ventana

In the application of augmented reality graphics, not only the three-dimensional elements created for this purpose come into play, but also the studio's LED panel. This support is used in all the information to accompany the information with content generated by the graphics department. However, it is also essential for augmented reality equipment, since, in the same way, it is used to give context to its pieces.

But not only that: it is also a source for create “sensations” and “optical effects”. Tomando como referencia el ejemplo de la central nuclear, Cabrera cuenta: “Cuando Antonio entra y nos echa una mano es cuando esto brilla. Con Fukushima, conseguimos crear unas ondas que empezaban en el videowall y salían por delante del presentador. También al revés: cuando explotaba la central nuclear, la onda se metía en la pantalla”.

A report by Sergio Julián Gómez

Laboratorio de Innovación de Realidad Virtual para Televisión

Si bien el futuro de Telemadrid con respecto a la realidad aumentada pasa por la utilización de más recursos técnicos ya disponibles, como puede ser la incorporación de un segundo sistema Mo-Sys, ya sea para utilizarlo en su plató de informativo o para sus programas de reportajes diarios, Telemadrid considera que podría aportar mucho a la industria y a la formación de jóvenes talentos interesados en este área, tanto en la Comunidad de Madrid como fuera de ella. Nos lo cuenta Casaos: “Créeme cuando te digo que estamos tratando de hacer cosas diferentes y que tanto Antonio como Eduardo y el resto del equipo tienen en su cabeza ideas muy innovadoras. Por ello, vamos a crear un Laboratorio de Innovación de Realidad Virtual para Televisión”.

Este espacio, que tomará como referencia todas las infraestructuras y equipos de la casa, aunará el talento de una universidad, y la propia Telemadrid, to seguir innovando y testando soluciones en el mundo de la realidad virtual, realidad aumentada y realidad extendida, todo ello abierto a companies de desarrollo de gráficos, así como a otras televisiones o a quien quiera sumarse a aprender y explotar estas tecnologías en un espacio virtual, pero común, de desarrollo.

“Fundamentalmente, la innovación tiene que ver con el talento de las personas. Vamos a reunir a esas personas, ese talento, para convertir esas ideas en realidades”, concluye Casaos.