Crosspoint y Amplify, a cargo del metadatado del Archivo RTVE

РТВЭ награжден Кросспойнт la implementación de capacidades de IA (Inteligencia Artificial) para el metadatado de su Archivo, un proyecto en que se contará con la experiencia de la vertiente digital de la empresa, Crossmedia, y con la tecnología de Amplify.

Команда РТВЭ apuesta desde 2020 por el Автоматический метадат en su Fondo Documental, debido al aumento en la producción de programas basados en contenidos de su archivo, como Cachitos de Hierro y Cromo, Viaje al Centro de la Tele или Conexión Vintage, así como a la implantación de plataformas de vídeo bajo demanda como Rtve play. Tras la finalización del anterior expediente de servicio, la radiotelevisión publica puso en marcha una nueva licitación para la gestión del archivo durante los próximos años. Este servicio es de vital importancia, dado que la Corporación se ha fijado el objetivo de catalogar, a medio plazo, 198.220 horas de material procedente de los centros territoriales.

Crosspoint (parte del grupo ES трансляция), en colaboración con Amplify, ha resultado galardonado con la licitación, lo que le permitirá gestionar y proporcionar los recursos humanos y tecnológicos del servicio de Автоматический метадат de archivos audiovisuales del Archivo RTVE. El servicio que desplegará con Amplify realizará el análisis automático de 20.000 horas: 18.000 de audio en español, 5.000 de los contenidos de la imagen и 5.000 de audio multilingüe. Para abordar este proyecto, se desplegará Amplify Seiri, una solución basada en IA que automatiza y mejora la gestión de archivos audiovisuales, lo que permite localizar y reutilizar contenido en segundos.

Análisis de audio, imagen y audiomultilingue

El servicio tecnológico, cuyo despliegue se completará en septiembre y arrancará el 1 de octubre, abarca una amplia selección de procesos en el ámbito del tratamiento del audio. Más allá de la transcripción de audio a texto, las herramientas de Crosspoint y Amplify se encargarán de la puntuación y capitalización del texto transcrito; el reconocimiento de las entidades nombradas (NER); la extracción de palabras clave para identificar los temas tratados según el criterio de RTVE; la clasificación automática del contenido, incluyendo su tipología (entrevista, documental, informativo…); la realización de resúmenes automáticos en función de los requerimientos de RTVE; la identificación del género del hablante, y el reconocimiento de identidad a partir de la voz de personajes públicos. Además, realizarán la segmentación semántica, a modo de minutado automático de los contenidos; por noticia, para el análisis de los programas informativos y magazines, y por hablantes.

Desde la perspectiva del análisis de la imagen, la solución de Crosspoint y Amplify se encarga del reconocimiento de presencia de personas en la escena; el reconocimiento de identidad de personajes públicos; la extracción de caracteres alfanúmericos (OCR) en imagen; la identificación de logos y marcas; la detección de objetos relevantes; la identificación de tipos de escenas, y la descripción de imagen. Especialmente relevante es el análisis de programas informativos y magazines, dado que el Archivo RTVE ha solicitado la identificación y detección con sus códigos de tiempo de inicio y final secciones y elementos visuales como la cabecera, titulares, bloque de deportes, bloque meteorológico, títulos de crédito, señal en directo, entradillas de corresponsales y el copy-texto de final de emisión.

De cara al análisis de audio multilingüe, el sistema se encarga de la transcripción de las lenguas de Baleares, País Vasco, Comunidad Valenciana, Galicia y Cataluña, y su traducción al español, ya sean piezas con el uso exclusivo de estas lenguas o sean bilingües. Además, el sistema también será utilizado a modo de prueba de concepto (PoC) para análisis específicos de audio y vídeo como la detección de efectos como aplausos, ovaciones o gritos; la detección de contenido violento y discursos de odio; la búsqueda por imágenes, o la detección y reconocimiento de obras musicales.

Crosspoint se encargará de la formación del personal de RTVE, que podrá gestionar independientemente esta herramienta con el apoyo de un equipo disponible para consultas durante 12 horas al día y con un plazo máximo de resolución de 48 horas.

Alianza estratégica entre Crosspoint / Crossmedia y Amplify

La colaboración para el proyecto del Archivo RTVE entre Crosspoint y Amplify parte de un acuerdo marco de colaboración que permitirá extender las capacidades de metadatado y generación automática de resúmenes a todo tipo de proyectos en los ecosistemas broadcast и OTT en todos los mercados en los que operan ambas compañías. De esta forma, al igual que en el proyecto de la radiotelevisión pública española, se desplegarán soluciones como Seiri, un “documentalista digital” capaz de analizar automáticamente el contenido audiovisual y extraer gran cantidad de información estructurada mediante una transcripción precisa del contenido audiovisual, o GeNews, una solución basada en IA generativa capaz de, a través de un formulario, generar una pieza audiovisual que incluye guion, selección de imágenes, edición básica y voz sintetizada.

Víctor García, managing director de Кросспойнт, valora muy positivamente la alianza con Amplify: “Estamos encantados de haber alcanzado un acuerdo marco de colaboración con AMPLIFY, una empresa formada por profesionales de primer nivel, a quienes conocemos desde hace décadas. Han volcado toda su experiencia en el desarrollo de herramientas muy avanzadas, que permiten abordar proyectos de gran complejidad como el metadatado automático del Archivo de RTVE. Esperamos mantener esta relación a largo plazo y dirigirnos a todo tipo de mercados, gracias a nuestra presencia global como parte de ES Media Group. En ese contexto, Memnon —también perteneciente al grupo— juega un papel estratégico en la digitalización de archivos a gran escala y en la implantación de soluciones basadas en inteligencia artificial.”

Со стороны Amplify, Aaron López, fundador y CEO, añade: “Rodearse de partners de primer nivel, profesionales y solventes es fundamental para poder cumplir nuestros proyectos más ambiciosos. Por ello, unirnos a Crosspoint y Crossmedia para transformar el metadatado del Archivo de RTVE y planificar nuevas integraciones con todo tipo de televisiones, plataformas y radios es, sin duda, la mejor decisión que podíamos haber tomado”.