en:lang="en-US"
1
1
https://www.panoramaaudiovisual.com/en/2021/11/30/rtve-monitorizacion-automatizada-calidad-experiencia-espectador/

QoE Video-MOS

RTVE, en el marco de la segunda convocatoria de su sandbox, Impulsa Visión Empresas, sobre la monitorización automatizada de sus señales de emisión, ha seleccionado a Video-MOS para colaborar conjuntamente en este campo.

A lo largo de seis meses, Video-MOS ha trabajado conjuntamente con el personal técnico de RTVE para mostrar y demostrar el potencial y los beneficios de utilizar su solución de última generación. Esta solución es una herramienta SaaS automatizada (sonda) que se puede implementar en cualquier contenido de vídeo (streaming de ficheros) para monitorizar en tiempo real, 7x24h, la calidad de experiencia del espectador de contenidos de vídeo. Es una solución agnóstica del hardware, basada en un desarrollo de Artificial intelligence llevado a cabo por Video-MOS durante los últimos años.

Impulsa Visión Empresas es una iniciativa dirigida a entidades consolidadas en el sector audiovisual que deseen colaborar con RTVE de forma práctica, probando sus proyectos y productos innovadores en el campo tecnológico y de los servicios asociados a la producción, contribuyendo de manera conjunta al desarrollo de esta industria. RTVE, según cada caso y en función de la disponibilidad de sus recursos, facilita el acceso a contenidos, procesos e infraestructura, de forma que estas entidades puedan probar de manera estructurada sus nuevos desarrollos en un entorno real.

Video-MOS está especializada en la medición de MOS para el monitorizado de la Experiencia del espectador de contenidos audiovisuales (Calidad de la Experiencia del espectador). Su modelo basado en sondas de software desplegables en cualquier contenido (tanto en streaming como en un archivo) proporciona al difusor, TV Station, productor y/o agregador de contenidos, plataforma de video, anunciante… una interfaz en tiempo real para monitorizar sus contenidos.

Se trata de una solución complementaria a las soluciones habituales, fundamentalmente basadas en hardware, para la medición sencilla de la calidad de la señal (Calidad del Servicio). De esta manera, permite monitorizar en tiempo real 7x24h, la totalidad de los canales de vídeo de los operadores de contenidos de forma automática, garantizando el conocimiento de las circunstancias en las que incluso con una correcta calidad de señal, el espectador experimenta una mala Calidad de Experiencia como, por ejemplo, pixelado, desenfoque, etc.).

They are a group of video industry enthusiasts who have joined forces to commercially position an innovation that serves a hitherto unattended market made up of the core technical team that comes from the Visual Telecommunications Application Group (GATV) of the Polytechnic University of Madrid (UPM), and business professionals with a minimum of more than 20 years of international experience in the creation and sale of software for the broadcast industry.

Common distortions not detected by other QoE systems

Measure QoE

RTVE has raised the following problem within the Impulsa Vision Empresas framework: broadcasting organizations, TV broadcasters, OTTs (Over The Top video platform operators) and content producers (series, advertisements ...) have a problem to economically and effectively measure the Quality of Experience (QoE) provided to your audience, as current technologies do not provide a solution, especially in the case of live content.

Como resultado, hoy en día la QoE todavía se mide por los técnicos humanos visualizando el contenido y calificando subjetivamente la experiencia, un método altamente ineficiente y costoso. Además, las redes de próxima generación (NGN), como el 5G …, tienen la capacidad de auto-configuración de su calidad de servicio (QoS) a través de varios parámetros (latencia, ancho de banda, prioridad, protección…) y de su propia arquitectura, de acuerdo con algunos criterios de diseño específicos. Y, sin duda, la QoE evaluada en tiempo real desempeñará un papel clave tanto en la forma de validar y reconfigurar los servicios, como en el desarrollo de nuevos modelos de retribución basados en calidad y no en ancho de banda.

The Video-Mos solution verified by RTVE consists of replacing subjective tests dependent on human technicians with a automated solution, based on Artificial Intelligence (AI) to emulate human observation and estimate the QoE for a certain multimedia content on a transport or distribution network. The estimated value of QoE will also become a fundamental parameter for the self-configuration of the parameterization of services on new generation NGN networks. Thus, the software brings together next-generation video analysis, artificial intelligence (AI) algorithms and Big Data.

There are differentiating aspects of technology. Unlike competitors in the media industry, Video-MOS is the only solution that can be deployed and operated in a matter of minutes. Using virtualized software probes (Docker technology - software container), it can be deployed anywhere on the network and start monitoring QoE in real time. This innovation is much more sophisticated and of better performance than the existing alternatives, all of them dependent on the hardware and its complex configurations.

Artificial intelligence

Video-MOS was established in 2019 to exploit a technology for which the patent application and its international extension have already been processed, by the GATV group of the Polytechnic University of Madrid licensed exclusively to Video-MOS. The experience in the application of artificial intelligence (AI) to environments of artificial vision It has been fundamental for the development of the innovation presented in this proposal. The proposed solution is so disruptive on all fronts (technical, commercial, ease of use) and the market need is so present, that it has led to present it to this RTVE Impulsa Empresas 2021 and achieve its acceptance by RTVE, experiencing the advantages and the opportunity to improve emissions monitoring that means for them.

Monitoring Quality of Service (QoS) is not enough to ensure a satisfactory viewing experience

In recent years, it has been observed that video traffic accounted for most of the traffic transportado a través de Internet, y que sigue aumentando constantemente cada año. Se espera que el tráfico de transmisión de vídeo global represente el 82% del tráfico mundial IP en Internet para 2022 (Informe anual de Internet de Cisco).

Con el fin de fidelizar a los clientes existentes y atraer nuevos usuarios, los proveedores de servicios (organismos de radiodifusión, radiodifusores TV, OTTs, y los productores de contenido) intentan satisfacer las expectativas del usuario y proporcionar una experiencia de visualización satisfactoria, de especial interés dada la competencia creciente en el sector de plataformas digitales de contenidos con nuevos entrantes como p.e. Disney+. En este contexto, es de suma importancia poder cuantificar la percepción de los usuarios sobre el nivel de servicio actual: la QoE.

Tradicionalmente, las métricas de calidad de servicio (QoS) se han utilizado para estudiar el rendimiento de los servicios en línea y los elementos en red. Las métricas de QoS, que son más adecuadas para medir el rendimiento y la fiabilidad de los elementos de red, sin embargo, no capturan la experiencia real del usuario (QoE). La calidad de servicio (QoS) refleja el rendimiento de la red y sus componentes. Mide la capacidad de la red para satisfacer las necesidades del servicio y, por lo tanto, es una métrica centrada en la red. Las métricas comunes de QoS utilizadas son el ancho de banda, la pérdida de paquetes, el retardo, la prioridad, la protección o el jitter.

The service received by the user, however, is affected and influenced not only by the network components in the content distribution network, but also by various factors. These are end-to-end factors that include the effects of primarily: the service, terminal, client and network infrastructure.

Content distribution network, degradation factor and distortions perceived by viewers.

Standard metric

The quality of experience (QoE) is a metric, already collected by international standardization bodies such as the ITU and ETSI, focused on the user that captures the general acceptability of the service. It has also been defined as the degree of delight or annoyance of the user of an application or service. QoE measures viewer satisfaction as it is subjectively perceived by the user.

A recent example of bad viewing experience not detected by QoS monitoring systems is the premiere of episode 3 of the 8th season of Game of Thrones. Muchos fans afirmaron que la imagen era demasiado oscura. ¿Fue culpa de HBO o de la plataforma de distribución, un episodio tan oscuro? Se afirmó que los creativos habían afinado la luz para el cine, por lo que era incompatible con la configuración de una sala de estar y los televisores estándar. En conjunto, la alta compresión debido a las restricciones de la QoS, la estrategia de alto rango dinámico y la baja iluminación debido al punto de vista artístico terminó con un mal impacto en la calidad percibida por el público, completamente transparente para los sistemas de control de calidad basados en parámetros de la calidad de servicio de la red.

Los organismos de radiodifusión de medios de comunicación en todo el mundo comprenden la importancia de ofrecer la mejor calidad de experiencia posible a sus clientes, pero muchos no tienen una comprensión completa de cómo funciona exactamente su servicio, o tienen externalizada parte de la cadena, o directamente no disponen de control sobre cómo se realiza la distribución de sus contenidos. Ciertamente son capaces de detectar o acceder a errores relacionados con la red (por ejemplo, pérdida de paquetes, retraso, fluctuación …), pero otras malas experiencias de visualización pasan desapercibidas para sus sistemas de monitorización de calidad (por ejemplo, pixelado, congelación, emborronamiento, edginess).

If content owners only consider production needs, technical configurations, and display characteristics, it is simply impossible for current QoS monitoring systems to detect problems with the audience's viewing experience.

The QoE measurement is still highly dependent on the human observation, and it remains to this day unfeasible to be used in a generalized way and in real time.

Estimar la calidad percibida no es fácil. Principalmente porque determinar lo bien que se ve un contenido de video, qué tan bien suena un audio, y qué tan buena es la interacción con el servicio o la aplicación, es subjetivo, y depende de la percepción humana.

La estimación se puede realizar con evaluaciones subjetivas en las que los usuarios evalúan la calidad de un conjunto de secuencias degradadas siguiendo una metodología específica o con evaluaciones objetivas, utilizando algoritmos matemáticos para medir la degradación de la señal audiovisual y las condiciones de la red, teniendo en cuenta las características del contenido audiovisual y los modelos de la percepción humana.

Dada la falta de soluciones automatizadas precisas y convenientes en el mercado, los proveedores de servicios dependen principalmente de la Puntuación Media subjetiva de Opinión (MOS – Mean Opinion Score) para medir QoE, calculada con videos de calificación de espectadores reales en una escala discreta, de 1 a 5.

Puntos de inserción de Video-MOS en la cadena de Distribución

Más allá del análisis

La innovación patentada de Video-MOS monitoriza automáticamente la QoE entregada a los usuarios de cualquier servicio interactivo (telefonía, TV, web), en cualquier dispositivo (PC, smartphone, Set Top Box, etc) y a través de cualquier red (fija, móvil, etc). La solución proporciona una estimación objetiva de MOS (sin participación humana), y notifica si alguna de las secuencias de vídeo presenta un problema, informa si el valor MOS estimado para un contenido monitorizado no es óptimo y el porqué, y genera informes de referencia. El sistema funciona tanto en sistemas de transporte de medios de radiodifusión como de streaming, así como con contenido en directo o grabado (Vídeo bajo demanda).

El software Video-MOS está diseñado siguiendo una arquitectura de “microservicios”: La aplicación se divide en piezas independientes de software que se comunican entre sí. La principal ventaja es que se pueden distribuir por toda la infraestructura de producción y distribución de los organismos de radiodifusión, los radiodifusores TV, los OTTs y los productores de contenido para optimizar el consumo de recursos. El servicio Video-MOS consta de un mínimo de 3 microservicios en contenedores “docker’: AI Prediction, Data Base, y Dashboard Web.

The MOS metric is considered the gold standard for measuring QoE, as it considers the influencers of user experience at the technological, contextual and human level. All solutions currently on the market are based on technological factors (bandwidth, frame rate, sample rate, resolution, delay, jitter). Therefore, Video-MOS is taking advantage of the relationship between image and audio content and the perceptual response of the viewer. This allows Video-MOS to be the only solution that proposes to be able to identify graphic assets (markers, logos, banners…) in the scene where others identify them as distortions.

Video-MOS notifica cuando un programa no ha tenido un MOS óptimo y las distorsiones que le han afectado, así como ofrece informes de referencia personalizados. Por ejemplo, los espectadores no esperan el mismo QoE en América del Sur que en Europa, o no se espera el mismo QoE en la final de la Liga de Campeones de la UEFA que en un reality show. Las capacidades de Video-MOS permiten no sólo medir la QoE de un determinado contenido multimedia, sino también analizar y calcular el impacto en los espectadores. Más adelante Video-MOS podría realizar reconfiguraciones automáticas en dispositivos (codificador, routers, cámaras automáticas) para optimizar la emisión de contenidos audiovisuales.

Las métricas de vídeo-MOS van más allá de las soluciones de análisis de imagen y audio puras utilizadas hasta ahora. Evalúan el contenido audiovisual en su conjunto, teniendo en cuenta la atracción visual, la pureza del audio, el movimiento, y otras características relevantes de la composición del material de archivo. Podemos extraer información del propio contenido. Esto permite que Video-MOS sopese para los contenidos de las emisiones de RTVE los diferentes parámetros en función de la naturaleza del contenido, ya sea un programa de noticias o un partido de tenis, por ejemplo.

Mediante el uso de la herramienta de análisis de Video-MOS, RTVE ha podido comprobar de manera directa la calidad de la experiencia (QoE) de algunos de sus programas. Centrándose en los canales de alta definición, que son los que quedarán a partir del 1 de enero de 2023 en la TDT, y de forma mayoritaria en La 1, se han podido evaluar distintos parámetros para obtener una medida de la calidad ofrecida a los espectadores.

Esta herramienta podría suponer un plus para RTVE, entre otras aplicaciones, a la hora de determinar los valores óptimos de bit rate de cada canal dentro del múltiplex con el fin de optimizar la calidad de sus canales, así como para evaluar nuevo equipamiento de codificación.

Ventajas de Video-MOS

  • Las sondas de Video-MOS aportan un experto en la QoE que informa instantáneamente de mediciones MOS estandarizadas sin referencia, y análisis comparativos con el resto de los sectores del mercado.
  • Detecta artefactos de pérdida de calidad en su contenido audiovisual.
  • Garantiza la calidad de su contenido audiovisual “sobre la marcha”, en tiempo real 24×7 en todos los canales en todos los lugares deseados de la cadena de producción y distribución, para cualquier contenido en directo (streaming) o VoD (fichero).
  • Analiza el impacto de la calidad de su contenido video en su negocio y asegura una mejor experiencia de usuario.
  • Aporta versatilidad en los entornos de uso. Válido para entornos de producción de radiodifusión tradicionales y streaming multi-dispositivo.
  • Hace uso de una Web de gestión intuitiva, y una API accesible mediante llamadas REST. Reduce los esfuerzos de administración, supervisión e integración de terceros.
  • Dota de diversidad a los modelos de explotación por medio de Contenedores de software, virtualizados y Docker en infraestructura privada, con su proveedor de nube pública preferido o como configuración híbrida para satisfacer sus necesidades actuales y futuras.

Did you like this article?

Subscribe to our RSS feed and you won't miss a thing.

Other articles on , ,
For • 30 Nov, 2021
• Section: Issue