VVC vs. MPEG-5 EVC / LCEVC: what standard will mark the future of broadcast?

In this Tribune, Dr. David Guillermo Fernández Herrera, CTO of YOU HAVE VIDEX, analyzes in depth the VVC and MPEG-5 EVC / LCEVC video compression formats, great candidates to become a standard in the broadcast industry in the short and medium term.

In the last few decades, we have experienced incredible advancement in the field of multimedia applications. Among the various factors that have intervened, it is worth highlighting the contribution of the video compression standards. Since the late 1980s, a multitude of standards have been developed, from H.261 to the recent VVC (Versatile Video Coding), always seeking to obtain high data compression rates without reducing visual quality.

This objective has allowed, every approximately 10 years, a new standard is released that provides a 50% reduction in the required bandwidth compared to its predecessor. This has been the case of H.265/HEVC (High Efficiency Video Coding, released in 2013) versus H.264/AVC (Advanced Video Coding, 2003).

In 2020, the first version of the standard was published VVC and two other new standards within the family MPEG-5, MPEG-5 EVC (Essential Video Encoding) y MPEG-5 LCEVC (Low Complexity Enhancement Video Coding).

Discovering VVC

VVC promises reduce by 50% the generated data rate (bitstream) with respect to H.265. However, this improvement is obtained at the expense of considerably increasing the algorithm complexity and consequently, requiring greater computational resources, greater power consumption and, therefore, greater economic cost to meet the requirements that allow real-time encoding/decoding of high (HD) and ultra-high definition (UHD) signals. This is something we have become accustomed to with the release of each new standard, and VVC has been no exception, as it features a large number of new techniques which add great complexity to the design of an encoder or decoder.

Both the rate of compression like the video visual quality They depend directly on the implementation made in the encoder, of what techniques have been used and how they have been implemented.

It is very important to highlight that video compression standards define the syntax of the bitstream (how to build it) and the method to follow to perform the decoding (how to reconstruct a video from the bitstream), but they do not describe the implementation of the encoder. This means that the standard indicates, for example, how to convert a motion vector to a sequence of bits, but it does not define how the encoder obtains the value of said vector by searching for the motion that exists between the different images that make up the video. Both the rate of compression like the video visual quality They depend directly on the implementation made in the encoder, of what techniques have been used and how they have been implemented. Therefore, the performance of an encoder can vary significantly from one implementation to another.

In the first implementations of H.265 encoders it could be confirmed that, when compared to mature implementations of H.264 encoders using configurations that allow the same amount of computational resources to be used (CPU load, memory usage, etc.), better results were obtained in H.264. Currently, as there are already sufficiently mature H.265 implementations, the situation has changed. The purpose of this comment is alert on encoder implementations that arise after the release of a new standard. Some are conceived as mere marketing products that include simple implementations of new techniques seeking to reach the market as soon as possible, but ultimately fall under their own weight when detailed comparisons are made with mature encoders based on previous standards. The implementations carried out based on an exhaustive study of the standard and the state of the art, and that have been optimized in strict testing environments, are those that They really exploit the contributions of each new standard.

---

Steps forward with VVC in the UHD world

Among the contributions within VVC, it is worth highlighting the use of large coding units (128x128 pixels), which greatly reduce the bandwidth required when applied in areas of homogeneous textures in the resolution UHD. Another very interesting contribution is the use of multiple types of partitions, which allows the image to be divided into coding units that adapt to the content, perfectly delimiting the different objects in the image. This level of division opens the doors to the use of artificial intelligence algorithms in video compression, such as segmentation, where each pixel of the image is classified individually. Through segmentation, regions, individuals or objects of interest can be detected and delimited in different classes within each image and different compression techniques can be applied depending on the level of visual quality that is desired to be obtained for each class. In other words, allocate more bits to regions of interest para mejorar su calidad visual en función de un análisis de la imagen previo.

VVC proporciona las necessary tools para optimizar la distribución de contenidos en UHD y ya existen implementaciones comerciales que lo posibilitan; pero dichas soluciones utilizan gran cantidad de recursos computacionales y suponen una importante inversión.

Estas herramientas son sólo una pequeña introducción a todas las que utiliza VVC y que, aplicadas correctamente, pueden suponer un salto cualitativo muy importante. Según se publique mayor número de artículos sobre cómo usar eficientemente estas técnicas y se dediquen mayores esfuerzos a optimizar los diferentes algoritmos, se comenzarán a obtener implementaciones de VVC que permitan mejorar las prestaciones de sus predecesores a un coste computacional razonable. VVC proporciona las herramientas necesarias para optimizar la distribución de contenidos en UHD y ya existen implementaciones comerciales que lo posibilitan; pero dichas soluciones utilizan gran cantidad de recursos computacionales y suponen una importante inversión.

---

MPEG5-EVC / LCEVC: ¿evolución natural?

MPEG-5 EVC presenta la ventaja de disponer de un perfil básico exento de regalías por lo que resuelve una debilidad de H.265, donde la gestión de licencias se ha convertido en un proceso muy engorroso. Pero dentro de la familia MPEG-5, destaca MPEG-5 LCEVC.

Este nuevo estándar se basa en añadir capas adicionales de mejora de calidad sobre una capa base obtenida mediante otros estándares de compresión. Este concepto es un gran salto respecto a sus predecesores, ya que permite que los equipos puedan seguir haciendo uso de aceleración hardware (basada en H.264, H.265, VP9, etc.) para procesar la capa base y, mediante software, mejorar sus prestaciones gracias a las capas adicionales. En el lado del descodificador, si no se soporta MPEG-5 LCEVC, se descodificará únicamente la capa base permitiendo compatibilidad con infraestructuras y dispositivos existentes.

Por lo tanto, MPEG-5 LCEVC introduce el concepto de flujo de datos de mejora de compresión, reduce la complejidad de procesamiento y es compatible con versiones anteriores; todo ello, sin introducir latencia adicional en el sistema.

---

La adopción de VVC y MPEG-5 LCEVC

Aunque han pasado tres años desde la liberación de la primera versión del estándar VVC, actualmente, no existe soporte hardware en ningún dispositivo para VVC, lo que ralentiza su adopción y nos permite predecir que no se acelerará su expansión hasta 2026 o 2027. Aun sin soporte hardware, estamos viendo una serie de indicadores en el mercado que indican su potencial. Uno de estos indicadores es la adopción de VVC en estándares de aplicación como DVB (adoptó VVC como Next Generation Codec, en 2022), SBTVD (para su capa base, en 2021), SCTE (lo incluyó entre sus estándares en 2023) y su inclusión en ATSC 3.0. El esfuerzo dedicado a la implementación de soluciones VVC por parte de empresas como Qualcomm, Huawei, Hikvision, MainConcept, Ateme o Bitmovin, podría ser otra indicación de su futura amplia adopción.

MPEG5-LCEVC es una realidad palpable, su implantación actualmente es factible, y mediante la adición de capas software tanto en la codificación como en la descodificación, aporta una importante mejora en las prestaciones de cualquier sistema basado en estándares previos.

Debido a la carencia de implementaciones open source maduras de VVC y a los recursos que destinan los codificadores comerciales (8 veces más que H.264 y 4 veces más que HEVC), MPEG-5 LCEVC se perfila como una opción muy interesante para mejorar las prestaciones de sistemas existentes basados en estándares anteriores. Eso sí, en el caso de proveedores de contenidos o servicios multimedia, donde la posibilidad de dedicar potentes servidores a la codificación no sea problema, no se debería perder de vista VVC por las mejoras significativas que aporta en la eficiencia de compresión y por los indicadores sobre su futura adopción que hemos comentado.

A medida que avancen las implementaciones, comenzarán a aparecer dispositivos de menor coste donde sea posible ejecutar VVC. Lo mismo ocurrió con sus predecesores: las primeras implementaciones de H.265 sólo podían ejecutarse en potentes servidores; pero, con el paso de los años, llegaron las implementaciones optimizadas ejecutadas sobre otros tipos de dispositivos como FPGA, GPU y, finalmente, ASIC. Con ello, se llegó a democratizar su uso.

Aunque VVC en la actualidad no dispone de dispositivos que realicen la descodificación mediante aceleración hardware (móviles, set-top boxes, GPU en ordenadores, etc.), se perfila como el gran candidato to disminuir el ancho de banda requerido para distribuir contenidos UHD en los próximos años.

MPEG5-LCEVC es una realidad palpable, su implantación actualmente es factible, y mediante la adición de capas software tanto en la codificación como en la descodificación, aporta una importante mejora en las prestaciones de cualquier sistema basado en estándares previos. Gracias a la compatibilidad que ofrece, puede desplegarse usando la infraestructura actual y sin necesidad de crear un flujo de datos paralelo, lo cual supone una reducción de costes significativa respecto a la implantación de un estándar que obligue aplicar flujos por problemas de incompatibilidad. No obstante, aunque VVC en la actualidad no dispone de dispositivos que realicen la descodificación mediante aceleración hardware (móviles, set-top boxes, GPU en ordenadores, etc.), se perfila como el gran candidato para disminuir el ancho de banda requerido para distribuir contenidos UHD en los próximos años.

Al final, serán las apuestas de broadcasters, fabricantes y proveedores, así como necesidades específicas en el cada vez más amplio concepto broadcast, quien definirá el ganador en una batalla con dos tecnologías muy potentes que llegan a solventar muchos de los desafíos que implica la transmisión de contenido HD y UHD.

Dr. David Guillermo Fernández Herrera

CTO de YOU HAVE VIDEX