2023年8月1日
By 1月时特约编辑
专题文章

VVC的采用和实施状况

编解码器的采用就像整个城市正在缓慢发展的发展. 似乎要花很长时间才能修好公路, 风暴排水, 并在污水处理系统和地段进行了分级. 开发商会建造一两个样板房来激发人们的兴趣, 但至少在前几套房屋完工之前，没有人会购买. 爱冒险的先行者会迈出第一步, 产生更多的看客，他们变成买家，产生更多的移动货车和被践踏的院子. 几个月或几年后, all of the homes are completed 和 occupied; trees, 灌木, 和 flower gardens are growing; 和 the development becomes a mature neighborhood.

我最近参加了一个在流媒体东部的VVC小组. 在哪里 VVC 在编解码器采用过程? 道路、雨水渠和污水处理系统都安装好了，甚至还有一两个样房. 如果你读懂茶叶, 你知道VVC有位置, 位置, 位置, 所以它一定会成功. 但不幸的是，大多数房屋还需要数年时间才能准备入住.

好了，比喻到此结束，我保证. 在本文中, 我将向你们介绍小组的参与者, 简要总结他们会谈的关键细节, 并分享他们演讲的下载链接. 请跟着我看完这篇冗长的文章, 这样你就能更好地理解VVC在哪里，什么时候会崭露头角. 最后，我将分享一些关于这对AV1编解码器意味着什么.

适合TL和DR类型, 如果你是一家在VVC专利列表中排名不高的视频出版商，我会这么说, 在2026年或更晚之前，你可能不会考虑VVC. 如果你想增加H.在此之前，264使用更有效的编解码器进行编码, 你最可能的选择是HEVC和AV1, LCEVC也是一种选择. 然而, 如果你是流媒体生态系统中的产品或服务提供商, it’s long past the time to start considering where 和 when VVC is going to fit in for you 和 your target customers.

让我们来见见小组成员，大致了解一下他们的演讲.

VVC性能和标准化工作

第一位演讲者是Alan Stein, google的技术副总裁指状组合型这是一家专注于无线和视频技术的研发机构. (在这里下载他的演讲.Stein首先概述了VVC的架构和新的编码工具, 使质量比HEVC提高了40%, 只有1.解码复杂度是HEVC的6倍. 你会看到, 这转化为几个早期的VVC部署和移动设备上高效的纯软件播放.

然后斯坦转移到部署状态，部分显示在图1. The deployments 在 figure largely relate to application 标准 that promote 和 accelerate VVC adoption in future devices. 例如, inclusion 在 DVB toolbox means that the codec can be deployed in regions or countries that adhere to the DVB st和ard, 这自然会加速VVC的部署. 纳入ATSC标准意味着在某个时候，在ATSC 3之后.0标准成为强制性，电视在美国销售.S. 加拿大将越来越有可能支持VVC，再次加速其部署.

应用标准中VVC的采用

图1. VVC在应用标准中的应用(摘自Alan Stein)

其他标准简化了潜在发布者和生态系统提供商实现VVC的过程. 例如, the CTA WAVE Content Specification is used to develop compatibility tests for encoding 和 player developers 和 computer, 移动, 以及客厅设备制造商. 这有助于确保当编码器产生VVC流时, 它可以在所有可用的播放器上播放, 简化内容发布者的部署.

All of this is the plumbing that I referred to; as VVC is incorporated into more 标准, 这意味着未来会有更多兼容的设备和更快的部署. 从测试和兼容性的角度来看，部署VVC就越简单, 推出的速度越快，利润越高. 这些都是伟大的预兆，但仅此而已.

VVC版税结构

下一位发言者是罗伯特.L. 摩尔, Volpe Koenig的专利律师, 谁讨论了两个vc相关的专利池, 不属于一个专利池的主要专利所有者, 版税结构, 什么东西要交版税, 什么不是(看图2). 摩尔说，与HEVC一样，大部分的版税将由设备制造商支付. 由于它与内容有关，Via LA池由 MPEG LA和Via Licensing的合并，不对内容收费. 而Access Advance池对vc编码的内容收费, 它只针对物理媒体上的内容, 比如磁盘或u盘, 这是相同的模式Access Advance使用HEVC. 如果你在流式传输vvc编码的视频，就不收费，即使是按次付费或订阅.

图2. 两个VVC池及其各自的版税结构(来自Robert J.L. 摩尔)

摩尔 also delineated the various pricing tiers for the Access Advance pool 和 pointed out that Access Advance pool licensees that also license VVC will pay only 25% more for devices that use both codecs. 除了, 摩尔 pointed out that large VVC IP owners like Qualcomm aren’t in either of the two pools 和 license their IP bilaterally with device manufacturers. 这个模式, 其中最大的知识产权所有者直接授权, 而较小的知识产权所有者加入池, 在大多数技术标准中是通用的.

摩尔最后谈到了MPEG LA和Via Licensing的合并, 并指出合并后Via LA的所有权与Access Advance非常相似. 报道, he said there is some speculation that Via LA may dissolve its VVC pool to enable the market to move toward a single VVC patent pool owned by Access Advance.

VVC播放状态

下一个, 我谈到了三个主要市场对VVC播放的支持:电脑, 移动, 还有客厅.ly / VVC_Playback). 以我的邻居为例, 我应该最后说的, 因为播放支持代表了发行商进入的最终归宿. 不支持播放, 世界上所有的管道都无法说服发行商部署新的编解码器.

在这方面，消息就不那么乐观了，尽管这并不令人意外. 具体地说, the VVC spec was finalized in July 2020; about 3 years later, 目前还没有公布的计算机或移动cpu, gpu, 或带有VVC播放或编码的soc. 考虑到芯片和相关设备的开发周期, this means that it’s likely we won’t see our first computer or 移动 device with VVC until mid- to late 2024 和 won’t see an addressable market for hardware playback until 2–3 years beyond that.

为视角, AV1于2018年4月宣布, 2023年1月, 不到5年之后, a ScientiaMobile研究报告称，移动硬件对AV1的支持仍低于3%. 不幸的是, 硬件支持需要很长时间才能达到临界质量, 和, 如果有什么区别的话, VVC似乎落后于AV1.

尽管缺乏硬件支持, 几家软件公司, 包括葵, ByteDance, 腾讯, 和MX Player, 似乎是将VVC传送到移动设备上，仅供cpu播放. 图3 显示了葵和字节跳动在2022年1月发布的令人印象深刻的播放统计数据. 请注意, 两家公司都拥有对VVC有贡献的重要专利因此，他们有动力加速其部署.

图3. 令人印象深刻的播放统计数据从两个VVC利益相关者，葵和字节跳动移动设备

除了, note that MX Player 和 MX TakaTak from India were reportedly delivering VVC streams to up to 20% of their installed base. 这两家公司都没有被列为重要的知识产权所有者, 因此，部署VVC的动机可能只是为了节省带宽. 不管是什么动机, these reports do confirm the statements from 指状组合型’s Stein about relatively efficient VVC playback.

幸运的是, 客厅里的集成电路图要亮得多, 哪里有多个现有的硬件解码器从联发科, 瑞昱, 和VeriSilicon, 和, 事实上, 2023年将推出几款带有VVC解码功能的电视汤米·弗拉纳根的精彩文章). HEVC也是如此, we may see VVC widely deployed to the living room before being targeted for computer 和移动 playback.

The other point about the living room is that it’s much easier to deploy a new codec when your service installs the set-top box that controls playback. So, it’s possible that we’ll see some greenfield IPTV VVC deployments long before we see it used for general-purpose deployments to 移动 devices 和 computers. 这些可能看起来很像本文后面描述的一些Ateme的VVC试验.

用于VOD的VVC编码和封装

这就引出了下一位演讲者，Igor Oreper，首席架构师 Bitmovin他负责视频点播的编码和包装. )他的演讲有点不连贯.ly / VVC_File_Package.) Oreper started by identifying some of the VVC encoders that had been recently announced 和/or were available. 他提到了两个开源版本, 弗劳恩霍夫和JVET标准VVC开发团队各一个, 和MainConcept的商用编码器, ByteDance, 腾讯, 阿里巴巴, Ateme, 和Bitmovin.

Oreper表示，Bitmovin的云实现基于弗劳恩霍夫编码器，我在2021年审查过. 他分享了下面的图表图4，比较VVC(红色)、AV1(蓝色)和HEVC(灰色虚线)的质量。. HM和VTM编码器是标准开发团队制作的参考编解码器. They implement all available tools at their highest quality settings to represent the maximum quality available for that codec.

图4. VVC的VOD编码选项(from Igor Oreper)

从图4的图例中可以看到，较低表示质量更好，而左边表示速度更快. The chart positions both versions of VVC as slightly faster 和 of meaningfully higher quality than AV1 和 slower than x265 but with much higher quality. The VVenC encoder comes impressively close to the maximum quality represented by the VTM reference encoder, 具有更快的编码时间. 为了达到这些结果, Oreper报告说，VVC的计算需求是AVC的8倍, 比HEVC多4倍, 是AV1的2倍, which is an indication of where pricing will be for cloud services 和 how costly VVC will be to produce in house.

他最后指出，包装分发的VVC将非常类似于AVC和HEVC, with both the ISO-BMFF (aka MP4) 和 MPEG-2 TS formats available along with the AAC 和 MPEG-H audio codecs. DASH和HLS自适应比特率选项也应该相似, 对标题和字幕使用相同的格式，对加密和DRM使用相同的选项. 考虑到指状组合型的Stein提到的标准和测试状态, 以及这些包装方面的考虑, 一旦目标受众存在，部署VVC应该是一件轻而易举的事情.

实时VVC编码

下一位发言者是Jan Outters，技术和标准主管 Ateme该公司早在2020年就开始用VVC直播赛事. 他首先讨论了实现一个新的编解码器所涉及的内容. 如你所料, 当你有一个复杂的编码工具，如Ateme的TITAN编码器, 以前执行的大部分工作都是预处理, 分析, 并将速率控制应用到新的编解码器中. 有趣的是, 奥雷帕也有同样的感受, 当Bitmovin将弗劳恩霍夫VVenC编码器代码放入其云编码器时，他评论道, “这很有效。.“这表明，对于基于软件的编码器, 直播或视频点播, 实现VVC应该是直截了当的.

这是常有的事, VVC的直播结果与VOD编码产生的结果不太匹配, 其中一张幻灯片显示，与8K的HEVC相比，VVC的总体实际增益为20%.Outters随后回顾了atame帮助制作的各种VVC试验, including the first-ever VOD broadcast trial in June 2020; the first-ever live, low-latency trial in November 2020; 和 the more recent French Open trial in June 2022, 涉及高通公司, 法国电视, LG, 橙色, Enensys, 和Viaccess-Orca.

最近，阿特梅与巴西电视3台合作制作了2022年世界杯试播节目.0. 在这次广播中, Ateme combined 4K HDR VVC encoded video with MPEG-H audio into a 15Mbps stream distributed in MPEG DASH format 和 decoded on LG television sets.

在他后来的一张幻灯片中, Outters showed the headwinds that might accelerate European VVC deployments 和 the tailwinds that might slow them (see 图5). 积极的一面, 他提到了DVB成员的强烈兴趣，以及VVC带来的效率“飞跃”. Slowing deployments is the dominant installed base of HEVC 和 AVC decoders along with continued increases in HEVC efficiency. 他还指出，最近或计划中的几项部署涉及HEVC甚至AVC. 如前所述, 尽管VVC的实施似乎是不可避免的, 这并不意味着我们会在短期内看到很大的进展.

图5. 影响欧洲VVC部署的逆风和顺风(来自Jan Outters)

VVC和HDR

今天最后一个演讲的是帕特里克·格里菲斯, 技术副总裁, 标准, 以及杜比的行业参与, 谁讨论过VVC和HDR. (请看Patrick的演讲.Griffis首先回顾了HDR的起源, 通过深入的方法，包括我们的眼睛如何感知亮度和颜色. 最后得出的结论是图6, which ranks the benefits of the available quality “improvements” by the actual impact on the human visual system 和 cost in pixels. 如你所见, 增加动态范围具有最大的影响，并且与最低的比特率成本有关, 随着色彩的增加，帧率的提高，效果也会有所改善, 但从数据速率的角度来看，效率要高得多. 简而言之, HDR的两个要素, 色彩体积和动态范围, 就显著的改进而言，提供最物有所值的效果, 这就是为什么HDR在VVC中如此重要.

图6. 根据数据速率成本和视觉影响对质量改进方法进行排名(来自Patrick Griffis)

后来的幻灯片中写道:“VVC从一开始设计时就考虑到了SDR和HDR. “HDR现在是一等公民.从本质上讲，这意味着HDR将从一开始就是VVC播放器的一个功能.

关键的外卖

以下是所有演讲的要点:

VVC should deliver more than 40% greater efficiency than HEVC 和 10%–15% greater efficiency than AV1 for VOD deployments. 对于实际部署，这些数字会更低.
VVC部署的管道铺设得很好, 从实现的角度来看，哪个应该相对平滑.
The market for 移动和 computer playback with hardware probably won’t be large enough for most publishers to pay attention to until 2026 or later.
Software VVC playback is relatively efficient 和 may be an option for publishers targeting either computer or 移动 devices. 从历史上看, 然而, only codec stakeholders like Meta have pursued this option; most independent publishers wait for hardware support.
The living room is a good year or two ahead of 移动/computers 和 VVC launches with extensive HDR support. 看起来VVC在客厅比在通用部署中更容易成功.

AV1怎么样??

人们很容易将编解码器世界视为零和游戏——如果VVC赢了，AV1就输了. 但这种情况很少发生. 开放媒体联盟会员拥有四大主要操作系统(Windows, Mac, iOS, 和Android)以及所有主流浏览器(Chrome, 边缘, Safari, Firefox). 他们在计算机和移动芯片方面规模巨大(英特尔), AMD, NVIDIA), 移动设备(苹果), 谷歌, 亚马逊, 三星), 客厅(三星), 苹果, 亚马逊, 谷歌, Roku, 微软, LG), 和内容(YouTube), 网飞公司, 亚马逊, 元). Notwithst和ing 苹果’s head-scratching lack of support for AV1 和 the significant pool of VVC-related patents, AV1不会很快消失.

VVC具有10%-15%的效率优势，并且包含在许多电视标准中，但AV2即将到来. 甚至在客厅里, VVC的利益相关者似乎比amedia的成员更强大, 尤其是在中国, 而VVC的HDR优势确实大放异彩, 图7 shows why consumer product manufacturers selling into the living room must support VP9 和 will likely end up supporting AV1. 我们称之为YouTube效应.

图7. 为什么苹果支持VP9，最终会支持AV1

图中的表格显示了YouTube如何对 壮志凌云:特立独行 预告片的视频已经积累了超过3000万的点击量. 如图7所示，如果您上传4K视频，YouTube会将H大写.264 encodes at 1080p 和 encodes at higher resolutions in either VP9 (all UHD videos) or VP9 和 AV1 (the most popular UHD videos). So, 如果你生产智能电视的话, 游戏平台, 机顶盒, 或其他OTT设备, 你必须支持VP9或AV1，这样你的买家才能看到汤姆克鲁斯著名的微笑在全分辨率. 这是最终迫使苹果支持VP9的筹码.

YouTube短期内不太可能放弃VP9编码, but at some point—perhaps after its second-generation ASIC-based Argos encoder with AV1 comes online—YouTube may start to cut back on VP9 encodes, 也许在VP9中编码到2K，只有AV1在那之上. 因此，对AV1的支持很可能会继续扩大.

除了, 在客厅里，AV1比VVC有一个健康的开端, 尽管av1相关的HDR仍未得到证实. 整体, 展望未来, 除了一个基于标准的双编解码器世界之外，很难预测任何事情, 另一个来自amedia.