3 月 1 日消息,据联合视频专家组 JVET 官网显示,字节跳动 AVG(先进视频团队)今年 2 月发起一项视频压缩的技术提案,该提案能够在优化压缩质量的同时,节约至少 13% 的存储和带宽。例如,一段 180 分钟 H.266/VVC 标准的高清视频(1080P 分辨率),大约需要 3GB 的数据体积,应用新技术后只需要 2.6GB。
视频是由一张张图片连接起来的动态图像序列,视频编解码则是视频应用的底层核心技术,作用是对图像进行压缩和数字编码,以尽可能小的带宽传送高质量的视频数据。H.266/VVC 能够在不影响画质的情况下,把视频码率降低到前一代标准 H.265/HEVC 的一半。本来只够放标清视频的网速,也能流畅播放高清视频。
此次字节跳动 AVG 提出的新算法,旨在通过深度学习技术构建减少视频压缩失真的滤波器 (DAM),主干是基于残差单元堆叠的深度卷积网络,辅以自适应模型选择以最大程度适应特性复杂的自然视频。所谓残差单元是指通过引入跳层连接,允许网络把注意力放在变化的残差上,这与视频图像帧之间的残差有异曲同工之妙,比如武林高手决斗,“剑光一闪”,每一帧图像绝大部分内容是相同的,闪动的剑光形成残差,这也是视频编码压缩的重点关注对象。
实验结果显示,相比 H.266/VVC 最新标准,字节跳动的 DAM 解决方案能够为视频编码性能带来显著提升,亮度信号 Y 可实现 10.28% 的性能增益,两个色度信号 U 和 V,性能增益也分别达到 28.22% 和 27.97%,在视频质量有所优化的同时,至少还可缩小 13% 的数据体积。
据悉,AVG 的各项研究成果,也将通过 BVC 编码器的升级换代投入应用,包括抖音、西瓜视频、今日头条等App 的视频类内容处理,以及云计算、云游戏等基础架构领域。
根据公开报道,字节跳动 AVG 在美国加州建立研发团队,成员有来自高通、微软、英特尔等巨头的资深研究员,也有出身海内外顶级院校的新生代。在此前 JVET 制定新一代国际视频编解码标准 H.266/VVC 的过程中,字节跳动 AVG 累计提交 260 + 项技术提案,其中 130 + 项被采纳,被采纳提案数和采纳率均排在世界前列,是 H.266/VVC 核心算法的主要贡献者之一。