声网 SDK 已支持端上实时 AV1 编码 同码率下画质更清晰

AV1 是一种新型的视频编码格式,设计初衷是为了提供一款免专利费,且具备更高效、更灵活视频压缩的编码器,以适应不断增长的在线视频需求,特别是在流媒体和实时音视频领域。目前声网 SDK 已接入 AV1,在实时音视频场景中,可实现 同等码率下,视频编码效率大幅提升,视频画质更加清晰。

在实时音视频场景中,高清化的趋势越来越明显,用户对画质的要来越来越高,高清画质也能给平台带来更高的人气与用户观看时长。同时,面对复杂的网络环境下(尤其是出海市场),高清内容传输压力大,难免要牺牲画质来保证流畅度,上下行多路音视频流传输也会造成带宽成本居高不下。

对此在 RTC 中接入 AV1 已是大势所趋,在视频通话中,相同的视频质量下,AV1 的编码效率优于目前市场广泛使用的 H.265,更远远高于 H.264,这也意味着,在音视频通话中,在面对带宽网络有限的弱网环境,AV1可以保证同样流畅度下,视频画质更清晰。

在流媒体等非实时的视频场景中,AV1 的视频压缩率相比于 H.264 高出50%以上,但代价是 AV1 的复杂度相比 H.264 也提升了超过十倍。在实时视频这类复杂度受限的场景下,声网 AV1 在做到复杂度低于 H.264 10%的前提下,依然实现了编码效率提升36%,甚至在屏幕共享文档流模式下,相比 H.264,声网 AV1 的视频压缩率提升高达80%。在编码速度层面,声网 AV1 的编码速度也比 H.265 提升了70%。

在软件编码器中,编码速度提升70%,意味着编码中 CPU 的消耗降低70%,真正可以做到端上实时的 AV1 编码。同时声网 RTC+AV1 还具备多重优势:

·         在画质方面,声网接入的 AV1 基于 RTC 场景下全链路打通,支持硬编硬解,软编软解,在保证低延迟、高流畅度体验的前提下,可根据设备性能自适应调整编解码策略,有效提升画质。

·         在产品应用方面,声网 AV1 可应用于声网的全产品矩阵,包含音视频通话、极速直播、互动直播、拉流转推流、实时录制等产品,面向全行业支持。

声网 AV1 的性能优势可以总结为:编码速度快、性能消耗低、同码率下画质更清晰、同画质下视频压缩率更高。此外,相比于H.264、H.265, AV1属于开放式的视频编码标准,不管是国内业务还是出海业务,都能快速接入。

我们通过下方的对比图,更直观的展示声网 AV1 相比其他编码器在实时场景下,编码性能与时间上的提升。

图1:Encoding Time:编码速度,越往左速度越快;BD-RATE:编码压缩率,越往下压缩率越高

我们可以通过下方两张图片,对比同 600kbps 码率下声网 AV1 与 H.264 的画质(720p/60fps)。

图2:600kbps码率下声网 AV1 画质

图3:600kbps码率下H.264 画质

在应用场景层面,以游戏直播与出海场景为例,在游戏直播场景,视频规格需要满足4k/60fps,用户体验需要做到高画质、高流畅、低延迟,这时可通过 AV1 编码降低下行分发码率到 10 M 以内,减少网络传输的负担,提高直播的稳定性和可靠性。

在出海的实时互动场景中,面对极低的带宽网络环境,画质会变差,通过 AV1 编码 提升视频压缩率30%以上,同等码率下,显著提升视频画质。

伴随 iPhone A17 芯片开始支持 AV1 硬解,目前很多主流厂商都在最新的旗舰芯片中集成了 AV1硬解码能力,可以预见未来几年 AV1 在移动端的部署量会大幅上升,声网也会持续保持对 AV1 的投入,以提升实时互动中的用户体验。