今年被问得最多的技术问题,已经从“AV1能不能替代H.265”,悄悄变成了“神经编码和H.266到底谁才是下一代视频Codec”。这个转向本身就很说明问题:H.266/VVC作为传统编码路线的集大成者,2020年完成标准化,标称压缩效率比上一代H.265再省大约50%码率;而神经编码这边,深度网络直接接管整条编解码流程,近两年的行业评测里成绩一路逼近甚至反超VVC参考软件。两个方向都顶着“下一代”的名头,但底层思路、部署成本和生态位置完全不是一回事。
作为一个长期做转码架构和视频工程的人,我想先把话放在前面:这篇文章不会给“XX完胜”这种简单结论,而是把H.266和神经编码的原理差异、硬指标和选型逻辑摊开讲清楚。视频编码这个领域,从来没有“最先进的算法赢”这种事,只有“在你自身的业务约束下,哪种方案的综合收益最大”。下面从工程视角聊几个关键问题。
1. 先看H.266:传统编码路线的极限冲刺
1.1 VVC到底做了什么:50%压缩率来自哪里
H.266/VVC(Versatile Video Coding)是JVET联合小组在2020年7月正式发布的视频压缩标准,沿用了从H.264就确立的混合编码框架——分块、预测、变换、量化、熵编码——但几乎在每一层都做了极致化的重写。效率提升最直观的数字来自参考软件VTM:同等主观质量下,相比HEVC参考软件HM,平均可以省掉约50%的码率,低码率端甚至更多。
这个提升不是靠某一项黑科技,而是一整套工具叠加的结果。块划分从HEVC的四叉树扩展为QT+MTT多类型树,允许四叉、二叉、三叉混合切分,块形状更贴近画面里的物体边缘和纹理走向,残差能量更集中;帧内预测从35种角度扩展到67种,还支持宽角度和跨分量线性模型,渐变、斜边这类难预测区域能省下更多比特;帧间预测加入仿射运动模型、DMVR、BDOF,覆盖面从纯平移扩张到旋转和缩放,解码端还能在重建帧上做运动矢量细化。变换编码多了多核变换选择和低频不可分离变换LFNST,把能量进一步集中到少数系数;环路滤波新增ALF和CCALF,把压缩伪影又压掉一层。
这套组合拳的目的很明确:让残差信号尽可能稀疏,从而用更少比特表示同样多的视觉信息。传统编码每一次升级,本质上都是对人眼感知模型和信号统计模型的一次精雕。到了H.266这个阶段,你能明显感到工具箱几乎被塞满了——它是传统编码路线逼近率失真极限的一次总攻。
1.2 压缩率是上来了,代价呢
代价首先是复杂度。单看编码器,VTM平均比HM慢接近一个数量级,商用实现会做大量优化,但相比HEVC,重算块划分、运动搜索和滤波会明显吃CPU。对点播这种“编码一次、多次分发”的模式还好,对直播和云游戏这种毫秒级延迟场景,编码复杂度直接转化为设备投和带宽成本。
其次是硬件和生态。VVC的解码器也需要新的ASIC支持,主流手机SoC在AV1上已经逐渐普及,但VVC硬件解码还在起步阶段。加上HEVC当年的专利授权事件带来的教训,不少厂商评估VVC落地时会额外谨慎。逻辑很简单:标准再先进,如果端侧解码普及慢、授权成本高,产品侧的选择就容易转向AV1或者其他替代方案。
但这些问题不改变一个事实:VVC在高清广播、版权长视频、云游戏等领域几乎是确定性方案。标准明确、比特流互操作、一致性测试完整、播放器生态可以顺着既有链路平滑推进。这就是传统Codec的价值——它不一定是最炫的,但它不依赖任何一家公司的持续施舍,每个环节都可维护。对内容平台来说,“可控”这两个字的分量,往往比“低几个百分点码率”重得多。
2. 再看神经编码:换一种玩法逼近率失真下界
2.1 端到端压缩:自编码器如何接管传统模块
神经编码和传统编码的差别,不是“用AI辅助运动估计或去块”,而是直接把预测、变换、量化、熵编码这四大模块融合成一个可微分的深度网络,端到端联合优化。最直观的结构是自编码器:编码器把输入帧映射成紧凑的潜变量,量化后结合熵编码输出比特流;解码器从潜变量重建画面。
这里的关键不是神经网络结构有多复杂,而是熵模型如何驱动比特分配。传统编码假设残差服从某个固定分布,用CABAC按概率表查;神经编码则用一个超先验网络实时预测每个潜变量位置的均值、方差,再让自回归上下文模型对已编码邻域做条件概率建模。你预测的概率越贴近真实分布,熵编码器就能用更少的比特数写入一个符号。整条链路用率失真损失 L=D+λR 直接反向传播优化,中间没有人工设计的模块挡住梯度。
打个比方:传统编码像一整套按固定菜谱炒菜流程,每一步都有师傅盯着火候、调味、摆盘;神经编码则是一个大厨根据食材和食客反馈直接重构全套流程,可能更合特定人群口味,但这个大厨的稀缺性和脾气也不是谁都受得了。这种“换引擎”的思路,让它理论上比传统编码更接近信源的统计下界——前提是有足够多且贴合目标内容的数据去训练。
2.2 视频神经编码:从单帧到序列的难处
视频不是一组互相独立的图像,神经编码必须处理时域连续性。现在主流做法分两类:一类沿用传统视频框架,显式估计运动场(通常也是网络输出),再用前一帧的重建潜变量预测当前帧潜变量,最后编码残差;另一类干脆把时空切成三维张量,让网络直接学习时域注意力关系。这两条路都在快速迭代。
近两年的MSU视频编码大赛很能说明问题:端到端神经模型在画质指标和码率节省上已经能和VTM同台竞争,个别榜单甚至位列第一。但实验室成绩和产品落地之间隔着三层:解码算力、泛化能力、标准化程度。如果你只在几个测试序列上看到漂亮数字就冲进生产,大概率会在真实流量面前碰壁。
这里必须澄清一个高频误区:神经编码不是AI超分。你在很多产品资料里看到的“AI超分+H.265”“AI降噪+AV1”,都是拿神经网络做前后处理,码流里跑的仍然是标准H.265/AV1比特流,任何标准播放器都能解。真正的神经编码器输出的是私有比特流,必须配套自研解码器才能播放。这两件事的成本和生态差距,可以说是天壤之别。
3. 正面交锋:压缩率、算力、延迟与生态的硬指标
3.1 压缩率:没有放之四海而皆准的答案
压缩效率是所有讨论的起点,但最怕脱离场景空谈。用一句话概括:通用内容、高码率、广播级场景,H.266更稳;低码率、强结构、单一数据分布的场景,神经编码往往更省码率。
我们拿混合片源库做过内部对比,包含电影、纪录片、动画、游戏录制和屏幕分享。在HD/4K、码率8Mbps以上时,VVC在细节、噪点和纹理上的主观表现很干净,同样码率下神经模型的高频部分容易带一点“塑料感”,也就是细节被过于平滑地复原。但把码率压到2Mbps以下,神经模型的优势就出来了——它在复杂纹理上能保留更多边缘和结构,而传统编码这时候往往已经糊成一片或者出现明显的振铃。
| 评测维度 | H.266/VVC | 神经编码 |
|---|---|---|
| 通用视频高码率(≥4Mbps 720p) | 优势明显,纹理和暗部细节稳定 | 高频细节偶尔塑料感/振铃 |
| 低码率(≤2Mbps 720p) | 块效应和细节丢失逐渐明显 | 结构保持更好,码率节省可观 |
| 动画/UI/屏幕内容 | 有屏幕内容工具,可以高效 | 强结构先验下优秀,但需单独训练 |
| 剧烈运动场景 | 运动补偿稳定,伪影可控 | 帧间闪烁和运动伪影是主要风险 |
| 时域一致性 | 成熟稳定 | 内容方差大,需逐频道调试 |
还有一个被低估的口径是时域稳定性。很多团队只看单帧PSNR和VMAF,结果上线后用户反馈“画面在抖”。神经编码对输入敏感,相邻两帧的重建纹理可能跳动,这在监控和录屏场景尤其明显。VVC这类传统编码至少是逐步求解,帧间突变可以通过参考帧管理控制住。所以任何神经编码评估,都必须把逐帧指标的方差和序列主观观感放一起看。
3.2 算力与延迟:数据中心的真金白银
压缩效率再好,也要算经济账。神经编码的训练和推理都要GPU,编码一次的成本通常比传统VVC的CPU编码贵几倍到几十倍。虽然它可能帮你把码率降一半,但省下来的带宽费用,不一定能抵消新增的GPU开销、运维成本和模型迭代成本。对预算敏感的团队,这个账必须按业务模式细细算。
延迟方面,自回归熵模型天生逐块串行,为了并行化往往要牺牲压缩率;非自回归方案解决了一部分,但压缩率上限通常低于最强自回归版本。VVC则有一整套成熟的低延迟模式,LD-RA、LL配置在直播和云游戏场景里跑了很久。实时流业务在当下选择神经编码,要非常谨慎。
端侧解码更是硬门槛。VVC一旦有SoC硬件解码支持,手机播放几乎不耗电;神经解码则要求手机GPU/NPU足够强,否则只能跑CPU推理,帧率很难看。对拥有大量中低端设备的分发平台来说,这直接决定你可不可以在全国流量里推广某条编码路线。
3.3 生态与标准化:比特流互操作性才是生死线
这部分最枯燥,也最决定成败。传统Codec的比特流有国际标准、一致性测试、通用容器(MP4/TS)和DRM集成参考,播放器厂商愿意跟着标准走。VVC虽然生态还在建设,但链条已经打通,你这个月编码出来的VVC文件,理论上五年后换一台新设备也能解。
神经编码现阶段最大的遗憾就是这里:模型大多是私有资产,比特流格式千奇百怪,A产品解不了B产品的码。你部署一套神经编码,等于把内容库绑定到某一家技术供应商,未来模型一升级,老文件可能全部无法解码。对内容平台来说,这种技术债比高几倍的GPU成本更可怕。
行业也在补课:图像领域已经有JPEG-AI在推动AI压缩标准化,视频领域MPEG也在探索AI视频编码框架,但离正式落地还有距离。所以从“两年内能上生产”这个角度看,VVC的可行性和确定性远高于神经编码。
4. 实战决策:不同场景到底该走哪条路
4.1 用一个决策框架代替拍脑袋
如果团队正在纠结选型,我建议先建立四个评估维度:内容类型、延迟预算、端侧解码能力、总成本模型。脱离这四个维度谈“先进”,没有意义。下面是我在实际项目里比较认可的分场景结论:
- 超低码率UGC/短视频:神经编码值得单独做A/B测试,划5%-10%流量灰度,配合AI超分看主观收益。
- 云游戏/互动直播:VVC低延迟模式更稳,或者退一步用AV1;神经编码的先验优势救不了延迟抖动。
- 版权长视频/HDR影视点播:VVC优先,码流可存档、可适配DRM、未来硬件解码普及后可平滑迁移。
- 监控/屏幕共享/游戏录屏:神经模型在结构固定、场景单一的内容上有明显优势,但要注意时域一致性和私有封装问题。
| 业务场景 | 推荐方案 | 核心原因 |
|---|---|---|
| 短视频/UGC(低码率) | 神经编码试点+AI超分 | 码率节省最明显,可灰度验证 |
| 长视频点播(4K/HDR) | VVC优先 | 画质稳定,标准生态成熟 |
| 直播/云游戏 | VVC低延迟模式或AV1 | 延迟可控,硬件兼容性好 |
| 监控/录屏 | 混合方案 | 先利用AI前置增强,再做标准编码 |
4.2 混合方案:让AI做擅长的事,标准做兜底
从工程角度看,当下最值得落地的不是二选一,而是混合。最常见的一条链路是:
AI增强(降噪/超分/HDR映射) → 传统编码器(H.266/AV1) → CDN分发 → 客户端解码 → 可选终端级AI超分
这条链路里,神经网络没有碰比特流,所有标准播放器都能解,但码率和画质都因为前置增强而受益。实测下来,一个轻量级AI重建模型把1080p输入修复后交给VVC编码,能在同样的主观质量下比直接编码再超分省带宽。这个方案兼容性好,风险可控,适合大多数团队“先上车”。
如果业务确实需要更强压缩率,再在点播侧做小范围神经编码试点。决策逻辑可以用下面的伪代码概括:
# 选型决策伪代码:按业务条件选择编码路线 def encode_decision(video, infra): if infra.has_gpu and video.category in ("ugc_short", "animation", "screen"): # 试点神经编码 + 终端超分 return neural_codec_encode(video) else: # 默认生产路线:AI增强 + VVC/AV1 enhanced = ai_enhance(video) return vvc_encode(enhanced)这段代码不必当成正式工程实现,核心想表达的是:先用硬性条件(GPU资源、内容类型、端侧能力)过滤,再决定是否走神经编码,而不是让团队在“哪个更先进”这种原则性问题上空转。
5. 实践中的坑与评估方法
5.1 转码团队最容易踩的五个坑
第一,只看PSNR和MS-SSIM,不做主观小组评测。我们曾在一次对比里看到神经模型PSNR高0.7dB,但内测同学一致说画面有塑料感,后来定位到模型丢掉了高频细节。人眼在皮肤、树叶这些区域非常敏感,感知指标和主观感受会出现明显错位。
第二,放弃时域评估,上线后闪烁。低码率下神经编码的问题很少出在单帧,更多是帧间纹理跳动。静止天空区域在相邻两帧出现不同灰阶抖动,用户感知就是画面在闪。这个坑在监控和录屏场景里特别致命。
第三,用一套模型覆盖所有内容。同一个模型在动漫、游戏录屏上表现很好,放到老旧电视剧的胶片噪点上直接崩。要么按频道类型维护多个模型,要么编码前先做降噪处理。
第四,忽略私有封装和DRM成本。神经编码的私有比特流通常不能直接进MP4/TS,DRM也要单独适配,这部分开发量在项目排期里经常被低估,最后成了延期的主要原因之一。
第五,没把模型与硬件的绑定关系写进排期。神经编码在GPU/NPU上的部署不只是做一次推理,还涉及TensorRT/ONNX转换、INT8量化、显存管理、模型热更新,团队要有对应运维能力。模型版本一改,客户端解码器就要跟着发版,这在传统Codec生态里是不可想象的。
5.2 一套可复用的评估流程
如果要把H.266和神经编码放在同一起跑线对比,建议按下面流程走:
- 准备代表性内容集:至少包含片头字幕、暗光场景、快速运动、纹理丰富的自然画面、动画/游戏/屏幕内容各一段。
- 用三种以上码率梯度覆盖目标运营码率,比如720p下1Mbps/2Mbps/4Mbps,1080p下2Mbps/4Mbps/8Mbps。
- 指标池要够全:VMAF、逐帧PSNR/MS-SSIM、时域稳定性(相邻帧PSNR方差)、解码帧率、首屏和Seek时间。
- 人工盲测:至少3名评估员,看细节、边缘、暗部、肤色、抖动,记录主观意见。
- 最后汇总评分表,按带宽节省、画质、延迟、解码兼容性、总成本五个维度加权。
这套流程跑下来,结论往往不是“哪个更先进”,而是“哪个在你这套业务约束下收益最大”。这个结论才是可执行的,也才值得你在汇报里写上去。
我自己目前的倾向是:未来两三年,主力生产链路还是以H.266/AV1这类标准编码为主,AI前后处理先落地,神经编码作为点播低码率场景的增量能力去灰度验证。最后再分享一个小判断:无论调研时看到神经编码的BD-Rate数字多漂亮,都别忘把“模型迭代后老文件兼容性”这一条写进对比表。压缩率可以靠重编码重来,但已经发给用户的私有码流失了解码能力,那次事故不是调参能解决的。