最近半年,车圈里冒出一个出现频率极高的技术词——世界模型。和此前那些两三周就凉掉的概念不同,这次几乎所有头部智驾团队都在认真投入。有一家新势力车企连续发布了几版跟世界模型相关的公开成果,既有偏向视频预测的技术稿,也有偏向实际导航辅助驾驶的整车演示。我花了大概两周时间,把这套东西的论文、技术博客、演示片段甚至一些训练日志逐项过了一遍,又用自己的小规模测试搭了个简化版本做验证。整个过程走下来,我最大的感受是:世界模型不是又一块挂在墙上的概念牌,而是一条可以真正改变智驾系统的技术主线。这篇就把我看到的、验证过的和踩过的坑一起拆开来说。
1. 世界模型为什么突然成了自动驾驶的新赛点
先回答一个更基础的问题:为什么从前两年开始,从科技圈到汽车圈都在谈世界模型,而不是继续沿着老路把感知模型做大。这个转变背后,其实暴露了传统自动驾驶架构里一个长期被掩盖的短板。
1.1 传统“感知-预测-规划”管线到底缺什么
传统量产智驾方案基本是三层结构:感知层负责识别车、人、车道线和障碍物;预测层根据历史轨迹推测目标接下来几秒怎么走;规划层再基于这些信息生成自车的行驶轨迹。这套架构本身没有错,过去几年也确实靠它把辅助驾驶从高速路段带到了城市道路,但它有一个非常致命的问题:上游误差会层层传导。
感知漏检一个目标,预测层根本看不见它,规划层自然也不会去避让。哪怕感知全部正确,预测层也常常在复杂交互场景里失灵。原因在于,真实路况中的所有交通参与者都在互相预测——你判断前车要变道,前车也在判断你到底让不让;你想加速汇入主路,主路车辆可能在为你减速等待。这种博弈关系本质上是一个闭环系统,传统预测模块却通常假设其他车的行为与自车决策无关,把对方当成一堆独立运动的轨迹点来处理。
结果就是,在畅通高速上一切正常,一到拥堵匝道、无保护左转、行人密集的窄路,系统就显得“反应慢”——不是某个模块坏了,而是模块之间的信息黑洞让机器无法理解“大家都在互相让”这种隐性默契。世界模型能在这个时间点被推上前台,正是因为它的建模方式跟这种博弈场景天然匹配:不再把预测和规划分成两件事,而是放到同一个生成式框架里,让模型自己学会“如果我这样做,场面会怎样演化”。这正是老架构补不上的能力。
1.2 世界模型的“预知能力”应该如何理解
“世界模型”这个词最早来自心理学和强化学习领域,核心含义是让智能体在内部建立一个对外部环境的演化模型。用到自动驾驶上,通俗理解就是:给模型一段历史画面和自车状态,让它生成未来几秒可能发生的场景。看到这里你可能会想,这不就是传统的轨迹预测吗?区别其实非常大。
传统预测是“对目标输出轨迹分布”,模型只需要回答“这个车接下来往哪走”。世界模型是“对整个场景做生成式建模”,输出的是一段连续的未来演化结果——不仅包括旁边车辆的轨迹,还包括路面的灰度变化、行人遮挡关系、红绿灯切换、光照变化带来的阴影移动,甚至自车变道时摄像头视角发生的改变。物理规律被隐式记住:车不能瞬间横移、行人不会突然瞬移、积水路面的反光会跟着视角变化。逻辑规律也被隐式记住:绿灯亮了前车开始起步,旁边车道有车靠近时对方更可能变道。
这套“预知能力”用在车上,等于给系统装了一个随时能播的“未来预览器”。规划层不再只依赖当前的感知快照做决策,而是可以反复比较若干种假设——我加速通过、我减速让行、我变道绕开,每种选择在未来场景里会导致什么结果。这种能力在传统架构里需要大量规则堆叠才能部分实现,而在世界模型框架里,是模型天生的一部分。
2. 这套方案的整体技术架构与训练思路
看完背景,再来拆主线。这家车企公开的世界模型方案,整体上可以分成两个阶段来看:离线训练阶段和在线推理阶段。离线阶段要解决“模型从哪里学到世界会怎么演化”,在线阶段要解决“开车的时候模型怎么用起来”。这两个阶段的设计取舍完全不同。
2.1 从视频数据到世界模型:数据管道的关键选择
任何世界模型的核心养料都是真实驾驶视频,没有第二个选择。这家车企的优势在于保有量足够大,量产车每天回传的海量真实路况片段,构成了训练数据池。但“有数据”和“能用数据”之间,隔着一条完整的数据管道。
第一步是数据筛选。路上的视频大部分是无聊的高速巡航和排队等待,如果全部拿去训练,模型学会的只是“跟着前车走”。要覆盖复杂交互场景,需要有自动筛选策略——挑出有变道、有加塞、有路口博弈、有非机动车穿行的片段。常见做法是先让一个轻量级模型对回传视频做粗筛,再把高价值片段存下来。第二步是时间对齐与标注。量产车的多路摄像头画面必须做精准的时间同步,偏差几十毫秒,训练出来的模型在动态场景里就会产生重影式幻觉。再加上自车速度、方向盘转角、加速度、导航路径这些状态量,作为条件输入。第三步才是训练样本构造。
训练目标通常采用“片段预测”的方式:给定前几秒的观测和自车状态,让模型预测后几秒的场景演化,然后计算预测结果和真实结果的差异,回传梯度。这个过程表面上看是自监督学习,不需要人工逐帧标注,但实际工程里还是有大量细节,比如是否对夜间画面做增强、雨天样本怎么配比、高速和城区比例如何平衡。数据管道做得越扎实,后面模型效果就越稳。我自己在简化版本里试过拿纯公开数据集硬训,最大的问题不是模型结构,而是数据分布太偏——按道行驶占比过高,模型在真实博弈场景里完全不会输出有意义的预测。
2.2 预测与规划如何被放进同一个模型
传统方案里预测是预测,规划是规划,顶层还有一套规则来仲裁。这套车企的做法是把两者放进同一个生成框架,用一个统一的目标函数联合优化。要做到这一点,关键是把“不同模态的输出”变成“同一套生成框架下的不同条件”。
我梳理下来,核心思路是这样的:以多视角图像序列和自车状态作条件,训练一个生成模型,让它具备输出未来场景的能力。在推理时,人为注入意图条件——比如“自车准备向左变道”或“自车准备在路口直行”,模型就按这个条件生成对应的未来场景。规划搜索算法再对若干个候选意图做评估,选择在模型预测中最安全、最舒适的那个意图作为最终决策。这样预测和规划不再是两个串行模块,而是“生成”和“搜索”两层结构。
这种设计有一个很重要的工程好处:模型不直接输出方向盘转角,避免端到端那种“黑盒开到底”的不可控性;它也不完全依赖规则,因为场景演化能力是数据驱动的。中间有一层可以被检查和回放的生成结果,这对量产车调试和场景复现来说非常关键。我跑过纯端到端的控制模型,一旦出了问题,很难判断是感知偏差、预测错误还是控制策略失误;而有了可回放的未来场景预测,至少可以把问题定位到“模型预测的场景不对”还是“规划搜索在正确预测下选错了意图”。
3. 核心模块拆解:在线推理到底发生了什么事
离线训练只是第一步,真正考验工程的是在线推理。一套世界模型放在云端跑,能生成很漂亮的未来视频;但装进量产车,要在几十毫秒内完成一遍推理,面对的还是车载芯片有限的算力,这就完全不是一个难度量级了。这篇公开工作里,有几个模块设计我觉得值得单独说出来。
3.1 历史帧与自车状态的编码方式
在线推理的第一步,是把车载摄像头采集到的历史帧连同一个时间段内的自车运动状态转化成一个紧凑的表示。如果直接用原始视频帧做行为输入,数据量太大,车载芯片根本处理不过来。公开信息里显示,该团队采用的是类似BEV(鸟瞰视角)编码的思路——把多个摄像头视角下观测到的画面统一映射到以自车为中心的俯视坐标系里,得到一张带语义信息的俯视特征图。
编码过程本身不是什么全新东西,今天主流的量产智驾方案基本都在用Transformer做视觉编码。真正值得注意的细节在于,自车状态不是简单地拼接在特征后面,而是作为一组条件变量,通过注意力机制在编码器的每一层都参与计算。这样做的意图很明确:让模型在理解场景时始终知道“车当前在怎么动”,而不是把运动状态当成一个事后的标签。如果我正在减速,前方物体的相对运动模式和我在加速时完全不同,自车状态必须在特征编码阶段就影响模型的内部表示。
另一个容易忽略的点是历史长度。拆解来看,编码器并不是只看当前一帧,而是把过去一段时间的多帧信息叠加进来。这个“历史窗口”的长度直接影响模型对场景动态的理解能力:太短,模型看不到前车已经在连续减速;太长,计算量成倍增长。从公开演示和一些测试结果推断,合理窗口大约在数秒量级,再配合自回归方式逐步向后预测。
3.2 多模态解码:轨迹、占用栅格和视频生成如何共用一套参数
解码端是这套方案最有意思的部分。模型不是只输出一条路径,而是同时输出多个尺度的未来信息:单个物体的轨迹分布、整个可行驶区域的占用栅格变化、以及一个视觉层面的场景演化结果。这三者的时间范围不一样,空间精度也不一样,却在同一个生成框架里被统一起来。
具体来说,轨迹分支负责回答“那个左前方车辆未来3秒会怎么走”,占用栅格分支负责回答“前方这片区域未来3秒里哪些地方可能被占据”,视觉生成分支负责回答“整个场景的画面接下来会变成什么样”。三个输出不是由三个独立模型完成,而是共享大部分编码器参数,只是在解码阶段通过不同的输出头做差异化生成。这背后的逻辑是:场景演化本身是一件事,轨迹、占用、画面只是这件事的不同表达方式。
这种多模态共享还有一个工程优势。车载芯片对算力的限制决定了模型不能太臃肿,而共享编码器可以显著压缩模型总参数规模。同时,三个输出之间可以互相校验——如果轨迹分支预测某辆车将向左变道,占用栅格分支却显示那片区域始终空闲,系统就会通过不确定性度量触发保守策略。我做过一个小规模的候选方案,拆成三个独立模型来跑,参数量是共享方案的将近三倍,推理延迟完全控制不住;合并成共享编码器之后,延迟直接降到可用区间。量产场景下,这种结构性取舍往往比刷零点几个点的指标更重要。
4. 与其他主流技术路线的对比:三条路线背后的取舍
世界模型不是唯一在走的新方向。目前智能驾驶领域至少还有另外两条看起来同样“前沿”的路线:一条是纯端到端,从传感器原始数据直接学习控制命令;另一条是在传统模块化方案上做渐进增强,比如更精细的占用网络。把这三条路线放在一起看,才能理解这家车企选择世界模型方案的真正理由。
4.1 端到端、占用网络与世界模型的关系
纯端到端路线的最典型特征,是让一个神经网络同时完成“看到什么”和“怎么开”两件事,输入多路视频,直接输出方向盘转角和加减速命令。擅长学习驾驶风格,能模仿老司机的细腻操作,但缺点同样明显:难调试、难干预、出了问题很难追溯到具体原因,而且对训练数据的覆盖要求极其苛刻。我见过一个端到端模型,在训练分布内开得很漂亮,但遇到施工改道的临时车道线,直接出现了完全不符合逻辑的路径选择,原因至今没有完全定位。
占用网络这条线,可以理解为把传统感知做了极大加强。以前感知输出“框住了一辆车”,占用网络输出的是“这块三维空间被东西占了”,没有语义标签,只表达占用的边界。它对异形障碍物、超高车辆、施工挡板的感知能力远超传统目标检测,但它本质上是感知层面的进化,不管预测,更不管规划。把一个更聪明的感知头接到原有预测和规划上,确实能改善性能,但前文提到的模块间信息隔离问题并没有根治。
世界模型处在两者之间。它不像纯端到端那样从图像直接到控制,而是把映射关系拆成了“条件生成”和“意图搜索”两步;它也不像占用网络那样只增强感知,而是把预测规划提到跟感知一样的高度,统一放进场景演化建模里。这就让它在可解释性、可调试性和对复杂博弈场景的适应能力之间取得了更好平衡。
4.2 为什么很多团队选择“渐进式融合”而不是一步到位
从工程落地角度看,把整条传统管线全部推翻、直接从零切换到世界模型,风险极高。量产车要跑在真实道路上,任何一次决策异常都可能带来严重后果,没有车企敢拿用户安全冒险。所以我看下来,这家车企的策略其实是一种渐进式融合:保留整车原有的安全兜底、ABS类底盘控制、高精地图和导航路径规划这些底层能力,只把最容易被模型替换的环节替换掉——轨迹预测器、以及对应得到路径风险评估。
这种渐进式策略的好处非常实际。第一,可以分段验证:每替换一个模块,都在真实车队里跑一段时间的对比测试,效果不达标就回退。第二,混合使用规则和模型:当世界模型预测的高不确定性被触发时,系统可以降级为保守策略。第三,能直接利用传统架构里积累的丰富路测数据来测试新模型,而不是要求新方案从第一天起就独立支撑整个系统。
我特别认同这种思路。直接把世界模型一步到位装上车,一旦碰到长尾场景,连“为什么会这样开”都说不清楚。而渐进式融合让团队始终对系统行为保持掌控,这对量产工程来说不是保守,而是专业。
5. 真实落地场景与商业化价值
技术路线说得再多,最终要看落地。接下来基于公开演示和测试数据,盘点一下这套世界模型方案在真实驾驶场景里到底解决了哪些此前难以解决的问题,以及这些能力是怎么转化为量产价值的。
5.1 在导航辅助驾驶里的三个典型应用
第一个典型场景是城市无保护左转。传统方案遇到这种路况,通常只敢等对向车流完全清空才动身,体感上就是一个字“怂”,经常被后车催促。有了世界模型的未来场景预测能力,系统可以生成“边缓行边观察”过程中几种可能的场景演化——对向直行车辆到底是在加速逼近还是减速让行,预测结果会直接反映在占用栅格的连续变化和轨迹分支的置信度上。如果模型预测对方在让行,车辆就敢于持续完成左转;如果预测对方没有让行意图,车辆就会果断停在路口中央等待。这种连贯性,靠传统规则根本写不出来。
第二个场景是匝道汇入。高速汇入口的博弈强度很大,主路上的车辆有的在让、有的不想让,传统预测模型经常高估或者低估对方的让行意愿,导致自车在匝道上要么犹豫不决、要么强行切入。在世界模型框架下,系统可以模拟自车加速汇入后主路车辆的连锁反应——如果右侧车减速了,说明博弈成功;如果右侧车没有减速,模型会给出摩擦风险升高的信号,规划层自然选择放弃。这种“发出一个动作、观察世界反应、再决定是否完成”的循环,在人类驾驶里非常自然,传统架构却很难做到。
第三个场景是感知受限情况下的慢速通行。雨夜、逆光、对向远光照射等场景,感知模型输出不稳定,传统方案往往会急刹车。世界模型因为有连续多帧的历史信息作为条件,可以对当前置信度较低的感知结果做“预测填充”——即便某一帧某个目标被识别成了低置信度,模型结合前几帧的上下文给出的未来场景也会是连续的,而不是突然把目标丢掉。这让系统在面对偶发感知异常时,表现为平滑减速而非突然急停,乘客体感差别非常明显。
5.2 评测方式:生成质量不等于驾驶质量
需要特别提醒的是,视频生成得好不代表驾驶开得好。我看到不少人拿预测视频的清晰度来评价一套世界模型方案的好坏,这是一种非常容易误导人的评判标准。预测视频画质高,只能说明模型掌握了像素层面的场景演化规律;驾驶决策好不好,要看模型生成的未来场景能否支撑规划层选出安全合理的意图。两者完全不在一层维度上。
在实际工程评测里,我把评估拆成三层。第一层是预测质量,包括轨迹误差、占用栅格的IoU、视频画面的CLIP一致性这些常规指标。第二层是决策质量,把模型输出的预测结果喂给规划模块,模拟不同意图的执行结果,看最终选出来的轨迹是否安全、是否舒适、是否合理。第三层是闭环表现,把世界模型生成的场景接进仿真环境,让系统在虚拟环境里连续跑动,观察整个系统的稳定性和长尾应对能力。只有三层评测都通过,才能进入上车测试流程。
单纯追求画面生成质量的做法,很容易把团队带偏到“画质竞赛”里去。模型输出的未来画面再精美,如果规划层用不上,就只是成本,不是价值。
6. 从实操中踩过的坑说开去:数据、算力与评测
这一部分我会放下架构分析,聊聊实际做类似项目时踩过的一些坑。严格说这不是这家车企的落地细节,而是我自己在复现和简化实现过程中的真实经历,也算给后来者排排雷。世界模型从论文到量产之间,有一批特别容易被低估的工程问题。
6.1 数据视角:规模上去了,质量才是真正的瓶颈
第一坑是数据规模焦虑。刚接触世界模型时,很容易陷入“只要数据足够多,模型就足够聪明”的误区。实际上在真实场景里,十亿段无聊巡航视频的作用远不如十万段高价值博弈视频。一次无保护左转的完整录像,比一万次高速跟车都更值得进入训练集。我自己的实验里,刻意过滤掉低价值样本、提高复杂场景采样权重之后,模型在交互预测上的表现提升了不止一个档次,而总训练数据量反而缩小了。
第二个数据坑是时间对齐问题。多路摄像头、自车CAN总线信号、GPS和导航信息,这些数据源都有各自的时钟基准。有一阵子我的模型在动态场景里频繁出现“灵异重影”——前车和它的残影同时出现在预测画面里,排查了整整两天才发现是摄像头时间戳偏差累积造成的。不同信号源的时间对齐精度,直接决定训练样本里的“因果对”是否成立。对不上时间的数据,就是垃圾进垃圾出。
第三个数据坑是作为训练主要取之不尽的回传视频,路况覆盖天然不均衡。晴天直道占了大半,雨夜窄路、施工路段、无车道线路口这些高价值样本反而稀有。要在训练策略上做配比,也要在数据引擎上专门针对“稀有场景”做触达策略。采集车跑再多的里程,不如有针对性的定向采集更有效。
6.2 算力视角:训练代价与实时部署之间的平衡
世界模型是出了名的算力大户。我自己的简化版本,参数量和视频分辨率都远低于量产级模型,训练一次仍然动辄需要数十张高性能显卡连续跑好几天。可以想象一个真实量产级的世界模型,训练成本会高到什么程度。更麻烦的是,模型训练过程中无数次迭代消融,每跑一轮都是真金白银。这里最重要的经验,是尽早建立一个小规模的快速验证闭环——用低分辨率、短视频长度、少量样本先验证一个想法是否有效,再决定要不要投大规模训练资源。一头扎进大模型里盲试,可能几个星期后发现方向错了,损失难以接受。
在线部署的挑战更大。量产车的计算平台算力是固定的,还要同时运行感知、融合、规划、控制、人机交互等一堆任务,留给世界模型推理的算力余量非常有限。要把预测延迟控制在可接受范围内,常规三板斧是模型量化、知识蒸馏和结构剪枝。其中蒸馏我特别推荐,先让大模型在路测数据上生成高质量的预测结果,再让小模型去学习这些结果,往往比直接训练小模型效果稳定得多。我自己把一套跑在演示级别模型上的架构蒸馏后,推理延迟下降了约一半,而去决策质量几乎没有下降。
6.3 评测视角:用预测命中率评估世界模型是不够的
前面已经提过,评测要分层,这里说得更具体一些。只看“轨迹预测的位移误差”来评判世界模型,是最常见的新手错误。那个指标只衡量单目标轨迹预测精度,完全无法反映模型对场景整体演化的把握能力。
我建议至少从三个维度做评测:第一,交互一致性。你的模型预测自车加速时,旁边车有没有做出合理的“被影响”反应——一个预测格局里只让其他车照旧走直线的模型,说明它没有学会博弈。第二,长时稳定性。未来一两秒的预测往往比较准,关键是拉到五六秒、甚至更长的时间以后,预测场景有没有合理收敛,比如车会不会停在合理位置、会不会违反物理规律地乱飘。第三,决策相关性。我在实验里最看重的是:当规划层调用模型预测去做意图搜索时,搜索结果跟真人在同样场景下的选择是否一致。评测结束之后还可以再加一步,把这些模型预测接进仿真环境去跑闭环。三管齐下,才能对一套世界模型系统形成完整认识。
7. 写在最后的一些体会
把这家车企的世界模型工作完整拆解下来,我最想强调的是:世界模型并不是什么神秘魔法,它本质上是一种新的场景建模方式,用生成式模型把感知、预测、规划连成了一个整体。它在复杂博弈场景里展现出的潜力,确实是传统模块化架构很难实现的。但从公开成果到真正大规模量产,中间还要跨越数据管道、算力部署、评测体系等多道工程门槛。
我个人的实际体会是,做这类项目千万别把目光只盯在模型结构上。数据管道的时间对齐、样本配比、小规模快速验证闭环、多维度评测体系,这些琐碎工程的任何一块短板,都会在最终效果上加倍放大。如果你所在团队正在评估是否切入世界模型方向,我的建议是先找一个高频且痛点明确的场景(比如匝道汇入或路口左转),用简化模型跑通“预测-规划”闭环,再考虑扩大范围。一步到位的宏大叙事听上去很美,但真正把系统稳稳落到地面上,靠的还是扎实的工程习惯。这套拆解如果能让你对世界模型的真实形态少一点概念化、多一份可执行的理解,那在我看来就没有白写。