我前段时间接到一个朋友的咨询,他拿着一款自动驾驶芯片的产品册子问我,说这颗芯片标称254 TOPS算力,能不能直接拿来做城市领航辅助。我反问他,你的摄像头方案是几路、分辨率多少,算法模型清单定了多少路,内存带宽多少,功能安全等级要达到多少。他一愣,说这些指标他压根没留意过。
这正是大多数人选自动驾驶芯片时最容易踩的坑:只看TOPS,不看整体硬件平台、传感器链路和软件生态的配合。实际上,芯片选型这件事最忌讳的就是“唯算力论”。真正专业的做法是从智驾功能出发,把功能拆成传感器、模型、时延、安全、功耗、工具链等需求,再反过来判断一款芯片到底够不够用。
这篇文章我想从工程师视角,把“智驾功能决定关键指标”这条链路完整拆开讲明白。适合谁看?正在做方案预研、产品选型或项目评估的从业者,以及想搞清楚为什么不同车型智驾能力差异这么大的朋友。我会尽量把芯片、算力、内存带宽、工具链这些技术点讲得够用、够实操,不绕弯子。
1. 先搞清楚:你的智驾功能到底“吃”芯片的什么
1.1 从NOA到端到端,功能清单先于芯片清单
我一直强调一个观点:芯片选型是“自顶向下”的问题,不是“自底向上”的攒机。所谓自顶向下,就是你先把功能定义写清楚,哪怕只是在白纸上画几个功能框图也行,然后再看这些功能对计算平台提出什么需求。
举几个实际的例子。假如你的目标只是L2级基础ADAS,也就是ACC自适应巡航、LKA车道保持、AEB自动紧急制动这一档,那你的算法模型相对简单,通常一个前视单目摄像头就够,走的还是CNN时代的网络结构,模型参数量一般在百万到千万级别。这种功能对芯片的要求是:算力5到30 TOPS就足够,真正重要的是稳定性和成本,因为这块市场是拼价格的。
如果你要做高速领航辅助NOA,情况就不一样了。高速NOA需要融合前视摄像头、超声波雷达、毫米波雷达,还要跑多任务模型——车道线检测、目标检测、语义分割,模型结构开始从单模型变成多模型并行。此时芯片算力需求直接跳到50到150 TOPS,同时内存带宽、传感器接入路数、CPU实时调度能力都会变成重要约束。
再往上走,城市NOA或者所谓端到端,那就是另一个量级。城市NOA要处理的场景复杂度远超高速,需要跨摄像头做BEV特征融合,要跑Occupancy占用网络来感知不规则障碍物,很多方案还引入Transformer做时序注意力融合。这类功能对芯片的需求是200到500 TOPS起步,部分旗舰平台已经朝1000 TOPS以上冲刺。
所以你会发现,智驾功能是“分档”的,芯片的需求也是“分档”的。先确认你要做哪一档,再去研究芯片,这个顺序千万不能反。
1.2 一张表看懂“功能-硬件需求”映射
这里我整理了一个比较典型的映射表,做方案预研时可以拿来直接对照。数字各家厂商会略有差异,但量级上是行业通用共识。
| 功能档位 | 典型功能 | 传感器配置 | 关键模型 | 估算算力需求 | 关注的核心指标 |
|---|---|---|---|---|---|
| L2基础ADAS | ACC/LKA/AEB | 1V(前视单目)或1V1R | CNN检测/分割 | 5~30 TOPS | 成本、功耗、功能安全 |
| L2+高速NOA | 高速领航、自动变道、上下匝道 | 5V5R/11V | 多任务CNN+轻量Transformer | 50~150 TOPS | 内存带宽、模型并行效率 |
| L2++城市NOA | 城市领航、斑马线避让、无保护左转 | 11V5R~12V3L | BEV+Transformer+Occupancy | 200~500 TOPS | 带宽、冗余设计、工具链 |
| 端到端 | 导航辅助驾驶、可交互智驾、L3演进 | 12V3L以上 | 端到端大模型推理 | 500 TOPS以上 | 持续算力、软件开发栈 |
这张表的价值在于,它能帮你把“我要做什么功能”快速翻译成“我需要什么级别的芯片”,而不是上来就翻芯片手册。很多人在这一步就岔了,拿着前视单目摄像头的方案,非要去配500 TOPS的算力平台;或者反过来,想做城市NOA却选了一颗算力刚好卡门槛的芯片,最后模型一迭代就发现资源不够。
1.3 为什么很多人选错:只看算力,忽略场景约束
我见过太多团队选型时拿着算力表格一对比,谁TOPS高选谁,最后真到了量产阶段发现项目推不动。问题出在哪?出在他们忽略了芯片跑功能时的“场景约束”。
什么是场景约束?简单说,就是你的智驾功能在什么样的环境下、以什么样的频率、跑多长时间。比如城市NOA场景,车辆在闹市走走停停,注意力模型每一帧都要推理,整块芯片持续高负载。很多芯片标称的峰值TOPS是实验室环境里拿到的好看数字,真正放车里连续跑两小时,热设计不过关就得降频,算力直接打折。这个“持续算力”的问题,后面第四部分我会专门展开。
另外,功能场景还决定了你要不要为“冗余”买单。L2+以下可以接受“单芯片单系统”,但要做到更高级别的辅助驾驶,业内普遍采用主控芯片加功能安全芯片的异构冗余方案。这种架构对BOM成本、软件适配、系统集成会带来一系列连锁反应,选型时就必须提前想清楚。
所以我的建议是:选型前先花一周时间把功能需求列表写清楚,把ODD运行设计域圈出来,再开始看芯片参数。这一步省不了,前面想得越细,后面踩的坑越少。
2. 算力指标的几个坑:TOPS背后隐藏着精度、稀疏和有效利用率
2.1 不同精度下的TOPS不是同一个TOPS
先解决最基本的认知问题:TOPS是什么?全称是Tera Operations Per Second,每秒万亿次运算。但“运算”这个词很模糊——是稠密还是稀疏?是INT8定点还是FP16浮点?是带激活的MAC累加还是纯乘加?这些都会导致数字完全不可比。
我拿英伟达Orin X举例,这是目前量产车上非常常见的芯片。在FP16精度下,它的算力大约是101 TOPS;但在INT8精度下,它标称254 TOPS。同一颗芯片,两个数字差了2.5倍。你说你是拿200多TOPS去比,还是拿100多TOPS去比?
实际上,绝大多数车端神经网络推理用的都是INT8量化后的模型,所以行业里说“有效算力”时,基本约定俗成是看INT8精度。但有些芯片厂商会在宣传时优先强调FP16的算力,或者反过来只放一个最高的稀疏INT8算力,这就给横向对比制造了很多混乱。
我的建议是:对比前先把所有芯片的参数统一口径,要么全部按INT8稠密算力,要么全部按FP16浮点算力,换算到同等条件再去比。这一步不做,后面的选型基准就是错的,再努力也是瞎忙。
2.2 稀疏算力和稠密算力的差距会让你预算失真
再往下还有个更隐蔽的坑:稀疏算力。现代神经网络里,权重矩阵中相当一部分参数是零,很多AI加速芯片引入了稀疏加速技术,跳过零值运算来提速。这个机制本身没毛病,但问题出在“稀疏度假设”上。
英伟达的Ampere架构开始就把“稀疏算力”写进宣传数据里,官方数据往往是2倍稀疏化后的理论值。但注意,你实际训练的模型能不能达到50%的稀疏度,取决于你的算法团队有没有做结构化剪枝、稀疏训练这些工作。绝大多数团队根本不会专门做这个优化,模型里的零都是随机、非结构化的,加速芯片用不上,于是你对标的那颗旗舰芯片,实际有效算力很可能要打对折甚至更低。
所以横向对比时,我强烈建议只看“稠密算力”,或者看芯片厂商给出的“非稀疏最大算力”。工程项目里,稀疏算力仅供参考,不能作为设计容量依据。把稀疏算力当真实算力来规划项目资源,预算肯定失真。
2.3 算力利用率才是决定“够不够用”的核心
还有一个被低估到离谱的指标,算力利用率(MFU,Model FLOPs Utilization)。翻译成人话就是:芯片标称的峰值算力,你的模型实际能用上百分之几。
我实测下来的经验是:同一个模型在不同芯片上跑,利用率可以从30%到70%不等。差距来自三方面:第一,算子库是否覆盖网络里的关键算子,比如LayerNorm、Multi-Head Attention这些Transformer基础算子,如果芯片厂商的软件栈对它们优化不到位,跑起来就是龟速;第二,数据搬运的时间占比,模型参数量一大,片外内存访问就成了瓶颈,通用GPU尤其明显;第三,模型并发调度能力,多路摄像头信号进来能不能并行推理,靠的是驱动和中间件的调度水平。
为什么这个指标重要?因为它能把“标称值”拉回“真实值”。同样是标称200 TOPS的芯片,A芯片利用率70%,有效算力140 TOPS;B芯片利用率35%,有效算力只有70 TOPS。这时候你还能光看标称数字做决策吗?
我自己的选型流程里有一条铁律:拿到候选芯片后,先把自己要跑的核心模型移植上去,跑一个基准测试,测真实的帧率和端到端时延,再决定要不要深入评估。这一步绝对不能省,PPT上的TOPS再多,最终都要用每秒能跑几帧说话。
3. 更该盯紧的三个指标:内存带宽、传感器接入和端到端时延
3.1 内存带宽:Transformer模型的“命门”
算力代表芯片“算得快不快”,内存带宽代表芯片“喂得饱不饱”。这两个指标必须匹配,少了哪一个都是木桶效应。我见过不少方案,芯片TOPS标得非常高,模型一跑起来却卡在数据搬运上,原因就是内存带宽配不上算力。一辆车上的多路高清摄像头、BEV特征图、中间层激活值,每帧都在缓存和内存之间来回搬运;带宽不够,芯片就只能饿着肚子干活,再高的算力也发挥不出来。
拿Orin X举例,它的内存配置通常是LPDDR5,理论带宽约204.8GB/s。别小看这个数字,它在做BEV感知或者Occupancy网络时,模型每一帧都要处理多路摄像头的高分辨率特征图,这些特征图在片上片外来回搬运,带宽稍微不够,整个推理流程就被拖住。这也是为什么很多城市NOA方案,明明芯片TOPS够,实测帧率却上不去,排查到最后发现瓶颈在带宽上。
近两年端到端大模型流行后,内存带宽的重要性又上了一个层级。Transformer模型里的KV Cache机制,推理过程中要把注意力计算的历史状态缓存在内存里,序列越长、batch越大,缓存占用的内存容量和带宽就越夸张。有人测算过,同样是跑一个端到端模型,算力需求也许只差2倍,但内存带宽需求可能差4到5倍。
所以选型时,不要只看算力规模,一定把“内存带宽”列为前三的关键指标。特别是打算上BEV、Occupancy、Transformer这些重模型时,带宽往往比算力更容易成为天花板。
3.2 传感器接入能力:摄像头数量别只看标称值
很多朋友把芯片的“最多支持12路摄像头”当成理所当然的数字,但这背后其实是一整套硬件链路。摄像头信号要先通过解串器进入SoC,需要芯片有多路CSI/MIPI接口,还需要足够的内置ISP图像信号处理器来处理原始画面。如果你方案的摄像头是高分辨率大靶面Sensor,那对CSI带宽的压力会进一步加重。
以11V5R这种比较典型的城市NOA配置为例,11路摄像头中通常有4到6路是800万像素级别,每路30fps时,原始数据量非常恐怖。这些数据进芯片后,ISP要做在线预处理、降噪、动态范围压缩,再做视野拼接和特征提取。如果候选芯片的ISP能力不够、摄像头串口数不够、或者输入带宽不足,摄像头数量再多也没用——数据根本送不进计算域。
我看过一个典型的工程翻车案例:某团队选了算力很高的芯片,但没细看传感器接入链路,结果8路800万摄像头的数据进到芯片后,ISP模块吞吐不足,被迫在传感器端做降采样,图像质量下降,感知精度跟着一起崩了。这种问题一旦进入量产阶段基本无解,只能换芯片或改摄像头配置,代价极大。
所以选型时,把传感器配置清单拉出来,逐个对照芯片的CSI通道数、ISP吞吐、内存带宽,这三项必须同时满足才行。任何一个环节短板,都会让整条感知链路掉链子。
3.3 端到端时延:30fps的帧周期和AEB的百毫秒红线
智驾芯片是实时系统,不是离线跑大模型,时延指标划得非常死。
先看感知链路。摄像头一般是30fps,也就是33毫秒一帧。从帧曝光开始,到ISP处理、模型推理、融合决策,全部加在一起,最好能控制在50到80毫秒以内,这样系统才能保证驾驶决策的实时性。如果每一帧的感知时延超过100毫秒,车辆在高速上已经开出去了接近3米,这对地图融合和规控来说会引发非常严重的问题。
再看AEB这类安全功能。AEB要求在车辆碰撞前大约100到150毫秒内完成“感知-决策-执行”的完整链路,这要求芯片在满负载情况下仍能保证高优先级推理任务不被抢占。很多芯片的设计里,AEB这类ASIL-B级别的功能要跑在独立的安全计算域里,和常规NOA任务分离开,目的就是确保极端条件下安全功能不降级。
这些时延指标从芯片手册上很难直接看出来,但可以通过三个层面去验证:第一,芯片的硬件调度器是否支持任务优先级抢占;第二,软件中间件是否提供实时调度能力;第三,端到端链路是否有可复现的时延基准测试工具。拿到开发板之后,我建议第一时间做时延压力测试,让芯片跑满负载的同时触发AEB仿真任务,看能否在规定时间内响应。这一步能筛掉很多“纸面达标、实测掉链子”的芯片。
4. 安全与量产维度:车规认证、冗余设计和持续算力
4.1 ISO 26262不是“锦上添花”,而是量产准入门槛
聊完算力和带宽,必须把视角拉到工程落地。一辆车上的智驾芯片,不是实验室里的评估板,它要面对的是车规级的功能安全要求、可靠性要求和供应商质量体系要求。
芯片级的安全认证一般遵循ISO 26262标准,按照安全完整性等级分为ASIL-A到ASIL-D。L2级辅助驾驶的主控芯片通常要求ASIL-B,而L2+以上,尤其涉及纵向控制(油门或刹车)的芯片,至少也得ASIL-B,最好有ASIL-D能力的安全岛设计。所谓安全岛,是指芯片内部有一个独立的、满足高功能安全等级的计算单元,专门负责安全监控、故障诊断和降级策略。一旦主计算域发生异常,安全岛可以快速接管。
我见过一些初创公司的方案,芯片算力很猛,价格也很诱人,但翻遍手册也找不到功能安全相关的模块设计,一问才知道是工业级芯片改的车规级封装。这种方案在Demo阶段完全能跑,一旦上量产评审,主机厂的功能安全团队直接一票否决。车规不是产品册子里的一行小字,它是实打实的准入门槛。
4.2 热设计与持续算力:峰值TOPS在真实工况下会“打折”
前文多次提到持续算力和热设计的坑,这里展开说说,因为它太容易被忽略了,也最容易在后期变成致命伤。
芯片的标称TOPS一般指“最佳工况”下的峰值性能,但车里没有空调房。夏天太阳暴晒下,静止车辆的座舱内温度可以达到70到80摄氏度,即使开了空调,深埋在中控台内部的芯片环境依然很热。如果散热设计不到位,芯片会在运行几分钟后触发温度保护,自动降频。降频之后,算力可能从峰值掉到60%甚至更低。
在智驾场景里,降频是非常危险的。城市NOA在高复杂度路口最需要算力的时候,恰恰也是芯片最容易发热、最容易降频的时候。极端情况下,芯片降频会让模型帧率掉到不可接受的水平,系统只能紧急退出,把控制权交还给驾驶员。这种事在测试车上偶有发生,量产版本如果反复出现,就是重大安全隐患。
所以选型时,我习惯先问三个问题:这颗芯片的典型功耗是多少?推荐的散热方案是风冷、水冷还是被动散热?在75摄氏度环境温度下持续满载能跑多久不降频?最后一个问题的答案只有一个办法能拿到:拿开发板放在高温箱里实测。别信宣传册上任何关于“持续算力”的话,实测才算数。
4.3 设计冗余:为OTA和用户的“功能升级期待”留余量
最后讲一个带有行业时代背景的问题:硬件预埋。现在的智驾行业,玩法是“交付即起点”,新车出厂只带L2+,但用户期待未来通过OTA解锁城市NOA甚至更高级功能。这就逼着芯片选型必须留出足够的算力、带宽和存储余量。
举一个真实的策略:不少车企在近两年发布的中高端车型,上市时只交付高速NOA,但芯片直接上了城市NOA级别的大算力平台。原因很简单,用户花了高价,就期待这台车“以后还能升级”。如果上市时就把算力用满,后续OTA和大模型更新根本没戏。多花的这笔芯片成本,本质上是买了未来两年的体验成长空间。
另外,冗余还体现在“影子模式”数据采集上。很多公司会用量产车跑影子模式,让新模型在后台和当前模型同时运行,通过对比收集训练数据。这个能力对芯片提出隐性要求:必须有足够空闲算力在后台并行跑一个完整模型。如果算力刚刚好,连影子模式都跑不动,那后续的数据闭环和算法迭代节奏也会被拖慢。选型时把这项需求算进去,能省掉很多后期麻烦。
5. 从工具链看芯片:算力再高,算子不支持也白搭
5.1 工具链的成熟度决定你的迁移成本
算力指标解决的是“能不能跑”的问题,工具链决定的是“好不好跑、多久能跑通”的问题。很多项目就是死在这里的。
芯片厂商提供的工具链包括:神经网络编译器、算子库、推理引擎、调试工具、性能分析工具,以及针对自家芯片的量化工具。这些软件栈的成熟度,直接决定你的算法团队把PyTorch模型改成嵌入式模型的效率。一般来说,成熟工具链能自动化处理90%以上的算子转换和优化,剩下10%需要手工重写,这已经是优秀水平。不成熟的工具链呢?可能50%的算子都要手工优化,项目周期直接翻倍。
英伟达的TensorRT之所以在智驾领域近乎垄断,并非只靠硬件性能,更重要的是它软件生态的成熟度。地平线这几年在工具链上的投入也很猛,OpenExplorer里内置了大量智驾常用算子的优化模板,开发者基本可以做到“模型导入即跑”,这也是它能在国内自主芯片市场站稳脚跟的核心原因。工具链这种东西属于“隐性资产”,PPT上不会写,但实战中能救命。
5.2 算子替换与模型重构的隐性成本
如果你要迁移的模型里,有些算子目标芯片并不支持,那就得动手改了。一次算子替换的平均成本,并不是“写几行代码”那么简单,它牵涉到数值精度验证、端到端效果回归、上板测试,甚至可能带动整个训练流水线改动。
我举个具体例子:很多新模型会用到注意力变体算子,比如窗口注意力或者自定义的RoPE位置编码。这类算子在GPU上可能有优化实现,但到了车规SoC的算子库里有可能是缺失状态。算法团队只能把注意力模块拆成几个基础算子组合,或者用等效算子替换。替换完成后,还要确认在INT8量化下精度不掉,这一轮下来快则一两周,慢则一两个月。
所以在选型时,我建议提前准备一份“算子覆盖清单”,把你们核心模型里用到的所有算子列出来,逐项对照候选芯片的算子库。碰到缺失项,估算替换工作量,并且预留至少20%的额外开发时间作为缓冲。这个动作看着老套,但能避免项目进行到一半发现“模型根本没法高效落地”的窘境。
5.3 中间件和软件生态:别忽视MCU协同
把芯片接入整车,不是一插电就能跑。智驾域控制器里塞着的往往不止一颗主芯片,还有功能安全MCU、网关芯片、电源管理芯片,它们之间通过PCIe、以太网、CAN等总线通信。芯片厂商能提供多少系统级软件支持,会直接影响你域控的集成周期。
现在行业里主流的做法,是主芯片上跑Linux或QNX系统,配合CyberRT、ROS 2或AUTOSAR AP这类中间件;MCU上跑AUTOSAR CP,处理跟安全相关的逻辑。你需要关注芯片厂商是否做了中间件适配,是否提供完整的BSP、驱动和示例工程,是否支持主流的AUTOSAR工具链。这些若要自己从零适配,成本堪比再做一个项目。
另外一个很现实的问题:找芯片原厂做技术支持,响应速度和深度也很重要。大厂芯片有成熟的技术支持体系,遇到问题能在论坛、文档、代理多路找到答案。小厂芯片可能只有几个FAE,面对成百上千个开发者的问题,响应速度和质量完全没法保证。而且车规项目周期动辄两三年,选一个有长生命周期承诺的芯片平台,本身就是降低项目风险的重要一环。
6. 按功能档位推荐:从L2到端到端的选型参考
6.1 低阶ADAS档:性价比和成熟度优先
做L2基础ADAS,芯片选型的核心逻辑是“成熟、便宜、稳”。智驾在这个档位已经是红海,主机厂拼的是成本和可靠性,不是炫技。
这个档位常见的芯片包括地平线征程3、Mobileye EyeQ4/EyeQ5、TI的TDA4系列,以及瑞萨的R-Car V3H等。它们的共同点是:算力范围从几TOPS到十几TOPS,功耗低,方案成熟,有大量前装量产案例。选择时,重点看四件事:单芯片能否覆盖前视摄像头的全部处理;AEB、ACC的模型是否已经有现成的量产验证案例;功能安全认证是否齐备;芯片生命周期能否支撑整车5到7年的供货。
这类项目里,我踩得最深的一个坑是“贪功能”。很多团队总想在基础ADAS方案里硬塞车道级导航、HWA高速辅助之类的能力,结果发现芯片算力和软件栈根本带不动,最后项目延期。底座功能老老实实做扎实,反而能在成本围剿里活得很好。
6.2 高速NOA档:性能与成本的最佳平衡
高速NOA这个档位,主流方案是10到150 TOPS左右的芯片,要求能同时感知多路摄像头和雷达信号,跑多任务模型,并保证一定的冗余安全能力。
目前这个市场格局比较清晰:英伟达Orin N系列凭借成熟的工具链和生态,成为很多中高端车型的主流选择;地平线征程5系列在国内自主方案里市占率不错,128 TOPS的算力做高速NOA比较从容,工具链对国内算法团队的友好度也很高;Mobileye的EyeQ6也在往这个档位发力,但封闭生态的开发模式限制了一部分高端玩家的灵活度。
选择这个档位的芯片时,我给三个附加建议:第一,要做“高温+满载”的时延压力测试,因为高速NOA经常在夏季长途场景下持续工作;第二,算力余量建议留到30%以上,给后续模型精进和OTA留足空间;第三,认真评估MCU协同方案,如果主芯片自身功能安全能力偏弱,需要一块可靠的高功能安全MCU做冗余,这部分集成成本也要提前算进去。
6.3 城市NOA与端到端档:大算力平台的竞争焦点
城市NOA和端到端是当前最卷的战场,对芯片的需求直接拉满。这个档位的芯片共同特征是:算力起步200 TOPS,内存带宽武装到牙齿,软件栈必须支持BEV、Occupancy、Transformer甚至视频大模型。
目前市场上比较能打的选手包括:英伟达Orin X和Thor、地平线征程6系列(征程6P算力做到560 TOPS级别)、高通骁龙Ride平台,以及黑芝麻、华为昇腾等国产平台。每家的侧重点有差异:Orin X生态成熟,量产验证最多;Thor面向跨域融合和端到端新架构,带宽设计非常激进;征程6系列在工具链上下了很大功夫,国内算法团队上手快;华为基于自身全栈方案,自带软件加持。
选这个档位的芯片,我的建议是不要急于比“谁最大”,而是看三件事:第一,你需要的模型在这个平台上能不能高效跑起来,拿算子覆盖清单去比;第二,冗余架构怎么做,城市NOA功能的安全兜底怎么实现;第三,软件的长期演进路线是否匹配你的产品规划。毕竟这个量级的项目投入都是亿元级别,选错了平台再换,成本极其高昂。
我个人做了这么多年智驾方案评估,最大的教训就是:永远不要让芯片厂商替你做决定,也不要在没有实测数据的情况下相信任何一份算力对比表。芯片选型的本质,是“用自己的功能需求去丈量别人的产品”。你对自己的功能定义越清楚、场景约束想得越透,选型过程就越简单。如果你正站在这个选型的十字路口,我建议花两天时间,把功能清单、传感器配置、模型算子映射、时延预算这四项内容写成一页纸,然后拿着这一页纸去和芯片厂商聊。你会发现所有问题都变得具体且高效,这比任何现成的推荐列表都有用。