企业官网建设流程全解析

AI 芯片：算力体系的最小核心单元

本文为《AI 硬件体系深度调研》系列第 04 篇。前三篇我们讲清了 AI 硬件全景与分类、为什么需要专用硬件、以及训练与推理的生命周期分野。从本篇开始，正式进入"芯片篇"总纲——先把 AI 芯片这个最底层的"原子"讲清楚。

黄金 100 字开头

你是否以为"AI 芯片"就是显卡，显卡就是 GPU？其实这里面门道深得很。网上的科普常常把 GPU、NPU、TPU 全叫 AI 芯片，却说不清它们的关系。本文作为芯片篇总纲，带你看清 AI 芯片在整套硬件体系里的位置和分工。

一、芯片是 AI 算力的"原子"

先说结论：AI 芯片是算力体系的最小核心单元，是所有 AI 硬件的算力基础。

这句话有两层意思。第一层，芯片是"最小"的算力载体——它不能再往下拆了。加速卡、服务器、智算中心，追根到底都是一颗颗芯片拼起来的。第二层，芯片是"核心"的算力来源——上面所有东西都是芯片的封装、供电、散热、互联，真正的乘加运算发生在芯片内部的晶体管里。

1.1 先破一个误区：AI 芯片 ≠ 显卡 ≠ GPU

很多人的第一反应是：“AI 芯片不就是显卡吗？显卡不就是 GPU 吗？”

这是三个概念被混成了一个。它们的关系应该是：

• GPU是一种芯片类型，本质是图形处理器，因为天然适合并行计算，被"借用"来跑 AI；
• 显卡是一块板卡，GPU 芯片焊在板卡上，配上显存、供电、接口，才成了能插进电脑的"卡"；
• AI 芯片是一个用途概念，凡是为 AI 计算设计或优化的芯片，无论它叫 GPU、NPU、TPU 还是别的，都属于 AI 芯片。

打个比方：GPU 是发动机，显卡是整台车，AI 芯片是"为跑赛道专门调校过的车"。发动机是车的核心，但车不等于发动机；同理，GPU 是很多 AI 芯片的形态之一，但 AI 芯片远不止 GPU。

这个误区之所以流行，是因为 AI 浪潮最早就是靠 GPU 掀起来的。十多年前，深度学习研究者发现 GPU 的大规模并行架构特别适合矩阵运算，于是纷纷拿它来训模型。久而久之，"跑 AI 用显卡"就成了行业习惯，GPU 也顺势成了 AI 芯片的代名词。但今天再看，AI 芯片早已分化出 NPU、TPU、ASIC 等多个分支，GPU 只是其中历史最悠久、生态最成熟的一个。

1.2 GPU、NPU、TPU：这些名字到底什么关系

网上的科普常把 GPU、NPU、TPU 并列，却说不清它们的区别。其实它们是从不同维度起的名字：

看这张表就明白：GPU 是"多面手"，NPU 是"端侧专精"，TPU 是"云端定制"。它们共同的底层任务，都是高效执行矩阵乘加——这正是 AI 计算的核心。下一篇开始，我们会沿着"矩阵乘法"这条线，逐个拆解它们的架构。

这里补充一个容易混淆的点：GPU 和 NPU 的差别不在"能不能算 AI"，而在"为谁算、怎么算"。GPU 保留了图形渲染的能力，是"AI + 图形"双栖选手，所以通用性强、生态好；NPU 则把图形那部分彻底砍掉，只留神经网络加速，所以在特定 AI 任务上更省电、更高效。一个胜在通用，一个胜在专精，没有绝对的好坏，只有场景的匹配。

1.3 为什么说芯片是"原子"

化学里，原子是保持物质性质的最小粒子。在 AI 硬件体系里，芯片就是那个"原子"。

往上看：加速卡是芯片加显存加板载电路；专用设备（如训练服务器、推理一体机）是多张加速卡加机柜加网络；终端内置（手机、摄像头）是把芯片塞进更小的设备里。每一层都依赖芯片，但芯片不依赖任何上层——它就是算力的源头。

换句话说，整个 AI 硬件产业的价值链，都锚定在芯片上。芯片厂商定了架构，加速卡厂商跟着做板卡，设备厂商跟着做整机，终端厂商跟着做产品。芯片一代代升级，上层就一代代跟着迭代——这就是"源头"的含义。

往下看：芯片内部是晶体管、运算单元、缓存、控制器。但一旦拆到这个程度，就不再是"AI 硬件"的范畴，而是半导体工艺的范畴。所以在本系列里，我们把芯片当作讨论 AI 硬件的最小颗粒，从它往上逐层展开。

还有一个更实际的理由：所有关于 AI 硬件的选型、对比、优化，最终都会落到芯片这一层。你要不要 HBM、要不要高速互联、能不能低功耗，这些决定都在芯片设计时就已经定死了。上层再努力，也改变不了芯片的架构基因。所以理解了芯片，就等于握住了整套硬件的"总开关"。

⚠️ 避坑警告：不要一听到"AI 芯片"就去查 GPU 天梯图。AI 芯片的选型逻辑是先看任务（训练还是推理）、再看场景（云端还是端侧），而不是单纯比跑分。这一点看完本篇你会有体感。

二、训练芯片与推理芯片的分野

上一篇我们已经从"生命周期"的角度，把 AI 硬件分成训练和推理两类。芯片作为最底层，这个分野首先体现在芯片架构上——而且是本质性的取舍。

2.1 训练芯片：三高目标

训练芯片的设计目标，可以用"三高"概括：高算力精度、超大内存带宽、多芯片高速协同。

第一高，高算力精度。训练要反向传播，梯度层层相乘，精度一旦崩了，整个训练前功尽弃。所以训练芯片必须支持 FP16、BF16 甚至 FP32 的高精度浮点运算。芯片内部的乘加单元，要按浮点精度去设计，面积和功耗都更大。

第二高，超大内存带宽。训练每一步都要搬运海量的权重、梯度、激活值。如果片外内存带宽不够，芯片内部算得再快也只能干等。所以训练芯片都配上 HBM 高带宽内存，带宽动辄几个 TB/s。

第三高，多芯片高速协同。大模型动辄几千张卡一起训练，芯片之间要频繁交换梯度。所以训练芯片必须内置高速互联接口，让几千颗芯片像一颗一样协同。

注意，这"三高"不是孤立的三件事，而是配套的：算力高，意味着数据吞吐大，所以带宽必须跟上；单卡算力再高，大模型也放不下一张卡，所以必须多卡协同。三者环环相扣，少一样，训练这台机器就转不起来。

💡 一句话记忆：训练芯片是"三高"芯片——高精度、高带宽、高协同，样样都要顶配。

拿一个具体数字感受一下"三高"：旗舰训练芯片的 FP16 算力可达2000 TFLOPS（每秒 2000 万亿次浮点运算），显存带宽8TB/s，卡间互联带宽1.8TB/s。这三个数字单看任何一个，都是"把硬件逼到极限"的水平；三个同时拉满，才撑得起千亿参数模型的训练。训练芯片的每一瓦功耗、每一平方毫米硅面积，都是围绕这"三高"去分配的。

2.2 推理芯片：三低目标

推理芯片的设计目标正好相反，是"三低"：低延迟、低功耗、低成本。

第一低，低延迟。推理要秒回，芯片必须让数据快速流到计算单元，首字延迟控制在几百毫秒内。

第二低，低功耗。推理是 7×24 小时长跑，功耗直接变电费。所以推理芯片普遍用 INT8、FP8 低精度整数运算，把功耗压到几瓦到几十瓦。

第三低，低成本。推理要大规模铺量，单颗芯片成本必须压下来，才能支撑几十万颗的部署规模。

💡 一句话记忆：推理芯片是"三低"芯片——低延迟、低功耗、低成本，能省就省。

对比训练芯片的数字，推理芯片则是另一番景象：INT8 算力几百 TOPS 就够用，功耗可以压到10W 以内，单颗芯片成本能做到训练芯片的十分之一甚至更低。用十分之一的钱和百分之一的功耗，去服务同样多的请求——这就是推理芯片存在的意义。它不是"缩水的训练芯片"，而是"为持续运营重新设计过的芯片"。

2.3 为什么是"本质性取舍"

你可能会想：能不能做一颗芯片，既有训练芯片的高精度、高带宽，又有推理芯片的低功耗、低成本？

答案是不能两全，这是架构层面的本质取舍。

原因很简单：一颗芯片的晶体管预算、功耗预算、硅面积预算都是有限的。你把预算投给高精度浮点单元，就没有余量去压功耗；你把预算投给低功耗整数单元，训练时精度就顶不住。

展开说：高精度浮点单元和低精度整数单元，在晶体管预算上是竞争关系。你把浮点单元堆满，功耗就下不来；你把整数单元做主力，训练精度就顶不住。芯片的硅面积是有限的，把预算投给哪一边，是设计阶段就必须做的抉择。

这就好比装修房子：预算 100 万，你要么装成专业录音棚（训练芯片，隔音、声学、设备全拉满），要么装成普通公寓（推理芯片，实用、省电、好维护）。想用 100 万装一个既是录音棚又是公寓的房子，结果只能是四不像。

所以产业界的通行做法，就是分开设计：训练芯片走"三高"，推理芯片走"三低"。这也是为什么你会看到同一家厂商，既有面向训练的旗舰芯片，又有面向推理的性价比芯片——不是厂商想割韭菜，而是这两类芯片从架构上就不该共用。

这种"分开设计"不是技术倒退，恰恰是产业成熟的标志。早期大家只有一种芯片，训练和推理都硬扛，结果两头不讨好；后来芯片设计走向细分，训练芯片和推理芯片各走各路，总体的性价比反而都上去了。这就跟餐饮细分一样：大酒楼做宴席，快餐店做盒饭，各赚各的钱，总比一家店什么都卖要专业得多。

三、芯片在硬件分层中的位置

理解了芯片是"原子"、分训练推理两类之后，我们再把它放回整个硬件体系，看它处于什么位置。

3.1 四层架构：芯片 → 加速卡 → 设备 → 终端

整个 AI 硬件体系，可以清晰地分成四层：

这四层是层层包裹的关系：芯片是内核，加速卡把芯片变成可插拔的部件，专用设备把多张加速卡组成一个完整系统，终端则把芯片直接焊进产品里。

举一个贯穿四层的具体例子：一颗训练芯片（第一层），被焊到加速卡上，配上 80GB 的 HBM 显存和散热模组（第二层），再装进一个能插 8 张卡的训练服务器机箱（第三层），最后这个服务器被部署到智算中心，对外提供训练服务（终端形态）。同一颗芯片，从裸片到上线服务，中间隔着三层工程，每一层都在补芯片自身不具备的能力。

3.2 每一层都在"放大"芯片的价值

值得注意的是，从芯片到终端，每一层都在解决芯片本身解决不了的问题。

芯片解决的是"算得快"；加速卡解决的是"存得下、供得上电"；专用设备解决的是"多卡协同、规模化"；终端解决的是"把算力塞进具体产品"。

反过来，每一层也在"消耗"芯片的原始能力。一颗芯片的理论算力，经过封装、供电、散热、互联、系统调度，实际能发挥出来的往往只有百分之几十。这就是为什么你会看到，同样一颗芯片，在不同加速卡、不同设备里，跑出来的性能差异巨大。

比如供电：芯片算得越快，瞬间电流波动越大，供电不稳就会降频；散热：芯片温度一高，就必须降频保命；互联：多卡协同时，数据交换一旦卡脖子，单卡算力再高也是白搭。这些"看不见的消耗"，正是硬件工程的价值所在——把芯片的纸面算力，尽量无损地兑现成实际算力。

💡 效率技巧：评估 AI 算力时，不要只看芯片标称算力（TOPS/FLOPS），要看整卡、整机的实际有效算力。裸芯片跑分和系统实测，常常差出一个数量级。

3.3 芯片层是"牵一发动全身"的那一层

四层架构里，芯片层是最底层，也是最关键的一层。

因为芯片的架构一旦定了，上面三层的设计空间就基本锁死了。芯片是训练型还是推理型，决定了加速卡配多少显存、设备怎么组网、终端能跑什么模型。上游芯片的一次架构迭代，会像涟漪一样传导到整个硬件体系。

这也是为什么我们把"芯片"作为芯片篇的第一篇——它是整个算力体系的"地基"，地基的取舍，决定了整栋楼能盖多高。

举一个最直观的例子：芯片是否内置高速互联接口，直接决定了上层能不能做多卡训练服务器。如果芯片没有互联能力，加速卡厂商再努力，也没法把几十张卡拼成一个训练集群。芯片的一个接口设计，就锁死了上层整整一条产品线的可能性。

四、为什么芯片设计要"场景化重构"

到这里，你可能还有一个疑问：CPU 不是也能跑 AI 吗？为什么非要专门设计 AI 芯片？

答案是：CPU 是"通用计算"的产物，而 AI 是"特定计算模式"，两者的需求根本对不上。

4.1 CPU 的"通用"，代价是"什么都干不好"

CPU 的设计哲学是通用——它要能跑操作系统、办公软件、浏览器、游戏，什么活都得接。为了实现这种通用，CPU 把大量晶体管预算投在了复杂控制逻辑、分支预测、多级缓存上，真正用于算术运算的单元只占一小部分。

这就导致一个结果：CPU 跑 AI 时，大部分算力都被"通用性"消耗掉了，真正用在矩阵乘加上的效率很低。

打个比方：CPU 是一把瑞士军刀，什么都能干，但切菜不如菜刀、拧螺丝不如螺丝刀。AI 计算恰恰是一种非常单一、非常规整的计算模式——大量矩阵乘加，几乎没有分支——用瑞士军刀去切一整筐菜，效率自然惨不忍睹。

用数据说话：一颗高端 CPU 的 FP32 算力通常在几 TFLOPS级别，而一颗旗舰 AI 芯片的 FP16 算力能达到2000 TFLOPS——差了三个数量级。当然，这不算公平对比，因为 CPU 本就不是为 AI 设计的。但恰恰是这个"不公平"，说明了问题：用通用芯片跑专用任务，本身就是最大的浪费。

4.2 AI 计算的"专一"，恰恰可以被"专用"吃透

AI 计算有三个特点，让"专用芯片"成为可能：

第一，计算模式固定。无论是卷积还是 Transformer，底层都是矩阵乘加，没有复杂的控制流。专用芯片可以只做这一件事，把它做到极致。

第二，数据流规整。AI 计算的数据是规整的张量，可以高度流水线化。专用芯片可以设计出"数据流驱动"的架构，让数据像流水线一样源源不断地流进计算单元。

第三，精度需求分层。训练要 FP16/BF16，推理只要 INT8/FP8。专用芯片可以按场景选精度，避免"杀鸡用牛刀"。

这三点叠加，意味着 AI 计算的"确定性"极高：输入是张量、运算是指定精度、流程是固定顺序。确定性越高，越容易被专用硬件吃透、榨干效率。

正因为 AI 计算如此"专一"，场景化重构才有意义——把通用 CPU 里那些为"通用"付出的开销全部砍掉，把省下来的晶体管全部投给矩阵乘加。

可以把专用芯片想象成"只做一道菜的厨师"：他不需要备齐煎炒烹炸的所有工具，只需要一口大锅、一把炒勺，就能把这道菜做得又快又好。AI 芯片就是那个只做"矩阵乘加"这一道菜的厨师。

💡 一句话总结：CPU 是"为通用而妥协"，AI 芯片是"为专用而极致"。场景化重构，就是把"通用"的冗余换成"专用"的效率。

4.3 场景化重构的具体体现

芯片设计的场景化重构，具体体现在三个层面：

架构层面：把 CPU 的标量/向量计算单元，换成大规模的矩阵乘加阵列。一颗 AI 芯片里，可能密密麻麻排着几千个乘加单元，专门做矩阵运算。

存储层面：把 CPU 的深层次缓存，换成贴近计算单元的分层片上缓存，让数据尽量少跑路。因为 AI 计算的数据局部性极强，一次加载的数据会被反复使用。

互联层面：把 CPU 的通用总线，换成专为多卡协同设计的点对点高速互联，让芯片之间的数据交换不再是瓶颈。

这三层重构下来，同样面积的芯片，AI 芯片的有效算力能比 CPU 高出几十倍甚至上百倍。这就是为什么"专用"能战胜"通用"——在 AI 这个特定战场上。

需要注意的是，"场景化重构"不是一劳永逸的。AI 算法本身也在快速演进——从 CNN 到 Transformer，从稠密计算到 MoE 稀疏计算，芯片架构必须跟着算法变。所以 AI 芯片的设计，本质上是一场"追逐算法"的持久战：今天的架构可能三年后就被新算法淘汰，这也是这个行业既迷人又残酷的地方。

五、本篇与后续篇章路标

作为芯片篇的总纲，本篇只解决一个核心问题：AI 芯片是什么、分几类、处在什么位置。但"芯片"这个主题很大，后面还有一连串更深入的篇章。

5.1 芯片篇的完整地图

本系列后续会沿着"训练芯片 → 推理芯片 → 具体架构"的路径，逐层深入：

• 训练芯片：下一篇讲它的五大核心模块——张量阵列、三级缓存、HBM 控制器、多芯片互联、全局控制单元；
• 再往后：脉动阵列、张量核心、AI 加速卡、多卡互联、智算中心……一层层从芯片内核走向完整系统；
• 推理芯片：讲 NPU 架构、端侧推理、低功耗设计，直到手机里的 AI 算力。

这套地图的编排逻辑是自底向上、先训练后推理：先把训练芯片这个"算力天花板"讲透，再讲推理芯片如何"把算力塞进各种设备"。跟着这个顺序读，你会逐渐拼出 AI 硬件的完整版图。

5.2 本篇你该带走的三个坐标

读完本篇，请记住三个坐标，它们会贯穿整个芯片篇：

1. 芯片 = 原子：最小算力单元，所有 AI 硬件的算力基础；
2. 训练三高 / 推理三低：架构取舍的本质分野；
3. 四层架构：芯片 → 加速卡 → 设备 → 终端，芯片是地基。

有了这三个坐标，后面无论讲哪颗芯片、哪块卡、哪台设备，你都能第一时间把它定位到正确的层级和阵营里。

芯片篇的路很长，但万变不离其宗：算力从芯片来，芯片为任务而分，任务在层级里归位。记住这三句话，后面每一篇都能稳稳接住。

配图

图 1：AI 硬件四层架构图

flowchart TB L4[第四层：终端内置<br/>手机SoC / 智能摄像头 / IoT] --> L3[第三层：专用设备<br/>训练服务器 / 推理一体机] L3 --> L2[第二层：加速卡<br/>芯片 + 显存 + 板载电路] L2 --> L1[第一层：芯片<br/>GPU / NPU / TPU / ASIC] L1 --> CORE[最小算力单元<br/>矩阵乘加阵列]

自下而上：芯片是内核，加速卡是封装，设备是系统，终端是产品。每一层都依赖芯片，但芯片不依赖任何上层。

图 2：训练芯片 vs 推理芯片 设计目标天平图

quadrantChart title 训练芯片 vs 推理芯片 设计目标 x-axis 低功耗 --> 高算力 y-axis 低带宽 --> 高带宽 quadrant-1 训练芯片（三高） quadrant-2 训练芯片（三高） quadrant-3 推理芯片（三低） quadrant-4 推理芯片（三低） "训练芯片": [0.9, 0.85] "推理芯片": [0.3, 0.4]

训练芯片追求右上角的"三高"（高精度、高带宽、高协同），推理芯片守左下角的"三低"（低延迟、低功耗、低成本）。同一个"芯片"名词，两个完全不同的设计目标。

到这里，本篇作为芯片篇总纲的任务就完成了。我们把一个看似简单的名词——AI 芯片——拆成了四个层次来理解：它是什么（最小算力单元）、分几类（训练三高、推理三低）、处在哪（四层架构的地基）、以及为什么非它不可（场景化重构战胜通用）。这四个问题，就是看懂整个芯片篇的钥匙，也是后面每一篇的坐标系。

写在最后

AI 芯片，是整个算力体系最小的、也是最核心的单元。它分训练与推理两大阵营，坐落在四层架构的最底层，靠"场景化重构"战胜了通用 CPU。看懂这三个坐标，你就拿到了理解后面所有芯片、加速卡、设备的钥匙。

【思考题】

既然训练芯片和推理芯片架构取舍不同，有没有可能用推理芯片偷偷跑小模型训练？欢迎探讨。（提示：想想精度够不够、显存够不够、以及训练时反向传播对硬件的额外要求。）

【系列文章预告】

下一篇深入训练芯片：它的五个核心组成模块是怎样为海量矩阵乘法服务的。

标签：AI芯片、训练芯片、推理芯片、算力单元、GPU、NPU、硬件分层

AI 芯片是算力体系最小核心单元，是所有 AI 硬件的算力基础；分训练芯片（高算力精度+超大内存带宽+多芯片高速协同）与推理芯片（低延迟+低功耗+低成本），架构存在本质性取舍；整个硬件体系分层为芯片→加速卡→专用设备→终端内置。