☰
数据中心交换芯片架构解析:Cloud Scale芯片家族、Slice结构与Packet Walk转发全流程
2026/10/16 19:12:15 网站建设 项目流程

简介:这份PDF资料源自思科2018年技术讲座BRKARC-3222,由杰出工程师Tim Stevenson主讲,面向数据中心网络工程师、架构师及备考思科认证的技术人员,系统讲解Nexus 9000系列模块化与TOR交换机的芯片级架构。内容围绕数据中心与硅策略、云规模架构、云规模ASIC、转发特性、交换平台及Packet Walks等模块展开,重点剖析Nexus 9500 X9400/X9600-R与Nexus 9300-EX/FX系列所采用的Cloud Scale ASIC、商用Broadcom芯片方案、智能缓冲区、流式遥测与隧道封装等硬件机制,并完整梳理数据包在交换机内部的转发路径。资源包为单个PDF文件,大小约3.56MB,便于随身查阅与离线研读。目前已有283人学习,适合希望深入理解思科数据中心交换机内部运作、优化网络性能与排障思路的专业人士参考。

1. 数据中心交换芯片的体系地图:从 Cloud Scale 到 Packet Walk

如果你正在系统复习数据中心网络硬件,或者准备网络架构方向的认证考试,Nexus 9000 这一代 Cloud Scale 平台大概率是绕不开的一章。它不像纯协议那样靠背命令就能过关,也不像纯配置那样敲完就能验证——它考的是你对“芯片怎么转发一个包”这件事有没有真正的画面感。很多人复习到 ASIC、Slice、Flex Tile 这些词就卡住,不是因为概念多难,而是因为缺少一张从硅片到平台、从架构到转发的完整地图。这份笔记梳理的就是这张地图:先讲 Cloud Scale 芯片家族怎么分档,再拆 Slice 内部结构,然后落到转发查表和 Flex Tile 模板,最后用 Packet Walk 串起整条路径。适合已经接触过 Nexus 基础、想往硬件架构方向深挖的人,也适合考前快速查漏补缺。

2. Cloud Scale 芯片家族:LSE、LS1800FX、S6400、LS3600FX2 怎么区分

2.1 四款芯片的定位与关键参数

Cloud Scale 是 Cisco 自研 ASIC 系列,和 Nexus 9500 上另一条商用芯片路线(Broadcom XGS 和 DNX)并行存在。复习时最容易混的就是这几个型号的容量、Slice 数和适用平台。先把参数表拉出来对比:

芯片型号总容量Slice 结构加密能力典型搭载平台
LSE1.8T2 个 Slice,每 Slice 9×100G无 MACSECX9700-EX 线卡、9300-EX TOR
LS1800FX1.8T1 个 Slice,18×100GMACSECX9700-FX 线卡、9300-FX TOR
S64006.4T4 个 Slice,每 Slice 16×100G无 MACSEC9364C TOR、E2 交换模块
LS3600FX23.6T2 个 Slice,每 Slice 18×100GMACSEC + CloudSec9300-FX2 TOR

这张表要背下来的不是数字本身,而是三条规律。第一,型号里的数字基本对应容量:LS1800 是 1.8T,LS3600 是 3.6T,S6400 是 6.4T。第二,带 FX 后缀的才有 MACSEC,FX2 额外支持 CloudSec。第三,Slice 数量决定了芯片内部并行转发的粒度,LSE 是 2 个 9 口 Slice,LS1800FX 是 1 个 18 口 Slice,总端口数一样但内部组织方式不同。

2.2 为什么自研芯片值得单独复习

复习时不要只记“Cisco 有自研芯片”这个结论,要理解它带来的差异化能力。Cloud Scale 自研路线支撑了几类商用芯片不容易做到的功能:ACI 策略模型和拥塞感知的 flowlet 交换、灵活转发 tile、单次隧道封装、内置 MACSEC 和 CloudSec 加密、智能缓冲区(DBP / AFD / DPP)、以及面向遥测的 Flow Table 和 SSX 流式统计导出。

这些功能在考试里往往以“哪个特性依赖自研 ASIC”的形式出现。梳理下来会发现,自研芯片的核心卖点不是单纯拼容量,而是把硬件设计和软件创新绑在一起——硬件团队和 NX-OS 团队能紧耦合地定义转发行为,这是商用芯片方案做不到的。

2.3 商用芯片路线也要知道边界

Nexus 9500 平台上还有两条商用芯片路线:X9400/X9400-S 用 Broadcom XGS(Trident2+ / Tomahawk),X9600-R/X9600-RX 用 Broadcom DNX(Jericho)。前者是 Broadcom SOC 方案,行业可得性广、SDK 公开;后者是多芯片架构,大转发表、深包缓存、VOQ、基于 Cell 的 Fabric。

注意:复习范围要明确。这份材料聚焦的是 Cloud Scale 自研芯片这一代,第一代 Nexus 9000 ASIC、9500 商用芯片架构、其他 Nexus 平台和 Catalyst 9000 都不在范围内。考试如果考到边界外的内容,不要用这份笔记的结论去套。

3. Slice 内部结构:Ingress 和 Egress 到底怎么分工

3.1 Slice 是什么

Slice 是 Cloud Scale 芯片内部一个自包含的转发复合体,控制单颗 ASIC 上的一部分端口。每个 Slice 分成 Ingress 和 Egress 两部分功能。关键点在于:每个 Slice 的 Ingress 都连接到所有 Slice 的 Egress,Slice 之间的互连(Slice Interconnect)提供非阻塞的任意到任意连接。

这个设计的意义在于,一个包从 Slice 0 的端口进来,经过 Ingress 处理后,可以被转发到任意一个 Slice 的 Egress 端口出去,不会因为 Slice 划分而产生内部阻塞。复习时可以用一句话概括:Slice 是并行转发单元,Interconnect 保证跨 Slice 无阻塞。

3.2 Ingress 转发控制器的工作流程

Ingress 侧的处理链路可以拆成几个阶段:

Packet Parser → Ingress MAC → Ingress Lookup Pipeline → Load Balancing (AFD/DPP) → 送往 Egress Slice

Packet Parser 负责解析包头,提取查表需要的字段。Ingress MAC 处理二层信息。Ingress Lookup Pipeline 是核心查表阶段,内部又分 Ingress Classification、Forwarding Lookup 和 Lookup Result 三步。Forwarding Lookup 会用到 TCAM 和 Flex Tiles。查表结果出来后,如果是 ECMP 场景,会经过 AFD(Approximate Fair Dropping)或 DPP 做负载均衡,然后送到目标 Egress Slice。

提示:Flow Table 只在 LSE、LS1800FX、LS3600FX2 上支持,S6400 没有。这个差异点在考试里容易出选择题。

3.3 Egress 侧的处理与 SSX

Egress 侧负责 Buffering / Queuing / Scheduling、Replication、Egress Policy、Packet Rewrites 和 Egress MAC。简单说,Ingress 决定“这个包去哪里”,Egress 决定“怎么排队、怎么改包、什么时候发出去”。

SSX(Streaming Statistics Export)只在 S6400 和 LS3600FX2 上支持。这意味着如果你在复习遥测相关特性时,要记住不是所有 Cloud Scale 芯片都能做流式统计导出。这个限制条件在架构设计题里经常作为区分点出现。

4. 转发查表与 Flex Tile:LPM、HRT、TCAM 怎么配合

4.1 IP 单播转发的完整查表链路

IP 单播转发是 Packet Walk 的核心场景,查表逻辑可以拆成三步:

第一步,Router MAC Lookup。硬件检查目的 MAC 是不是 Router MAC,如果是,触发三层查表。

第二步,Route Lookups。硬件对 VRF 做精确匹配,对目的 IP 做最长匹配。查表结果返回两种指针之一:ADJ_PTR(邻接指针,索引到 MAC 表)或 ECMP_PTR(ECMP 指针)。

第三步,根据指针走 MAC 表或 ECMP 表。MAC 表返回输出 BD、重写 MAC 和输出端口;ECMP 表返回应该用哪个 ECMP 组。

接收包 → Router MAC 匹配?→ 是 → (VRF, IPDA) 查表 → 返回 ADJ_PTR → MAC 表 → (BD, MAC, port) → 发送 → 返回 ECMP_PTR → ECMP 表 → 选组 → 发送

这条链路要能默画出来。考试里常见的考法是给你一个转发场景,问在哪一步查什么表、返回什么结果。

4.2 HRT、LPM、TCAM 的分工

IP 前缀在硬件里有三种存储方式:

存储方式用途来源特点
HRTIPv4 /32 和 IPv6 /128 主机条目Flex Tile 划分哈希表,适合主机路由
LPM其他前缀长度的路由Flex Tile 划分传统前缀/掩码,或用 pivot + trie tile 组合
TCAM溢出和哈希冲突传统 TCAM 内存前置在灵活转发查表之前

最容易忽略的是 TCAM 的角色。它不是主力查表资源,而是兜底——当 HRT 发生哈希冲突或 LPM 表项溢出时,TCAM 接管。复习时要理解这个层级关系:Flex Tile 提供主力表项,TCAM 处理异常情况。

4.3 Flex Tile 与路由模板

Flex Tile 是一组可灵活分配的表项池,不同 ASIC 的 tile 数量和每个 tile 的条目数不同。Tile 可以承担多种功能:IPv4/IPv6 单播 LPM、IPv4/IPv6 主机路由表(HRT)、IPv4/IPv6 组播 (*,G) 和 (S,G)、MAC 地址/邻接表、ECMP 表、ACI 策略。

Tile 的功能分配由路由模板决定,通过system routing template配置。截至 NX-OS 7.0(3)I7(2),可用模板包括:

# 查看当前路由模板 show system routing template # 可用模板列表(截至 NX-OS 7.0(3)I7(2)) # Default - 默认均衡分配 # Dual-stack host scale - 双栈主机路由扩展(不支持组播,模块化 9500 不支持) # Internet peering - 互联网对等场景 # LPM heavy - LPM 表项加重 # MPLS heavy - MPLS 表项加重(不支持组播) # Multicast heavy - 组播表项加重 # Multicast NBM - 组播 NBM(TOR 不支持)

注意:路由模板在系统初始化时定义,更改需要重启。这是复习时的高频易错点——考试里经常问“能不能在线切换模板”,答案是不能。

5. 易漏点与易错点:复习时最容易翻车的五个地方

5.1 易漏点一:Slice 数量与端口数的关系

容易漏的原因是把“总端口数”和“Slice 结构”混为一谈。LSE 是 2 个 Slice 各 9×100G,LS1800FX 是 1 个 Slice 18×100G,总端口都是 18 个,但内部并行粒度完全不同。考试如果问“LSE 和 LS1800FX 的 Slice 结构差异”,只答端口数就错了。

怎么补:把第 2 章那张参数表的 Slice 列单独拎出来默写一遍,重点记“几个 Slice、每 Slice 多少口”。

5.2 易漏点二:MACSEC 和 CloudSec 的支持范围

容易漏的原因是这两个加密特性只在部分型号上支持。LSE 和 S6400 没有 MACSEC,LS1800FX 有 MACSEC,LS3600FX2 有 MACSEC + CloudSec。复习时如果只记“Cloud Scale 支持加密”,具体到型号就会翻车。

怎么补:用一句话记——“FX 有 MACSEC,FX2 多一个 CloudSec,LSE 和 S6400 都没有”。

5.3 易漏点三:Flow Table 和 SSX 的芯片限制

Flow Table 只在 LSE、LS1800FX、LS3600FX2 上支持,S6400 没有。SSX 只在 S6400 和 LS3600FX2 上支持。这两个特性的支持矩阵不一样,容易记混。

怎么补:画一个 2×4 的小矩阵,行是 Flow Table 和 SSX,列是四款芯片,打勾打叉,默写三遍。

5.4 易漏点四:路由模板的重启要求

容易漏的原因是把路由模板当成普通配置命令,以为可以在线切换。实际上模板在系统初始化时定义,更改需要重启。考试里如果出现“在线调整路由模板”的选项,直接排除。

怎么补:把“模板变更 = 重启”当成一条铁律记,和“Slice 互连非阻塞”放在一起背。

5.5 易漏点五:TCAM 的兜底角色

容易漏的原因是把 TCAM 当成主力查表资源。实际上 HRT 和 LPM 由 Flex Tile 提供,TCAM 只处理溢出和哈希冲突。复习时如果问“主机路由存在哪里”,答 TCAM 就错了,应该是 HRT。

怎么补:记一句“Flex Tile 主力,TCAM 兜底”,然后默写 HRT、LPM、TCAM 三者的分工表。

6. 查漏补缺:一份可执行的复习清单

复习到这一步,知识点已经铺开了,接下来要做的不是再读一遍,而是用输出倒逼输入。下面这份清单按“能默写、能画图、能讲清”三个层次组织,每完成一项打个勾。

复习项达标标准自检方式
四款芯片参数默写容量、Slice 数、加密能力、搭载平台空白纸画表,不看原文
Slice 内部结构画出 Ingress → Interconnect → Egress 路径手绘框图,标注各阶段名称
IP 单播查表链路默写 Router MAC → Route Lookup → ADJ/ECMP → MAC/ECMP 表口述一遍,卡壳就回去看
HRT/LPM/TCAM 分工说清各自用途和来源用一句话解释每个
路由模板列出至少 5 个模板名及限制默写模板列表和重启要求
特性支持矩阵默写 Flow Table 和 SSX 的芯片支持情况画 2×4 矩阵
Packet Walk完整讲一个包从入到出的路径对着白板讲 3 分钟

这份清单的用法是:先合上所有资料,逐项自检。卡住的项标记出来,只回去看那一部分,不要从头翻。第二遍再自检,直到全部能默写或口述。

最后说一个我自己的习惯。每次复习硬件架构,我都会强制走一遍 Packet Walk——随便挑一个场景,比如“一个 VXLAN 包从 TOR 进来要转发到另一个 TOR”,然后从 Ingress Parser 开始,一步一步讲到 Egress 发出。中间任何一步说不清,就说明那个模块没复习到位。这个方法比反复读讲义有效得多,因为读的时候你会产生“我懂了”的错觉,但讲的时候骗不了自己。从那以后我每次复习转发架构都强制走一遍 Packet Walk,希望帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询