企业官网建设流程全解析

简介：这份文档面向数据中心网络工程师、云计算架构学习者与运维人员，系统讲解叶脊（Spine-Leaf）网络拓扑下的全三层网络设计与实践。内容从传统三层架构的带宽浪费、STP收敛慢、难以支撑大二层与虚拟机迁移等弊端切入，引出扁平化叶脊架构的全网状连接模型，并展开高带宽利用率、延迟可预测、带宽与服务器数量水平扩展、单交换机性能要求低、高可用性强等核心优势，还结合端口数量与带宽给出规模估算方法及Facebook Fabric多POD扩展思路。资源为1个docx文档，压缩包约671KB，结构清晰便于按章节查阅。目前已有225人学习，适合希望理解现代数据中心网络演进、掌握叶脊架构设计逻辑的读者参考。

1. 叶脊网络拓扑下全三层网络设计：从架构选型到落地配置的实战拆解

数据中心网络改造项目里，最常被问到的一个问题就是：传统三层架构还撑得住吗？当业务侧开始跑分布式存储、AI 训练集群、跨校区智慧教室专网这类东西，南北向流量不再是主角，东西向流量占比动辄七成以上，核心层交换机背板被打满、收敛比失控、故障域大得吓人。叶脊（Spine-Leaf）网络拓扑就是在这个背景下成为主流的。它把网络压成两层：Leaf 接入服务器，Spine 只做高速转发，任意两台 Leaf 之间固定三跳，带宽可预测、扩容可水平堆叠。全三层网络设计则是在这套物理拓扑上，把二层彻底赶到边缘，Leaf 以下用 VLAN 接服务器，Leaf 到 Spine 全部跑路由。这套方案适合谁？正在做数据中心新建或改造的网络工程师、需要支撑虚拟化与容器平台的运维团队，以及想把跨校区专网做扁平的架构设计者。下面按选型理由、地址规划、路由配置、避坑、验证的顺序，把可复现的路径讲清楚。

2. 为什么全三层比二层加 STP 更适合叶脊：收敛比与故障域的账

2.1 叶脊拓扑的物理规则与收敛比计算

叶脊架构的物理连接规则很硬：每台 Leaf 必须上行到所有 Spine，每台 Spine 必须下行到所有 Leaf，Leaf 之间不直连，Spine 之间也不直连。这个 full-mesh 结构决定了任意两台 Leaf 之间的路径数是 Spine 的数量。假设有 N 台 Spine、M 台 Leaf，每台 Leaf 上行带宽为 U，下行接入带宽为 D，那么收敛比就是 D 除以（N 乘以 U）。举个例子，48 口 25G 下行、8 口 100G 上行的 Leaf，接 4 台 Spine，收敛比是 48×25 除以 4×100，等于 3:1。这个数字直接决定突发流量会不会在 Spine 上排队。

提示：收敛比不是越小越好。1:1 意味着 Leaf 上行带宽等于下行总带宽，成本极高。生产环境常见 3:1 到 5:1，存储和 AI 集群建议 2:1 以内。

传统三层架构里，接入到汇聚再到核心，收敛比往往在 20:1 以上，而且 STP 会阻塞冗余链路，实际可用带宽只有一半。叶脊全三层用 ECMP 把流量哈希到所有 Spine，没有链路被阻塞，这是它最直接的收益。

2.2 全三层设计要解决的核心问题：ARP 表和 MAC 表规模

二层网络最大的隐患是广播域。一个 VLAN 里如果有 500 台虚拟机，ARP 请求会泛洪到所有端口，MAC 表项随虚拟机迁移不断刷新。全三层设计把每个 Leaf 当作一个路由节点，Leaf 以下可以继续用 VLAN，但 Leaf 到 Spine 之间只跑 BGP 或 OSPF，广播域被限制在单台 Leaf 内部。这样做的代价是：虚拟机跨 Leaf 迁移时，IP 地址必须变化，或者需要引入 VXLAN 做二层延伸。跨校区智慧教室专网这类场景，常见做法是在 Leaf 上做 VXLAN 隧道，把二层语义封装进三层网络，但底层转发仍然依赖叶脊的全三层路由。

选型上，如果业务以传统物理服务器为主，纯三层到接入就够了；如果虚拟化比例高、需要大二层，就在 Leaf 上叠加 VXLAN。两种路径的物理拓扑完全一样，区别只在 Leaf 的软件配置。

3. 地址规划与 Underlay 路由：把 BGP 配到每台 Leaf 上

3.1 环回口与点对点地址的分配规则

全三层网络的第一步是地址规划。每台 Leaf 和 Spine 都需要一个环回口地址，通常从 10.0.0.0/24 里取，Leaf 用 10.0.0.1 到 10.0.0.100，Spine 用 10.0.0.101 到 10.0.0.200。Leaf 到 Spine 的每条链路用 10.1.x.x/30 的点对点地址，x 按 Leaf 编号递增。这样做的目的是让 BGP 邻居关系建立在直连地址上，环回口作为 router-id 和后续 VXLAN 的源地址。

AS 号规划有两种常见做法：所有 Leaf 用同一个 AS，所有 Spine 用同一个 AS，这叫 iBGP 方案；或者每台 Leaf 用不同 AS，Spine 用统一 AS，这叫 eBGP 方案。eBGP 的好处是路由策略更清晰，坏处是配置量稍大。我一般推荐 eBGP，因为排错时一眼就能看出路由从哪来。

3.2 FRR 配置 BGP 邻居与 ECMP 的完整命令

下面以 FRR 为例，给出一台 Leaf 的 BGP 配置。假设 Leaf-01 有两个上行口，分别连 Spine-01 和 Spine-02。

# 进入配置模式 configure terminal # 配置环回口 interface lo ip address 10.0.0.1/32 exit # 配置上行口地址 interface eth1 ip address 10.1.1.2/30 exit interface eth2 ip address 10.1.1.6/30 exit # 配置 BGP router bgp 65001 bgp router-id 10.0.0.1 no bgp ebgp-requires-policy # 与 Spine-01 建立邻居 neighbor 10.1.1.1 remote-as 65100 neighbor 10.1.1.1 update-source eth1 # 与 Spine-02 建立邻居 neighbor 10.1.1.5 remote-as 65100 neighbor 10.1.1.5 update-source eth2 # 宣告环回口和业务网段 address-family ipv4 unicast network 10.0.0.1/32 network 10.10.1.0/24 maximum-paths 4 exit-address-family exit

逻辑说明：bgp router-id用环回口地址，保证唯一性。no bgp ebgp-requires-policy在 FRR 里关闭默认策略检查，否则邻居起不来。maximum-paths 4开启 ECMP，允许最多 4 条等价路径同时转发。network语句宣告本 Leaf 的业务网段，Spine 会把这些路由反射给其他 Leaf。

参数说明：remote-as必须和 Spine 的 AS 号一致。update-source指定用哪个接口的地址建立邻居，点对点链路里通常写物理口，如果写环回口则需要底层路由可达。maximum-paths的值不要超过实际路径数，否则浪费内存。

Spine 侧的配置更简单，只需要和每台 Leaf 建邻居，并且不宣告任何业务网段，只做路由转发。

router bgp 65100 bgp router-id 10.0.0.101 no bgp ebgp-requires-policy neighbor 10.1.1.2 remote-as 65001 neighbor 10.1.1.6 remote-as 65002 address-family ipv4 unicast network 10.0.0.101/32 maximum-paths 8 exit-address-family exit

Spine 的maximum-paths可以设大一些，因为它要承载所有 Leaf 的流量。network只宣告自己的环回口，不需要宣告业务网段。

3.3 验证 BGP 邻居与路由表是否正常

配置完成后，用以下命令检查状态。

# 查看 BGP 邻居摘要 show bgp summary # 查看从某个邻居学到的路由 show bgp ipv4 unicast neighbors 10.1.1.1 routes # 查看路由表里是否有 ECMP show ip route 10.10.2.0/24

正常输出里，邻居状态应该是 Established，show ip route应该看到两条下一跳，分别指向两个 Spine 的链路地址。如果只有一条，检查maximum-paths是否生效，或者两条链路的开销是否一致。FRR 默认按链路带宽计算开销，点对点链路通常一致。

4. 避坑与排查：全三层叶脊网络里最容易翻车的五个点

4.1 BGP 邻居起不来，卡在 Active 或 Connect

现象：show bgp summary里邻居状态一直是 Active，永远不到 Established。

原因：最常见的是update-source写错，或者对端 AS 号配错。还有一种情况是 FRR 默认要求策略，没有no bgp ebgp-requires-policy时邻居会卡住。

解决：先 ping 直连地址，确认三层可达。然后检查两端remote-as是否互为对方的 AS。最后确认update-source指定的接口地址和邻居地址在同一网段。

4.2 ECMP 不生效，流量只走一条 Spine

现象：路由表里只有一条下一跳，或者show ip route显示的是单路径。

原因：maximum-paths没配，或者两条链路的 BGP 属性不一致，比如 AS_PATH 长度不同、MED 值不同。

解决：在 address-family 下加maximum-paths 4。如果属性不一致，用show bgp ipv4 unicast <前缀>查看详细属性，必要时用 route-map 调整 MED 或 local-preference。

4.3 虚拟机跨 Leaf 迁移后网络不通

现象：虚拟机从 Leaf-01 迁到 Leaf-02，IP 不变，但 ping 不通网关。

原因：全三层设计里，每个 Leaf 的业务网段不同，虚拟机 IP 属于 Leaf-01 的网段，迁到 Leaf-02 后 Leaf-02 没有这个网段的路由，或者有路由但回程路径不对。

解决：如果必须保持 IP 不变，需要在 Leaf 上配置 VXLAN，把二层语义延伸过去。如果不需要，就改虚拟机 IP 到目标 Leaf 的网段。常见做法是用 DHCP 重新分配地址，或者用自动化工具改配置。

4.4 收敛比算错，Spine 上行口被打满

现象：业务高峰期 Spine 上行口利用率超过 80%，丢包增加。

原因：Leaf 下行接入带宽总和远大于上行带宽乘以 Spine 数量。比如 48 口 25G 下行、4 个 100G 上行，收敛比 3:1，如果服务器全部满速发包，Spine 必然拥塞。

解决：重新计算收敛比，增加 Spine 数量或提升上行口速率。如果成本受限，至少给存储和 AI 流量做 QoS 标记，保证关键业务优先。

4.5 环回口地址冲突导致 BGP 震荡

现象：BGP 邻居反复 Up/Down，日志里出现 router-id 冲突告警。

原因：两台设备配了相同的环回口地址，或者 router-id 手动配重了。

解决：用show bgp summary看 router-id 列，逐台核对。环回口地址必须全网唯一，建议用 IPAM 工具分配，不要手工拍脑袋。

5. 从 Underlay 到 Overlay：用 VXLAN 打通跨校区智慧教室专网

5.1 VXLAN 在叶脊上的部署位置与 VTEP 选择

跨校区智慧教室专网的需求是：不同校区的教室在同一个二层网络里，能互相发现、组播教学，但底层物理网络是三层叶脊。VXLAN 是标准解法。VTEP 放在 Leaf 上，每台 Leaf 的环回口作为 VTEP 地址，VXLAN 隧道建立在 Leaf 之间，Spine 只做 IP 转发，不感知 VXLAN。

配置 VXLAN 的前提是 Underlay 路由已经稳定，Leaf 之间能通过环回口互相 ping 通。然后创建 VXLAN 接口，指定 VNI 和远端 VTEP 列表。

# 在 Leaf-01 上创建 VXLAN 接口 interface vxlan1 vxlan source-interface lo vxlan vlan 100 vni 10100 vxlan vlan 100 flood vtep 10.0.0.2 10.0.0.3 exit # 把 VXLAN 接口和业务 VLAN 关联 interface eth10 switchport mode access switchport access vlan 100 exit # 配置 VLAN 到 VXLAN 的映射 vlan 100 vxlan vni 10100 exit

逻辑说明：source-interface lo指定用环回口地址作为 VTEP 源。flood vtep列出所有远端 Leaf 的环回口地址，用于广播、未知单播和组播流量的复制。vlan 100是本地业务 VLAN，vni 10100是 VXLAN 网络标识，两端必须一致。

参数说明：VNI 范围是 1 到 16777215，建议按业务类型分段，比如 10100 到 10199 给教学专网。flood vtep列表需要手动维护，新增 Leaf 时要同步更新所有 Leaf 的配置。如果规模大，可以用 EVPN 替代 flood-and-learn，但配置复杂度更高。

5.2 验证 VXLAN 隧道与跨 Leaf 二层连通性

配置完成后，先检查 VXLAN 接口状态。

# 查看 VXLAN 接口 show interface vxlan1 # 查看 VXLAN 转发表 show vxlan fdb # 从 Leaf-01 的虚拟机 ping Leaf-02 的虚拟机 ping 10.10.2.100

正常情况，show vxlan fdb应该看到远端 VTEP 的 MAC 地址和对应的 VNI。如果 ping 不通，先确认 Underlay 路由里有没有远端环回口的 /32 路由，再检查两端 VNI 和 VLAN 映射是否一致。

注意：VXLAN 会增加约 50 字节的封装开销，MTU 需要相应调整。物理口和 Underlay 路由的 MTU 建议设成 9000 以上，至少 1600，否则大包会被分片或丢弃。

5.3 全三层叶脊网络的扩容节奏

扩容时，先加 Spine 还是先加 Leaf？我的经验是：如果收敛比已经接近阈值，先加 Spine，因为 Spine 扩容能直接增加 Leaf 之间的路径数和总带宽。如果接入端口不够，先加 Leaf，但新 Leaf 必须上行到所有现有 Spine，并更新所有 Leaf 的 BGP 邻居和 VXLAN flood 列表。

加 Spine 的步骤：上架、配环回口和链路地址、配 BGP 邻居、在每台 Leaf 上增加对新 Spine 的邻居配置、确认 ECMP 路径数增加。加 Leaf 的步骤：上架、配环回口和链路地址、配 BGP 邻居、在每台 Spine 上增加对新 Leaf 的邻居配置、更新所有 Leaf 的 VXLAN flood 列表。

这套流程看起来机械，但每一步都有翻车的可能。我自己的习惯是：每次变更前先备份配置，变更后立刻跑一遍show bgp summary和show ip route，确认邻居和路由数量符合预期。曾经有一次加完 Spine 忘了在 Leaf 上加邻居，结果新 Spine 空转了一周才发现。希望帮到你。

本文还有配套的精品资源，点击获取