☰
Brocade 48000 光交机装机避坑:Domain ID 与 Zoning
2026/10/24 16:08:18 网站建设 项目流程

简介:这份博科交换机安装与维护手册面向存储网络运维人员与IT基础设施工程师,聚焦光纤通道SAN环境中博科光交机的规划、部署与日常维护,适合需要梳理双冗余Fabric架构和实施流程的初中级读者。压缩包仅含1个doc文档,体积约4.43MB,内容按章节组织,便于按实施阶段查阅。文档从应用系统概况与物理拓扑切入,覆盖交换机参数、144口和192口端口分配、双机并行配置与Zoning命名,并列出设备、环境、光纤布置、管理IP及控制台等实施准备;随后给出安装步骤、微码升级、配置分区、与刀片交换机级联和产品维护服务。已有1020人学习,可作为SAN项目落地、端口规划与故障预防的案头参考。文档章节完整,兼顾规划表与实施细节,能帮助读者对照现场条件核对端口余量、冗余链路与升级窗口,减少部署返工。

1. 从 14U 的机柜怪物说起:博科 48000 光交机装错一次要拆半排机柜

搜索栏里敲「barcode 博科 光交机」的人,多半是把 Brocade 打成了 barcode,输入法里两个词挨得太近。可真到机房,这东西一点不像条形码那样轻巧:Brocade 48000 是一台 14U、空箱 95 公斤、最多 384 口的导向器,两个人抬上机柜得先拆门。某公司数据中心做 SAN 整合,双 Fabric 冗余,每个 Fabric 一台 48000,主机、磁盘阵列、磁带库全部双路径接入,结构看着简单,装错一步就是半夜被叫起来。翻车点从来不是硬件坏,而是 Domain ID 撞车导致 fabric 合不起来、端口分区切错让主机和存储跨不到一个 zone、微码升级升一半把双 CP 搞成单点。这篇记录适合第一次上手 48000 的人,也适合从 144 口往 192 口扩、要给刀片交换机做级联的人。

2. 装机前的账先算清:Brocade 48000 端口板、电源与机房环境核对

设备到货那天最忌讳的动作,是当着物流面只点数箱子不点板子。48000 的端口全在可热插拔的 48 口光纤通道模块上,一块板子就是 48 个端口,少一块就是少一整片区域。而机房里那些看不见的账——承重、供电、散热、管理网段——一旦算错,设备抬上架也得再抬下来,这活儿干过一次就不想干第二次。

2.1 端口板数量对不上 144/192/256,先数板子再签收

按手册给的配置口径,48000 用 48 端口板拼端口数:144 口是 3 块板,192 口是 4 块板,256 口是 6 块板,具体以合同为准。端口板插在业务槽位上,CP0 和 CP1 两块控制处理器单独占槽,不参与端口计数。所以签收时的动作很固定:开箱、数板、对槽位、拍照片存档,然后才签。

端口规模48 口板数量实际启用槽位说明
144 口3 块Slot 3、Slot 4、Slot 7Slot 8 留空,作为扩容位
192 口4 块Slot 3、Slot 4、Slot 7、Slot 8四个区各占一块,扩容余量最均衡
256 口6 块按合同槽位排布电源与散热按满载核算,见 2.2

槽位怎么排不是随便定的。端口分区要按「每个区跨最大板卡」的原则横向切,也就是级联端口区、主机端口区、存储阵列端口区各自尽量落在不同板卡上。这样单块 48 口板故障时,只影响每个区的一部分通道,而不是把整个存储区或整个主机区一次性打掉。144 口配置之所以不用 Slot 8,就是把这个槽位留给后续扩容,避免扩容时被迫重排分区、重做 zoning。

提示:板子插回去之前确认电源已断、防静电手腕接地,48000 的板卡导轨很紧,硬推容易把背板针脚顶弯。

2.2 电源、散热与承重:200–240V 这一条最容易漏

48000 底盘配 2 个 AC-DC 电源模块做 2N 冗余,3 个风扇装配模块,要求至少 2 个可运行。手册上写得清楚:标称 200–240VAC、5.0A 单相,运行范围 180–264VAC 自感应;256 口配置需要最大 750VA,冲击电流最大可到 40A。这几组数字翻译成机房语言就是——别拿 110V 那套想当然,也别把这台设备和一个机柜里的核心网络设备插在同一条普通 PDU 上。

散热量同样要提前报给机房:8 块 FC4-16 加 2 块 CP4 约 710W / 2425 BTU,8 块 FC4-32 加 2 块 CP4 约 915W / 3115 BTU。一台 14U、近百公斤的设备塞进机柜,前后风道必须留空,后控板到门的气流空间不能被线缆堵死,否则夏天最先出问题的不是交换机,是隔壁那台被热风烤着的服务器。

环境指标照着手册核一遍:运行温度 0–40°C,湿度 5–85% 且 40°C 下不冷凝,海拔最高 3000 米。重量 95 公斤(128 口配置)到 98 公斤(256 口配置)都是无介质重量,加上板卡、SFP 和线缆会更重,机柜承重和导轨规格要按满载算。

注意:冲击电流最大 40A,同一路 PDU 上如果还挂着对电压波动敏感的设备,加电顺序要错开,一路一路来。

2.3 管理 IP 与管理控制台的准备

48000 的每个控制处理器都有一个 10/100 以太网 RJ-45 管理口,也支持通过光纤通道做带内访问(需要 fabric 已建立),每个 CP 还有 2 个 DB-9 串口。管理 IP 的规划原则比具体数字重要,我一般按三条来:

  • Fabric A 和 Fabric B 的管理地址分两个网段,避免以后做批量脚本时误连到另一半;
  • 管理网段和业务网段分开,管理口不承载任何存储流量;
  • 双 CP 的地址成对规划,主备切换时管理 IP 跟着走,不要让监控系统误判成设备掉线。
设备角色Fabric管理地址示例串口用途
48000-01Fabric A10.10.20.11/24CP0 首配、应急登录
48000-02Fabric B10.10.21.11/24CP0 首配、应急登录
刀片机箱嵌入式交换机A / B 各一10.10.20.31 / 10.10.21.31级联后统一纳管
管理控制台—与上述同网段可达Telnet / Web Tools / SNMP

管理控制台这边,最少要准备一台能同时到达两个管理网段的跳板机,装好支持 Telnet、SSH 的终端工具,并确认 SNMP 采集侧已经配好(FE MIB、FC Management MIB 是手册里列明的管理支持项)。Fabric Watch 和 Web Tools 在 48000 上属于可用的管理能力,但真正排障时最靠得住的还是串口加命令行——网络不通的时候,串口是唯一的后悔药。

3. 上架加电到起 Fabric:48000 的串口首配与 Domain ID 规划

设备抬上架、电源接两路、风扇转起来,接下来的活儿才是真正决定这套 SAN 能不能用的环节。首配阶段做错的每一件事,后面都要用停业务来还:管理 IP 配到错误的 CP 上、Domain ID 随手填一个和现有交换机撞车、两个 Fabric 用了同一个管理网段导致脚本跑错设备。这一章按现场顺序走一遍,从光纤清点到 fabric 成型。

3.1 上架前的光纤与 SFP 清点

介质这部分的参数手册给得很细,但真正会在现场咬人的只有一条:4 Gbit/sec 速率下只支持短波激光器。短波 SWL 最大 500 米,长波 LWL 最大 10 公里,超长波 SLWL 最大 100 公里,最大距离还要看光缆类型和端口速率。也就是说,跨楼宇那几根长波链路,如果规划时按 4G 写的,现场根本起不来,只能降到 2G 或者改短波走楼内。

清点清单我一般按下面走一遍,缺一样都别急着加电:

  1. 按槽位核对 SFP 型号与数量,短波、长波分开摆放并贴标签;
  2. 光纤跳线全部用 LC 接头,长度留出盘纤余量,不拉直不硬弯;
  3. 每根跳线两端贴标签,标签内容与端口分区表一致;
  4. 端面用清洁笔逐个处理,尤其是从库存翻出来的旧线;
  5. 光功率或链路测试留到加电后配合sfpshow一起做。

提示:SFP 是可热插拔且符合行业标准的 LC 连接器模块,但插拔前先portdisable对应端口,能省掉一批链路抖动带来的无效告警。

3.2 串口首配:从 ipaddrset 到 switchname

新设备出厂没有可用管理地址,第一步永远是串口。终端参数 9600、8 位数据、无校验、1 位停止、无流控,接 CP0 的 DB-9,回车出提示符后按下面走:

# 串口登录后先确认当前身份和版本 version switchshow # 配置管理 IP,交互式逐项填入 ipaddrset # Ethernet IP Address [10.0.0.1]: 10.10.20.11 # Ethernet Subnetmask [255.255.255.0]: 255.255.255.0 # Fibre Channel IP Address [none]: # Fibre Channel Subnetmask [none]: # Gateway IP Address [10.0.0.1]: 10.10.20.1 # 交换机命名带上 Fabric 标识和序号,后面排障一眼能认出是哪一半 switchname FABA-48000-01

version放在最前面,是为了确认到货微码版本和交付清单是否一致,也顺便记下升级基线。switchshow在首配阶段能直接暴露哪些槽位认到了板卡、哪些端口是 No_Module,比事后翻日志快得多。ipaddrset是交互式命令,方括号里是当前值或缺省值,直接回车表示保持;光纤通道 IP 一般留空,管理走以太网口就够。switchname建议把 Fabric 归属写进去,后面做级联、做监控、看fabricshow输出时,名字混乱是最常见的误操作来源。

配完在跳板机上 ping 一下管理地址,能通再继续。通不了先查网线是不是插在 CP1 上而地址配在 CP0,这个坑每年都有人踩。

3.3 Domain ID 定在 5:两个 Fabric 可以同号,但要想好以后合不合并

Domain ID 是 fabric 内每台交换机的身份证,取值在 1–239 之间。手册里两个 Fabric 都选了 5,逻辑上没有问题:Fabric A 和 Fabric B 完全独立、互不相连,各自内部用一个不冲突的号就行,选 5 是为了避开分行已有交换机的号段。

# 进入交互式配置,只改 Domain ID 这一项,其余保持 configure # Fabric parameters (yes, y, no, n): no # Domain: (1..239) [1]: 5 # ... # 改完确认 fabricshow switchshow | head -5

configure是一次把所有 fabric 参数摊开给你看的命令,Domain ID 只是其中一项,其余项比如 PID format、R_A_TOV、ED_TOV、数据字段大小,除非有明确依据,否则不要顺手改。fabricshow输出里会列出 fabric 内所有成员及其 Domain ID,改完必须在这里看到自己期望的值,才算落地。

血泪经验在这里:两个 Fabric 用同一个 Domain ID 在隔离状态下完全没问题,但哪天做迁移把两半接到一起,Domain ID 冲突会直接让 fabric merge 失败并隔离端口,现象是链路物理 up、逻辑不通。所以规划时要么给两个 Fabric 用不同号段,要么在变更评审里明确写上「禁止跨 Fabric 直连」。我现在的习惯是两个 Fabric 用不同号段,虽然多记一个数字,但省掉一次半夜排障。

4. 微码升级与端口分区:48 口板怎么横着切成三个区

首配完成、管理地址通了,接下来两件事决定了这套 SAN 是能用还是好用:微码版本是不是目标版本,以及端口分区有没有按业务意图切。微码升级属于有标准动作但没标准运气的事,端口分区则是纯设计活儿,切错一次,zoning 得全部重做。

4.1 微码升级前先备份,升级路径不要跳版本

48000 是双 CP 结构,微码下载过程会自动在两个 CP 之间交替,正常情况下业务不中断。但「正常情况」这四个字,是建立在升级前把退路准备好之上的:

# 升级前留证据:配置备份 + 支持日志,两个都要,缺一不可 configupload supportsave # 通过管理网走 FTP/TFTP 把目标微码推到交换机,交互式填入服务器信息 firmwaredownload # Server IP: 10.10.20.100 # User Name: fwupgrade # File Name: /fos/v6.x.x # Protocol (ftp, scp): ftp # 升完先核对两个 CP 的版本一致,再做一次 CP 切换确认备机可用 version hafailover

configupload把当前 zoning、别名、fabric 参数整份导出,这是真正的后悔药——升级失败或者配置回退时,一条configdownload就能把业务配置拉回来。supportsave收集的是日志和支持信息,出问题时厂商支持第一个要的就是它,别等到设备起不来才想起来没留。firmwaredownload的四个交互项里,文件名给的是目标微码的完整路径,协议按现场环境选,走 FTP 就填 ftp。

升级路径这条要单独说:FOS 不支持跨大版本直接跳,必须按发布说明给的中转版本逐级升,比如从较低版本升到目标版本,中间可能要先到一个过渡版本。手册没有写具体版本号,现场就以随设备交付的发布说明为准,别凭记忆操作。hafailover在升级完成后跑一次,是为了确认备 CP 接得上班,否则你以为的双冗余其实是单点。

注意:升级窗口内不要同时做任何 zoning 变更,两个变更叠在一起,出问题分不清是谁的责任。

4.2 端口分区按板卡横向切,别按槽位纵向切

48000 的端口板是纵向排列的,48 个端口一块板,密度大到肉眼数不过来。如果按「一块板给存储、一块板给主机」这种纵向思路切,表面上很整齐,实际上单板故障时整片存储或整片主机全部失联。手册里的做法是按板卡横向划分,每台交换机划成三个区域:级联端口区、主机端口区(含备份通道和存储通道)、存储阵列端口区,每个区尽量跨最大板卡,把扩容余量留在每个区里。

区域144 口配置占用承载流量扩容预留
存储阵列端口区Slot 3磁盘阵列前端端口板内剩余端口,扩容时同板加端口
主机端口区(备份通道)Slot 4备份服务器、磁带库链路板内剩余端口,与 Slot 7 主机区分开
主机端口区(存储通道)Slot 7生产主机 HBA 端口Slot 8 整块留空,192 口扩容时整板启用
级联端口区Slot 7 前段ISL 干线与刀片交换机级联按 trunk 组预留,8 端口一组

按这个切法的直接好处:Slot 3 那块板如果挂了,存储阵列还有另一个 Fabric 的路径可用,主机侧完全不受影响;Slot 7 上前段是级联、后段是主机,虽然同板,但 trunk 组和主机端口在物理位置上分开,故障域也被限制住了。做端口分配表的时候,把每个端口的用途、对端设备、所属区域写进表格,贴在机柜门内侧,比任何电子文档都管用。

提示:144 口配置留空 Slot 8,不只是为了好看,是因为扩容到 192 口时,新增的整块板正好补上主机通道区的缺口,不用重排已有分区和 zoning。

4.3 Zoning 命名与 Port Zoning 的取舍

Zoning 是 SAN 里最像玄学的一层:链路全绿、端口全 Online,主机就是不认 LUN,十次里有八次是 zone 没生效或者 zone 成员少写了一个。命名规则先定下来,后面才不会乱:

命名对象规则示例
别名 Alias设备角色 + 位置 + 端口号HBA_A11_P1、DMX1_SPA_P1
ZoneZONE_ + 主机标识 + 存储标识 + 端口ZONE_A11_DMX1_SPA
配置集 ConfigCFG_ + Fabric 标识CFG_FABRIC_A
# 别名先把 WWN 和人看得懂的命名绑起来,换卡只改别名,不动 zone alicreate "HBA_A11_P1", "10:00:00:00:c9:xx:xx:01" alicreate "DMX1_SPA_P1", "50:00:14:40:xx:xx:xx:0a" # zone 用别名成对创建,一对主机端口对一个存储端口,不要一对多乱配 zonecreate "ZONE_A11_DMX1_SPA", "HBA_A11_P1;DMX1_SPA_P1" # 配置集里加 zone,名字带 Fabric 标识,A/B 两半不混 cfgcreate "CFG_FABRIC_A", "ZONE_A11_DMX1_SPA" # 先存再启用,顺序反了掉电就丢配置 cfgsave cfgenable "CFG_FABRIC_A"

alicreate把 64 位 WWN 换成人能读的名字,这是后面所有操作可维护性的基础;WWN 抄错一位,zone 建得再对也不通,所以别名建完要用alishow对一遍。zonecreate的成员用分号分隔,一对主机端口对一个存储端口是最稳的粒度,同一个 zone 里塞多个主机容易出现互相可见的意外。cfgcreate只是把 zone 装进配置集,真正生效要靠cfgenable,而cfgsave必须在 enable 前后各做一次,防止配置只在内存里。

Port Zoning 和 WWN Zoning 的取舍,现场争论很多。手册给的 zoning 表用的是端口号形式(Domain ID 加端口,例如 5,32 和 5,40),优点是建起来快、和端口分配表一一对应,缺点是一旦 HBA 换卡或者线插错口,zone 立刻失效,而且换卡后新卡的 WWN 不会自动被认。我一般对生产主机用 WWN Zoning,对临时测试和刀片机箱内部端口用 Port Zoning,两类混用时把命名规则区分开,排障时一眼看得出是哪种。

5. 避坑与排查:Brocade 48000 现场最容易翻车的五处

手册把该写的都写了,但现场出问题时,症状和原因之间往往隔着好几层。下面这五条是装机过程中重复率最高的,按「现象 → 原因 → 解决」记下来,下次遇到能少绕半小时。

5.1 链路与硬件类的坑

现象一:加电后某个端口一直是 No_Light,换线也不亮。原因多半不在交换机,而在 SFP 没插到位或者端面脏。48000 的板卡端口密度高,SFP 插进去差半毫米卡扣没咬合,指示灯就是不亮;库存里翻出来的旧光纤端面有油污,光功率掉到阈值以下同样起不来。 解决:先sfpshow看该端口有没有识别到模块和收发光功率,再换一根确认好的跳线做对比,最后用清洁笔处理两端端面。三步都做过还是不亮,再怀疑端口本身,把业务切到同区备用端口上,别在现场反复插拔。

现象二:设备加电瞬间,同一路 PDU 上的其他设备跟着重启。原因是冲击电流。256 口配置需要最大 750VA,冲击电流最大 40A,和一堆设备挤在同一条 PDU 上,加电瞬间的电流冲击足以让 UPS 或 PDU 保护动作。 解决:两个电源模块接两路独立 PDU,加电时一路一路来,先合一路等风扇稳定再合第二路。机柜交付前把这台设备的功率和冲击电流写进配电表,别让后面的人再往上挂东西。

现象三:跨楼宇的长波链路怎么都起不来,端口一直 In_Sync 或 Laser_Flt。原因是速率和介质的匹配。手册明确写了 4 Gbit/sec 速率下只支持短波激光器,长波模块在 4G 下不工作。规划时按 4G 写的跨楼宇链路,现场必然卡在这一步。 解决:确认 SFP 型号和规划速率,跨楼宇场景把端口速率固定到 2G,或者在预算允许时改走楼内短波。端口速率可以用portCfgSpeed类命令固定,别指望自适应能救——自适应只会往下降,不会帮你判断为什么降。

5.2 配置与 Zoning 类的坑

现象四:两台交换机级联后,物理链路 up,但fabricshow里各看各的,端口状态显示隔离。原因是 fabric 参数不一致。Domain ID 冲突是最常见的一种,两个原本独立的 Fabric 用同一个 Domain ID 接在一起必然隔离;其次是 PID format、R_A_TOV、ED_TOV 这类参数两边不同,或者一边开了某个特性另一边没开。 解决:先在fabricshow输出里找隔离原因,再逐项比对两边的configure参数。Domain ID 冲突就改号,改完必须重启对应交换机才生效,这一点很多人漏掉,改完发现没变化就以为命令没执行。

现象五:zone 建好了,主机也能看到交换机端口,就是不认存储 LUN。原因通常有两个:一是cfgcreate之后没cfgenable,配置只躺在配置集里没生效;二是 zone 成员只写了主机侧,存储侧端口或者别名漏了,zone 的语义是「这些成员之间可见」,少一个就等于没配。 解决:用cfgactvshow看当前真正生效的配置是哪一个,再看zoneshow里该 zone 的成员是否完整。养成习惯:每次改完 zoning,cfgsave、cfgenable、cfgactvshow三条连着走,确认生效配置名和预期一致再离开机房。

6. 装完怎么验证:三条命令加一次真实的 I/O 观察

设备装完、配置生效,最危险的心态是「指示灯全绿就算完事」。48000 这种设备,端口 Online 只说明物理层通了,fabric 参数、zoning 生效状态、干线带宽、错误计数,每一项都可能是后面某次故障的伏笔。验证这一步我一般分两层:先用命令看状态,再用真实 I/O 看结果。

# 第一层:状态面,四条命令一轮扫完 switchshow # 端口状态、速率、是否带 trunk 标记 fabricshow # fabric 成员、Domain ID、是否隔离 islshow # 级联链路明细,确认每条 ISL 都在 trunkshow # 干线组带宽,确认合并后的总带宽符合预期 cfgactvshow # 当前生效的配置集名称 porterrshow # 逐端口错误计数,重点看 CRC 和 link failure

switchshow里端口状态应为 Online,速率列要和规划一致,带 trunk 的端口会有标记;porterrshow是黑匣子,新装环境里 CRC 错误计数应该接近零,如果某几个端口数字在涨,先查光纤和 SFP,别急着怀疑板卡。

检查项命令合格标准
端口状态switchshow规划内端口全部 Online,无异常 No_Light
Fabric 完整性fabricshow成员数量与规划一致,无隔离条目
级联链路islshow / trunkshowISL 全部 up,trunk 组带宽达到设计值
Zoning 生效cfgactvshow / zoneshow生效配置名正确,zone 成员完整
链路质量porterrshowCRC 与 link failure 计数不持续增长
配置留档configupload配置文件已导出到管理机并归档

第二层是真实 I/O。在主机侧确认多路径软件识别到两条独立路径,然后跑一次实际读写——不用多复杂,挂一个测试 LUN 做连续写,同时观察两个 Fabric 的端口流量是否都在动。如果只有一半在跑,说明另一条路径的 zone 或者多路径配置有问题,这时候发现,比业务上线后发现要便宜得多。

从那以后我每次装完 48000,不管工期多紧,都强制把configupload和supportsave各跑一遍、配置文件拷到管理机归档,再把porterrshow的错误计数拍张照存进实施记录。这套动作花不到十分钟,但真出事的时候,它就是那根能把你从机房拉回来的绳子。希望帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询