：從OS模塊到Zone配置完整拆解)
簡介這份博科Brocade Fabric交換機培訓文檔與操作手冊面向數(shù)據(jù)中心存儲網(wǎng)絡運維人員、SAN 初學者及需要備考相關認證的工程師幫助讀者系統(tǒng)掌握光纖交換機的日常運維與配置方法。資源共 1 個 PDF 文件壓縮包約 3.28MB內容以圖文講義形式呈現(xiàn)便于打印或離線查閱。文檔從 FC 交換機與以太網(wǎng)、FC 協(xié)議與 TCP/IP 協(xié)議的差異講起梳理 SFP、QSFP、Copper 等常見接口類型再逐步展開交換機基本配置、通道業(yè)務配置與案例演示涵蓋連接交換機、修改賬號密碼與管理地址、會話超時與 NTP 配置、switchname 修改、端口啟停以及 Zone、VSAN、Port Channel 的創(chuàng)建與激活。FAQ 部分還整理了 show system、show port、show flogi 等日常巡檢命令和日志收集排障思路。目前已有 1892 人學習適合希望快速上手博科交換機運維、對照實操查漏補缺的讀者。1. 博科光纖交換機運維實戰(zhàn)從 OS 模塊到 Zone 配置的完整拆解數(shù)據(jù)中心里跑 SAN 存儲網(wǎng)絡的兄弟大概率繞不開博科Brocade Fabric交換機。這套培訓文檔和操作手冊一共 25 頁覆蓋了博科交換機 OS 功能模塊、基本管理配置、光纖通道業(yè)務配置、級聯(lián)案例演示和日常巡檢 FAQ是一份從零上手到能獨立做 Zone 變更的實操材料。它解決的核心問題是當你面對一臺博科光纖交換機知道怎么連上去、怎么改配置、怎么劃 Zone、怎么驗證 FC 通信、出問題了看哪些命令。適合剛接觸 SAN 存儲網(wǎng)絡的運維工程師也適合從以太網(wǎng)交換機轉過來、需要快速理解 FC 協(xié)議差異的從業(yè)者。下面按“是什么→怎么用→坑在哪”的節(jié)奏把這份文檔拆開講透。2. 博科 OS 功能模塊與 FC 協(xié)議為什么它跟以太網(wǎng)交換機不是一回事2.1 FC 交換機與以太網(wǎng)交換機的本質差異很多人第一次碰博科光纖交換機會下意識拿華為、思科以太網(wǎng)交換機那套經(jīng)驗往上套結果發(fā)現(xiàn)命令體系、業(yè)務邏輯完全對不上。根本原因在于 FC 和以太網(wǎng)是兩套設計哲學。從技術層面看FC 交換機使用光纖作為傳輸介質基于 FC 協(xié)議棧專門為存儲流量設計以太網(wǎng)交換機可以用雙絞線或光纖跑 TCP/IP 協(xié)議棧面向通用數(shù)據(jù)通信。可靠性方面FC 協(xié)議在鏈路層就做了端到端 CRC 校驗和序列管理以太網(wǎng)則把可靠性交給上層 TCP 去保證。速率上博科交換機常見 8G、16G、32G FC 端口跟以太網(wǎng)的 1G/10G/25G 不是同一個演進路線。應用場景的差異更明顯FC 交換機用來構建 SAN承載的是塊級存儲流量對時延和丟包極其敏感以太網(wǎng)交換機跑的是文件級或應用級流量容忍度更高。所以博科交換機的 Zone 配置、別名管理、級聯(lián)授權這些概念在以太網(wǎng)世界里沒有直接對應物。2.2 FC 協(xié)議棧與 TCP/IP 協(xié)議棧的關鍵區(qū)別這份文檔里有一段很關鍵的對比值得單獨拎出來說。TCP/IP 協(xié)議棧運行在主機端內核中需要耗費主機 CPU 來運算。以太網(wǎng)卡每收到一個幀都要送到主機 TCP/IP 協(xié)議棧由 CPU 做 IP 地址分析、TCP 層數(shù)據(jù)段定界、校驗、檢測重傳、包拼接這一系列操作全是 CPU 在跑代碼。而 FC/SAS 的下四層全部在 FC/SAS 控制器的硬件電路或固件里完成。傳送到主機內存的數(shù)據(jù)直接就是 FC/SAS 包里包含的上層 Payload。這意味著 FC 對主機 CPU 的耗費極小時延也更低。TCP/IP 的話每個以太網(wǎng)幀被拷貝到主機內存再經(jīng)過 CPU 逐層處理整個流程時延更高中間還有多次內存拷貝。這個差異直接決定了FC 適合對時延敏感的存儲場景而 iSCSI 這類基于以太網(wǎng)的存儲方案在主機側的開銷天然比 FC 大。文檔還延伸提到了 FCIP 網(wǎng)關就是把 FC 協(xié)議與 IP 協(xié)議融合的方案用于遠距離 FC 互聯(lián)。2.3 博科 OS 的七大功能模塊博科交換機 OS 不是單一進程而是由多個服務模塊組成。文檔列出了七個核心模塊模塊名稱功能說明登錄服務提供與其它交換機節(jié)點或服務交換數(shù)據(jù)的接口目錄服務名稱服務器提供節(jié)點注冊、查詢和發(fā)現(xiàn)其它設備的功能光纖控制器服務提供節(jié)點的狀態(tài)變更時間服務保持時間同步管理服務用戶可配置管理的唯一服務提供基本配置和通道業(yè)務配置別名服務通過管理服務管理提供節(jié)點名稱注冊和分組廣播服務發(fā)到這個地址的會廣播出去理解這些模塊的意義在于當你執(zhí)行alishow、zoneshow、switchshow這些命令時背后對應的是不同服務模塊在響應。比如別名服務掛了alicreate就會失敗目錄服務異常fabricshow可能看不到級聯(lián)成員。2.4 常見接口類型與連接方式博科交換機常見接口包括 SFP 和 QSFP分別對應 10G/16G 和 40G/更高帶寬的光纖鏈路。短距離場景也有 Copper 接口用雙絞線做低成本連接。連接交換機有三種方式Serial 串口連接、管理口連接、SSH/Web 方式。管理口默認地址是10.77.77.77默認賬戶密碼是admin/password。Web 方式訪問https://172.16.254.73時Brocade G6510 需要裝 JAVA 7Brocade G620 需要 JAVA 8。這個 JAVA 版本坑后面會細說。3. 交換機基本配置從連上去到改完管理地址3.1 連接交換機與修改賬號密碼第一次拿到一臺博科交換機最穩(wěn)妥的方式是串口連接。用 Console 線接上波特率一般 9600就能進 CLI。如果管理口已經(jīng)配好也可以直接 SSH。連上去之后第一件事是改密碼# 修改當前用戶密碼 passwd # 修改指定用戶密碼 passwd [username]passwd不帶參數(shù)改的是當前登錄賬戶帶用戶名則改指定賬戶。博科默認密碼是password生產(chǎn)環(huán)境必須改掉這是基本安全要求。3.2 修改管理地址與時間服務器管理地址用ipaddrset命令即刻生效# 進入 IP 配置模式按提示輸入新地址 ipaddrset # 查看當前管理接口地址 ipaddrshowipaddrset是交互式的會依次問你以太網(wǎng) IP、子網(wǎng)掩碼、網(wǎng)關。改完立刻生效不需要重啟。這里有個坑如果你是通過 SSH 連的改完 IP 當前會話會斷得用新地址重連。時間服務器配置用tsclockserver# 配置 NTP 時間服務器 tsclockserver 10.31.255.254 # 查看當前時間服務器配置 tsclockserver時間同步對 SAN 網(wǎng)絡很重要因為 Zone 配置變更、日志記錄都依賴時間戳。如果多臺交換機時間不一致排障時日志對不上會很頭疼。會話超時用timeout命令# 設置會話超時時間為 30 分鐘 timeout 30 # 值為 0 表示無限制 timeout 0生產(chǎn)環(huán)境不建議設 0無限制會話容易被遺忘的終端占著存在安全風險。3.3 修改 switchname 與禁用啟用操作交換機名稱用switchname改# 修改交換機名稱 switchname [newname]名稱在 Fabric 內要唯一級聯(lián)時如果兩臺交換機重名會出問題。禁用和啟用交換機、端口# 禁用整個交換機 switchdisable # 啟用整個交換機 switchenable # 禁用指定端口 portdisable 端口號 # 啟用指定端口 portenable 端口號關閉交換機用sysshutdown# 安全關閉交換機 sysshutdown注意sysshutdown是安全關機會先停業(yè)務再斷電。直接拔電源是血淚教訓可能導致配置文件損壞。3.4 查詢基本信息日常巡檢必用命令文檔里列了一大批查詢命令我按使用頻率和重要性整理成表命令用途重要程度clihistory查詢歷史命令中ipaddrshow查詢管理接口地址高uptime顯示系統(tǒng)運行時間中alishow顯示設備別名信息高cfgactvshow查看已生效的配置文件高chassisShow查看主板信息低configshow查看系統(tǒng)參數(shù)配置中dlsShow查看負載均衡配置中fabricShow查看級聯(lián)交換機成員高fabStatsShow查看系統(tǒng)統(tǒng)計信息中fanshow查看風扇狀態(tài)高memshow查看內存使用中portbuffershow查看端口緩存高portcfgshow查看端口配置高porterrshow查看端口傳輸錯誤概覽高sfpshow 端口號查看光功率/光衰高portperfshow查看端口吞吐量高portshow查看端口狀態(tài)和配置高supportshow查看故障排除詳細信息高switchshow查看交換機和端口狀態(tài)高zoneshow查看已生效和已定義的 zone高其中porterrshow有個關鍵判斷邏輯如果Enc_Out報錯單獨產(chǎn)生很可能是光纖線問題如果Enc_Out和Crc_Err一起產(chǎn)生很大可能是 GBIC/SFP 問題。sfpshow看光功率大于 398uw 為正常值。supportshow是排障時的黑匣子輸出信息量極大一般收集日志時直接跑這個把輸出保存下來給廠商分析。4. 通道業(yè)務配置Zone 創(chuàng)建、修改與生效的完整流程4.1 新建配置文件、別名和 Zone通道業(yè)務配置是博科交換機最核心的日常操作。整個邏輯鏈條是先建配置文件cfg再建別名alias再建 Zone把 Zone 加到配置文件里保存生效。新建配置文件# 新建一個空的配置文件 cfgCreate xxxxxxj_idc # 新建配置文件并同時加入一個 zone cfgCreate xxxxxxj_idc,zonename新建別名# 創(chuàng)建單個成員的別名 AliCreate HyLocal_ESXi112222_p1,51:40:2E:c0:15:54:F5:14 # 創(chuàng)建多成員別名成員用分號分隔 Alicreate H3C_C650_1,member1;member2;member3別名的作用是給 WWN 起個人能看懂的名字。WWN 是 16 位十六進制直接記根本不現(xiàn)實。別名可以按主機名、端口、用途來命名比如HyLocal_ESXi112222_p1一看就是某臺 ESXi 主機的第一個端口。新建 Zone# 創(chuàng)建 zone成員可以是 Domain,Port、WWN 或 Alias zonecreate testzonename, zonemember1;zonemember2;zoneZone 成員有三種寫法Domain,Port格式、直接寫 WWN、或者引用別名。推薦用別名可讀性好后續(xù)維護方便。4.2 將 Zone 加入配置文件并生效Zone 建好不會自動生效必須加到配置文件里再保存、啟用# 將 zone 添加到配置文件 cfgAdd xxxxxxj_idc, testzonename # 保存自定義配置 cfgsave # 生效配置文件 cfgEnable testzonename這里有個關鍵限制同時只能有一個配置文件生效。cfgEnable的時候如果已有其他配置文件在生效狀態(tài)會切換過去。cfgsave和cfgEnable的區(qū)別要搞清楚cfgsave是把配置寫入非易失存儲cfgEnable是讓配置在 Fabric 內生效。只 save 不 enable配置不會起作用只 enable 不 save重啟后配置丟失。4.3 重命名、增加成員、移除成員重命名別名和 Zone# 重命名 zone zoneObjectRename testzonename, newzonename # 重命名別名 zoneObjectRename HyLocal_ESXi112222_p1, newalinamezoneObjectRename也適用于 cfg 重命名。重命名后需要cfgsave和cfgEnable來使修改生效。文檔里特別提了一個問題重命名別名后相應的 zone 信息會不會跟著變更答案是會。因為 zone 里引用的是別名別名改名后 zone 里的引用自動更新。增加和移除成員# 別名增加成員 aliadd aliName, member[; member...] # Zone 增加成員 zoneadd zoneName, member[;member...] # 別名移除成員 aliremove aliName, member[; member...] # Zone 移除成員 zoneremove zonename, member[;member...]文檔里留了一個思考題如果一個 alias 中只有一個成員且這個成員 WWN 錯誤如何修改最便捷常見做法是直接用zoneobjectreplace替換而不是先刪再加。4.4 替換與刪除操作替換別名和 Zone 成員# 替換 zone 成員 zoneobjectreplace oldZonemember newZonemember # 替換別名成員 zoneobjectreplace oldAliasmember newAliasmember刪除操作# 刪除別名 alidelete aliname # 刪除 zone zonedelete zonename # 刪除配置文件 cfgdelete cfgname注意以上命令都需要cfgsave和cfgEnable來寫入非易失存儲并生效。刪除是全局刪除不是只刪除當前配置文件里的 zone 或 alias。但大多數(shù)時候一個 zone 只存在于一個配置文件里所以實際影響不大。5. 級聯(lián)配置與案例演示Domain ID 沖突、Trunk 口和長距離參數(shù)5.1 FC 交換機級聯(lián)配置流程級聯(lián)是把兩臺 FC 交換機連起來擴展 Fabric。文檔里的案例演示了完整流程。第一步是基本配置管理地址、switchname 這些按前面章節(jié)操作。第二步是添加級聯(lián)授權# 添加 license licenseadd XXXXXXXX # 查看級聯(lián) license licenseshow # 查看交換機狀態(tài) switchshow級聯(lián) License 是必須的無論距離長短兩臺交換機連接都需要購買級聯(lián)授權。EF LicenseExtended Fabric是遠距離連接授權超過 10Km 就需要。第三步是修改 Domain ID。光纖交換機默認 Domain ID 均為 1級聯(lián)前必須將其中一臺改為其他值否則會沖突。操作步驟# 禁用交換機 switchdisable # 進入配置模式 configure # 在 Fabric parameters 提示處輸入 y # 在 Domain ID 處輸入唯一域 ID范圍 1 到 239 # 重新啟用交換機 switchenableDomain ID 沖突是級聯(lián)翻車的高頻原因。兩臺都是默認 1連上線后 Fabric 直接分裂業(yè)務中斷。第四步是配置 Trunk 口# 配置 trunk 口 portcfgtrunkport 端口號 # 查看端口緩存 portbuffershow第五步是配置長距離參數(shù)# 手動模式LS 模式距離 63 portcfglongdistance 47 LS 1 -distance 63 # 自動模式LD 模式距離 10 portcfglongdistance 47 LD 1 -distance 10LD 是自動遠距離連接模式buffer 值會根據(jù)連接速率和距離自動分配支持最大 500km 的 1Gbps。第六步是關閉 FEC# 關閉 FEC portcfgfec --disable -FEC 47 # 永久啟用端口 portcfgpersistentenable 47第七步是查看級聯(lián)狀態(tài)# 查看級聯(lián)狀態(tài) islshow fabricshow switchshow如果級聯(lián)成功端口狀態(tài)會變成 E-Port主交換機后面標有 (UPstream)下級交換機顯示 (downstream)。5.2 驗證 FC 通信與測試傳輸帶寬級聯(lián)配好后要驗證通信# FC ping源 WWN 到目的 WWN fcping 源wwn 目的wwn # 只 ping 目的 WWN增加 ping 包數(shù)量 fcping --number 5000 wwnfcping類似 IP 網(wǎng)絡的 ping用來驗證 FC 鏈路連通性。--number參數(shù)指定 ping 包數(shù)量默認可能只有幾個加大數(shù)量能更好觀察丟包情況。測試傳輸帶寬# 在 C650-1 上啟動服務器端 checkrclink serverstart 2:4:1 # 在 C650-2 上測試連接帶寬 checkrclink startclient 3:4:1 fe80::2341:2:ac02:6523 60checkrclink是博科自帶的鏈路測試工具serverstart 在一邊起服務端startclient 在另一邊發(fā)起測試最后的 60 是測試時長秒。5.3 SNMP 監(jiān)控配置文檔提到 SNMP 監(jiān)控配置這是把博科交換機接入現(xiàn)有監(jiān)控體系的關鍵。常見做法是配置 SNMP 團體名和 trap 接收地址讓交換機把端口狀態(tài)變化、錯誤計數(shù)等上報到監(jiān)控平臺。具體命令文檔里沒展開但一般用snmpconfig系列命令設置snmpconfig --set snmpv1或snmpv3再配snmpconfig --set traphost。6. 避坑與排查博科交換機日常運維的五個血淚教訓6.1 坑一Web 管理頁面打不開JAVA 版本不對現(xiàn)象瀏覽器訪問https://172.16.254.73頁面加載失敗或功能按鈕點不動。原因博科 Web 管理工具依賴 JAVA 插件不同型號要求的 JAVA 版本不同。Brocade G6510 需要 JAVA 7Brocade G620 需要 JAVA 8。裝錯版本或者系統(tǒng)里同時有多個 JAVA 版本就會出問題。解決確認交換機型號裝對應 JAVA 版本。如果已經(jīng)裝了多個版本在 JAVA 控制面板里把對應版本設為默認。生產(chǎn)環(huán)境更推薦用 SSHWeb 方式只做臨時查看。6.2 坑二級聯(lián)后 Fabric 分裂Domain ID 沖突現(xiàn)象兩臺交換機級聯(lián)fabricshow看不到對方或者看到兩個獨立 Fabric。原因兩臺交換機 Domain ID 都是默認值 1級聯(lián)后沖突。解決級聯(lián)前先把其中一臺的 Domain ID 改掉。按 5.1 節(jié)的步驟switchdisable→configure→ 改 Domain ID →switchenable。改完再連線。6.3 坑三Zone 配置改了不生效忘了 cfgsave 或 cfgEnable現(xiàn)象zonecreate、cfgadd都執(zhí)行成功了但業(yè)務還是不通。原因配置只在內存里沒保存到非易失存儲或者沒在 Fabric 內生效。解決每次改完 Zone 相關配置必須執(zhí)行cfgsave和cfgEnable。養(yǎng)成習慣改完就 save確認無誤再 enable。cfgactvshow可以查看當前生效的配置跟zoneshow對比能發(fā)現(xiàn)差異。6.4 坑四端口報錯分不清是線的問題還是 SFP 的問題現(xiàn)象porterrshow看到Enc_Out或Crc_Err計數(shù)增長業(yè)務時斷時續(xù)。原因光纖線纜故障或 SFP 光模塊故障都會導致端口錯誤。解決文檔給了明確判斷邏輯——Enc_Out單獨產(chǎn)生很可能是光纖線問題Enc_Out和Crc_Err一起產(chǎn)生很大可能是 GBIC/SFP 問題。再用sfpshow 端口號看光功率大于 398uw 為正常。光功率偏低先換線換線無效再換 SFP。6.5 坑五sysshutdown 之前沒確認業(yè)務已?，F(xiàn)象執(zhí)行sysshutdown后主機側存儲鏈路斷開業(yè)務受影響。原因sysshutdown是安全關機但不會幫你判斷業(yè)務是否已經(jīng)切換或停止。解決關機前先確認主機側多路徑軟件已經(jīng)把流量切到其他路徑或者業(yè)務已經(jīng)停止。switchshow看端口狀態(tài)fabricshow看級聯(lián)成員確認沒有單點依賴后再關機。直接拔電源更是大忌可能導致配置文件損壞下次開機配置丟失。7. 日常巡檢與日志收集把排障前置成例行操作日常巡檢是博科交換機運維里最容易被忽視、但收益最高的環(huán)節(jié)。文檔 FAQ 部分列了巡檢命令和日志收集方法我結合自己的習慣補充一下。巡檢的核心命令組合是switchshow看整體狀態(tài)porterrshow看錯誤計數(shù)sfpshow看光功率fanshow看風扇memshow看內存fabricshow看級聯(lián)。這六個命令跑一遍基本能覆蓋 80% 的潛在問題。我一般會把這些命令的輸出定期保存下來跟上次對比。比如porterrshow的錯誤計數(shù)如果某個端口Crc_Err從 0 漲到幾百即使業(yè)務還沒斷也要提前查線查 SFP。等業(yè)務斷了再查就是事故了。日志收集用supportshow這個命令輸出信息量極大包含交換機所有關鍵狀態(tài)。排障時直接跑supportshow把輸出重定向到文件# 收集 supportshow 輸出到文件 supportshow /tmp/supportshow_$(date %Y%m%d).txt如果交換機支持 FTP 或 SCP可以把文件傳出來。文檔里提到收集交換機排障日志信息常見做法就是supportshow加errshow、portlogshow這些命令的組合。還有一個容易被忽略的點clihistory可以看歷史命令。多人運維同一臺交換機時出問題后查clihistory能快速定位是誰在什么時候改了什么。這個習慣我是在一次 Zone 誤刪事故后養(yǎng)成的從那以后每次上機操作前先clihistory看一眼操作完再確認一遍。驗證 Zone 配置是否正確的終極方法是fcping。配完 Zone別急著說搞定了用fcping從源 WWN ping 目的 WWN通了才算數(shù)。fcping --number 5000加大包量能發(fā)現(xiàn)偶發(fā)丟包。這個步驟我每次 Zone 變更后都強制走一遍寧可多花兩分鐘也不想半夜被業(yè)務電話叫醒。希望幫到你。本文還有配套的精品資源點擊獲取 博科光纖交換機運維實戰(zhàn)：從OS模塊到Zone配置完整拆解
簡介這份博科Brocade Fabric交換機培訓文檔與操作手冊面向數(shù)據(jù)中心存儲網(wǎng)絡運維人員、SAN 初學者及需要備考相關認證的工程師幫助讀者系統(tǒng)掌握光纖交換機的日常運維與配置方法。資源共 1 個 PDF 文件壓縮包約 3.28MB內容以圖文講義形式呈現(xiàn)便于打印或離線查閱。文檔從 FC 交換機與以太網(wǎng)、FC 協(xié)議與 TCP/IP 協(xié)議的差異講起梳理 SFP、QSFP、Copper 等常見接口類型再逐步展開交換機基本配置、通道業(yè)務配置與案例演示涵蓋連接交換機、修改賬號密碼與管理地址、會話超時與 NTP 配置、switchname 修改、端口啟停以及 Zone、VSAN、Port Channel 的創(chuàng)建與激活。FAQ 部分還整理了 show system、show port、show flogi 等日常巡檢命令和日志收集排障思路。目前已有 1892 人學習適合希望快速上手博科交換機運維、對照實操查漏補缺的讀者。1. 博科光纖交換機運維實戰(zhàn)從 OS 模塊到 Zone 配置的完整拆解數(shù)據(jù)中心里跑 SAN 存儲網(wǎng)絡的兄弟大概率繞不開博科Brocade Fabric交換機。這套培訓文檔和操作手冊一共 25 頁覆蓋了博科交換機 OS 功能模塊、基本管理配置、光纖通道業(yè)務配置、級聯(lián)案例演示和日常巡檢 FAQ是一份從零上手到能獨立做 Zone 變更的實操材料。它解決的核心問題是當你面對一臺博科光纖交換機知道怎么連上去、怎么改配置、怎么劃 Zone、怎么驗證 FC 通信、出問題了看哪些命令。適合剛接觸 SAN 存儲網(wǎng)絡的運維工程師也適合從以太網(wǎng)交換機轉過來、需要快速理解 FC 協(xié)議差異的從業(yè)者。下面按“是什么→怎么用→坑在哪”的節(jié)奏把這份文檔拆開講透。2. 博科 OS 功能模塊與 FC 協(xié)議為什么它跟以太網(wǎng)交換機不是一回事2.1 FC 交換機與以太網(wǎng)交換機的本質差異很多人第一次碰博科光纖交換機會下意識拿華為、思科以太網(wǎng)交換機那套經(jīng)驗往上套結果發(fā)現(xiàn)命令體系、業(yè)務邏輯完全對不上。根本原因在于 FC 和以太網(wǎng)是兩套設計哲學。從技術層面看FC 交換機使用光纖作為傳輸介質基于 FC 協(xié)議棧專門為存儲流量設計以太網(wǎng)交換機可以用雙絞線或光纖跑 TCP/IP 協(xié)議棧面向通用數(shù)據(jù)通信。可靠性方面FC 協(xié)議在鏈路層就做了端到端 CRC 校驗和序列管理以太網(wǎng)則把可靠性交給上層 TCP 去保證。速率上博科交換機常見 8G、16G、32G FC 端口跟以太網(wǎng)的 1G/10G/25G 不是同一個演進路線。應用場景的差異更明顯FC 交換機用來構建 SAN承載的是塊級存儲流量對時延和丟包極其敏感以太網(wǎng)交換機跑的是文件級或應用級流量容忍度更高。所以博科交換機的 Zone 配置、別名管理、級聯(lián)授權這些概念在以太網(wǎng)世界里沒有直接對應物。2.2 FC 協(xié)議棧與 TCP/IP 協(xié)議棧的關鍵區(qū)別這份文檔里有一段很關鍵的對比值得單獨拎出來說。TCP/IP 協(xié)議棧運行在主機端內核中需要耗費主機 CPU 來運算。以太網(wǎng)卡每收到一個幀都要送到主機 TCP/IP 協(xié)議棧由 CPU 做 IP 地址分析、TCP 層數(shù)據(jù)段定界、校驗、檢測重傳、包拼接這一系列操作全是 CPU 在跑代碼。而 FC/SAS 的下四層全部在 FC/SAS 控制器的硬件電路或固件里完成。傳送到主機內存的數(shù)據(jù)直接就是 FC/SAS 包里包含的上層 Payload。這意味著 FC 對主機 CPU 的耗費極小時延也更低。TCP/IP 的話每個以太網(wǎng)幀被拷貝到主機內存再經(jīng)過 CPU 逐層處理整個流程時延更高中間還有多次內存拷貝。這個差異直接決定了FC 適合對時延敏感的存儲場景而 iSCSI 這類基于以太網(wǎng)的存儲方案在主機側的開銷天然比 FC 大。文檔還延伸提到了 FCIP 網(wǎng)關就是把 FC 協(xié)議與 IP 協(xié)議融合的方案用于遠距離 FC 互聯(lián)。2.3 博科 OS 的七大功能模塊博科交換機 OS 不是單一進程而是由多個服務模塊組成。文檔列出了七個核心模塊模塊名稱功能說明登錄服務提供與其它交換機節(jié)點或服務交換數(shù)據(jù)的接口目錄服務名稱服務器提供節(jié)點注冊、查詢和發(fā)現(xiàn)其它設備的功能光纖控制器服務提供節(jié)點的狀態(tài)變更時間服務保持時間同步管理服務用戶可配置管理的唯一服務提供基本配置和通道業(yè)務配置別名服務通過管理服務管理提供節(jié)點名稱注冊和分組廣播服務發(fā)到這個地址的會廣播出去理解這些模塊的意義在于當你執(zhí)行alishow、zoneshow、switchshow這些命令時背后對應的是不同服務模塊在響應。比如別名服務掛了alicreate就會失敗目錄服務異常fabricshow可能看不到級聯(lián)成員。2.4 常見接口類型與連接方式博科交換機常見接口包括 SFP 和 QSFP分別對應 10G/16G 和 40G/更高帶寬的光纖鏈路。短距離場景也有 Copper 接口用雙絞線做低成本連接。連接交換機有三種方式Serial 串口連接、管理口連接、SSH/Web 方式。管理口默認地址是10.77.77.77默認賬戶密碼是admin/password。Web 方式訪問https://172.16.254.73時Brocade G6510 需要裝 JAVA 7Brocade G620 需要 JAVA 8。這個 JAVA 版本坑后面會細說。3. 交換機基本配置從連上去到改完管理地址3.1 連接交換機與修改賬號密碼第一次拿到一臺博科交換機最穩(wěn)妥的方式是串口連接。用 Console 線接上波特率一般 9600就能進 CLI。如果管理口已經(jīng)配好也可以直接 SSH。連上去之后第一件事是改密碼# 修改當前用戶密碼 passwd # 修改指定用戶密碼 passwd [username]passwd不帶參數(shù)改的是當前登錄賬戶帶用戶名則改指定賬戶。博科默認密碼是password生產(chǎn)環(huán)境必須改掉這是基本安全要求。3.2 修改管理地址與時間服務器管理地址用ipaddrset命令即刻生效# 進入 IP 配置模式按提示輸入新地址 ipaddrset # 查看當前管理接口地址 ipaddrshowipaddrset是交互式的會依次問你以太網(wǎng) IP、子網(wǎng)掩碼、網(wǎng)關。改完立刻生效不需要重啟。這里有個坑如果你是通過 SSH 連的改完 IP 當前會話會斷得用新地址重連。時間服務器配置用tsclockserver# 配置 NTP 時間服務器 tsclockserver 10.31.255.254 # 查看當前時間服務器配置 tsclockserver時間同步對 SAN 網(wǎng)絡很重要因為 Zone 配置變更、日志記錄都依賴時間戳。如果多臺交換機時間不一致排障時日志對不上會很頭疼。會話超時用timeout命令# 設置會話超時時間為 30 分鐘 timeout 30 # 值為 0 表示無限制 timeout 0生產(chǎn)環(huán)境不建議設 0無限制會話容易被遺忘的終端占著存在安全風險。3.3 修改 switchname 與禁用啟用操作交換機名稱用switchname改# 修改交換機名稱 switchname [newname]名稱在 Fabric 內要唯一級聯(lián)時如果兩臺交換機重名會出問題。禁用和啟用交換機、端口# 禁用整個交換機 switchdisable # 啟用整個交換機 switchenable # 禁用指定端口 portdisable 端口號 # 啟用指定端口 portenable 端口號關閉交換機用sysshutdown# 安全關閉交換機 sysshutdown注意sysshutdown是安全關機會先停業(yè)務再斷電。直接拔電源是血淚教訓可能導致配置文件損壞。3.4 查詢基本信息日常巡檢必用命令文檔里列了一大批查詢命令我按使用頻率和重要性整理成表命令用途重要程度clihistory查詢歷史命令中ipaddrshow查詢管理接口地址高uptime顯示系統(tǒng)運行時間中alishow顯示設備別名信息高cfgactvshow查看已生效的配置文件高chassisShow查看主板信息低configshow查看系統(tǒng)參數(shù)配置中dlsShow查看負載均衡配置中fabricShow查看級聯(lián)交換機成員高fabStatsShow查看系統(tǒng)統(tǒng)計信息中fanshow查看風扇狀態(tài)高memshow查看內存使用中portbuffershow查看端口緩存高portcfgshow查看端口配置高porterrshow查看端口傳輸錯誤概覽高sfpshow 端口號查看光功率/光衰高portperfshow查看端口吞吐量高portshow查看端口狀態(tài)和配置高supportshow查看故障排除詳細信息高switchshow查看交換機和端口狀態(tài)高zoneshow查看已生效和已定義的 zone高其中porterrshow有個關鍵判斷邏輯如果Enc_Out報錯單獨產(chǎn)生很可能是光纖線問題如果Enc_Out和Crc_Err一起產(chǎn)生很大可能是 GBIC/SFP 問題。sfpshow看光功率大于 398uw 為正常值。supportshow是排障時的黑匣子輸出信息量極大一般收集日志時直接跑這個把輸出保存下來給廠商分析。4. 通道業(yè)務配置Zone 創(chuàng)建、修改與生效的完整流程4.1 新建配置文件、別名和 Zone通道業(yè)務配置是博科交換機最核心的日常操作。整個邏輯鏈條是先建配置文件cfg再建別名alias再建 Zone把 Zone 加到配置文件里保存生效。新建配置文件# 新建一個空的配置文件 cfgCreate xxxxxxj_idc # 新建配置文件并同時加入一個 zone cfgCreate xxxxxxj_idc,zonename新建別名# 創(chuàng)建單個成員的別名 AliCreate HyLocal_ESXi112222_p1,51:40:2E:c0:15:54:F5:14 # 創(chuàng)建多成員別名成員用分號分隔 Alicreate H3C_C650_1,member1;member2;member3別名的作用是給 WWN 起個人能看懂的名字。WWN 是 16 位十六進制直接記根本不現(xiàn)實。別名可以按主機名、端口、用途來命名比如HyLocal_ESXi112222_p1一看就是某臺 ESXi 主機的第一個端口。新建 Zone# 創(chuàng)建 zone成員可以是 Domain,Port、WWN 或 Alias zonecreate testzonename, zonemember1;zonemember2;zoneZone 成員有三種寫法Domain,Port格式、直接寫 WWN、或者引用別名。推薦用別名可讀性好后續(xù)維護方便。4.2 將 Zone 加入配置文件并生效Zone 建好不會自動生效必須加到配置文件里再保存、啟用# 將 zone 添加到配置文件 cfgAdd xxxxxxj_idc, testzonename # 保存自定義配置 cfgsave # 生效配置文件 cfgEnable testzonename這里有個關鍵限制同時只能有一個配置文件生效。cfgEnable的時候如果已有其他配置文件在生效狀態(tài)會切換過去。cfgsave和cfgEnable的區(qū)別要搞清楚cfgsave是把配置寫入非易失存儲cfgEnable是讓配置在 Fabric 內生效。只 save 不 enable配置不會起作用只 enable 不 save重啟后配置丟失。4.3 重命名、增加成員、移除成員重命名別名和 Zone# 重命名 zone zoneObjectRename testzonename, newzonename # 重命名別名 zoneObjectRename HyLocal_ESXi112222_p1, newalinamezoneObjectRename也適用于 cfg 重命名。重命名后需要cfgsave和cfgEnable來使修改生效。文檔里特別提了一個問題重命名別名后相應的 zone 信息會不會跟著變更答案是會。因為 zone 里引用的是別名別名改名后 zone 里的引用自動更新。增加和移除成員# 別名增加成員 aliadd aliName, member[; member...] # Zone 增加成員 zoneadd zoneName, member[;member...] # 別名移除成員 aliremove aliName, member[; member...] # Zone 移除成員 zoneremove zonename, member[;member...]文檔里留了一個思考題如果一個 alias 中只有一個成員且這個成員 WWN 錯誤如何修改最便捷常見做法是直接用zoneobjectreplace替換而不是先刪再加。4.4 替換與刪除操作替換別名和 Zone 成員# 替換 zone 成員 zoneobjectreplace oldZonemember newZonemember # 替換別名成員 zoneobjectreplace oldAliasmember newAliasmember刪除操作# 刪除別名 alidelete aliname # 刪除 zone zonedelete zonename # 刪除配置文件 cfgdelete cfgname注意以上命令都需要cfgsave和cfgEnable來寫入非易失存儲并生效。刪除是全局刪除不是只刪除當前配置文件里的 zone 或 alias。但大多數(shù)時候一個 zone 只存在于一個配置文件里所以實際影響不大。5. 級聯(lián)配置與案例演示Domain ID 沖突、Trunk 口和長距離參數(shù)5.1 FC 交換機級聯(lián)配置流程級聯(lián)是把兩臺 FC 交換機連起來擴展 Fabric。文檔里的案例演示了完整流程。第一步是基本配置管理地址、switchname 這些按前面章節(jié)操作。第二步是添加級聯(lián)授權# 添加 license licenseadd XXXXXXXX # 查看級聯(lián) license licenseshow # 查看交換機狀態(tài) switchshow級聯(lián) License 是必須的無論距離長短兩臺交換機連接都需要購買級聯(lián)授權。EF LicenseExtended Fabric是遠距離連接授權超過 10Km 就需要。第三步是修改 Domain ID。光纖交換機默認 Domain ID 均為 1級聯(lián)前必須將其中一臺改為其他值否則會沖突。操作步驟# 禁用交換機 switchdisable # 進入配置模式 configure # 在 Fabric parameters 提示處輸入 y # 在 Domain ID 處輸入唯一域 ID范圍 1 到 239 # 重新啟用交換機 switchenableDomain ID 沖突是級聯(lián)翻車的高頻原因。兩臺都是默認 1連上線后 Fabric 直接分裂業(yè)務中斷。第四步是配置 Trunk 口# 配置 trunk 口 portcfgtrunkport 端口號 # 查看端口緩存 portbuffershow第五步是配置長距離參數(shù)# 手動模式LS 模式距離 63 portcfglongdistance 47 LS 1 -distance 63 # 自動模式LD 模式距離 10 portcfglongdistance 47 LD 1 -distance 10LD 是自動遠距離連接模式buffer 值會根據(jù)連接速率和距離自動分配支持最大 500km 的 1Gbps。第六步是關閉 FEC# 關閉 FEC portcfgfec --disable -FEC 47 # 永久啟用端口 portcfgpersistentenable 47第七步是查看級聯(lián)狀態(tài)# 查看級聯(lián)狀態(tài) islshow fabricshow switchshow如果級聯(lián)成功端口狀態(tài)會變成 E-Port主交換機后面標有 (UPstream)下級交換機顯示 (downstream)。5.2 驗證 FC 通信與測試傳輸帶寬級聯(lián)配好后要驗證通信# FC ping源 WWN 到目的 WWN fcping 源wwn 目的wwn # 只 ping 目的 WWN增加 ping 包數(shù)量 fcping --number 5000 wwnfcping類似 IP 網(wǎng)絡的 ping用來驗證 FC 鏈路連通性。--number參數(shù)指定 ping 包數(shù)量默認可能只有幾個加大數(shù)量能更好觀察丟包情況。測試傳輸帶寬# 在 C650-1 上啟動服務器端 checkrclink serverstart 2:4:1 # 在 C650-2 上測試連接帶寬 checkrclink startclient 3:4:1 fe80::2341:2:ac02:6523 60checkrclink是博科自帶的鏈路測試工具serverstart 在一邊起服務端startclient 在另一邊發(fā)起測試最后的 60 是測試時長秒。5.3 SNMP 監(jiān)控配置文檔提到 SNMP 監(jiān)控配置這是把博科交換機接入現(xiàn)有監(jiān)控體系的關鍵。常見做法是配置 SNMP 團體名和 trap 接收地址讓交換機把端口狀態(tài)變化、錯誤計數(shù)等上報到監(jiān)控平臺。具體命令文檔里沒展開但一般用snmpconfig系列命令設置snmpconfig --set snmpv1或snmpv3再配snmpconfig --set traphost。6. 避坑與排查博科交換機日常運維的五個血淚教訓6.1 坑一Web 管理頁面打不開JAVA 版本不對現(xiàn)象瀏覽器訪問https://172.16.254.73頁面加載失敗或功能按鈕點不動。原因博科 Web 管理工具依賴 JAVA 插件不同型號要求的 JAVA 版本不同。Brocade G6510 需要 JAVA 7Brocade G620 需要 JAVA 8。裝錯版本或者系統(tǒng)里同時有多個 JAVA 版本就會出問題。解決確認交換機型號裝對應 JAVA 版本。如果已經(jīng)裝了多個版本在 JAVA 控制面板里把對應版本設為默認。生產(chǎn)環(huán)境更推薦用 SSHWeb 方式只做臨時查看。6.2 坑二級聯(lián)后 Fabric 分裂Domain ID 沖突現(xiàn)象兩臺交換機級聯(lián)fabricshow看不到對方或者看到兩個獨立 Fabric。原因兩臺交換機 Domain ID 都是默認值 1級聯(lián)后沖突。解決級聯(lián)前先把其中一臺的 Domain ID 改掉。按 5.1 節(jié)的步驟switchdisable→configure→ 改 Domain ID →switchenable。改完再連線。6.3 坑三Zone 配置改了不生效忘了 cfgsave 或 cfgEnable現(xiàn)象zonecreate、cfgadd都執(zhí)行成功了但業(yè)務還是不通。原因配置只在內存里沒保存到非易失存儲或者沒在 Fabric 內生效。解決每次改完 Zone 相關配置必須執(zhí)行cfgsave和cfgEnable。養(yǎng)成習慣改完就 save確認無誤再 enable。cfgactvshow可以查看當前生效的配置跟zoneshow對比能發(fā)現(xiàn)差異。6.4 坑四端口報錯分不清是線的問題還是 SFP 的問題現(xiàn)象porterrshow看到Enc_Out或Crc_Err計數(shù)增長業(yè)務時斷時續(xù)。原因光纖線纜故障或 SFP 光模塊故障都會導致端口錯誤。解決文檔給了明確判斷邏輯——Enc_Out單獨產(chǎn)生很可能是光纖線問題Enc_Out和Crc_Err一起產(chǎn)生很大可能是 GBIC/SFP 問題。再用sfpshow 端口號看光功率大于 398uw 為正常。光功率偏低先換線換線無效再換 SFP。6.5 坑五sysshutdown 之前沒確認業(yè)務已?，F(xiàn)象執(zhí)行sysshutdown后主機側存儲鏈路斷開業(yè)務受影響。原因sysshutdown是安全關機但不會幫你判斷業(yè)務是否已經(jīng)切換或停止。解決關機前先確認主機側多路徑軟件已經(jīng)把流量切到其他路徑或者業(yè)務已經(jīng)停止。switchshow看端口狀態(tài)fabricshow看級聯(lián)成員確認沒有單點依賴后再關機。直接拔電源更是大忌可能導致配置文件損壞下次開機配置丟失。7. 日常巡檢與日志收集把排障前置成例行操作日常巡檢是博科交換機運維里最容易被忽視、但收益最高的環(huán)節(jié)。文檔 FAQ 部分列了巡檢命令和日志收集方法我結合自己的習慣補充一下。巡檢的核心命令組合是switchshow看整體狀態(tài)porterrshow看錯誤計數(shù)sfpshow看光功率fanshow看風扇memshow看內存fabricshow看級聯(lián)。這六個命令跑一遍基本能覆蓋 80% 的潛在問題。我一般會把這些命令的輸出定期保存下來跟上次對比。比如porterrshow的錯誤計數(shù)如果某個端口Crc_Err從 0 漲到幾百即使業(yè)務還沒斷也要提前查線查 SFP。等業(yè)務斷了再查就是事故了。日志收集用supportshow這個命令輸出信息量極大包含交換機所有關鍵狀態(tài)。排障時直接跑supportshow把輸出重定向到文件# 收集 supportshow 輸出到文件 supportshow /tmp/supportshow_$(date %Y%m%d).txt如果交換機支持 FTP 或 SCP可以把文件傳出來。文檔里提到收集交換機排障日志信息常見做法就是supportshow加errshow、portlogshow這些命令的組合。還有一個容易被忽略的點clihistory可以看歷史命令。多人運維同一臺交換機時出問題后查clihistory能快速定位是誰在什么時候改了什么。這個習慣我是在一次 Zone 誤刪事故后養(yǎng)成的從那以后每次上機操作前先clihistory看一眼操作完再確認一遍。驗證 Zone 配置是否正確的終極方法是fcping。配完 Zone別急著說搞定了用fcping從源 WWN ping 目的 WWN通了才算數(shù)。fcping --number 5000加大包量能發(fā)現(xiàn)偶發(fā)丟包。這個步驟我每次 Zone 變更后都強制走一遍寧可多花兩分鐘也不想半夜被業(yè)務電話叫醒。希望幫到你。本文還有配套的精品資源點擊獲取