RAID 這個詞大多數(shù)人第一次見到是在裝機(jī)店的配置單上第二次見到是在機(jī)房的告警郵件里。它的中文名叫獨立磁盤冗余陣列核心思路說白了就一句話把幾塊普通硬盤用條帶化、鏡像、校驗這三種基本手法組合起來對外呈現(xiàn)成一個容量更大、讀寫更快、或者更不容易因為單塊盤損壞而丟數(shù)據(jù)的邏輯盤。這套東西從服務(wù)器機(jī)房一路滲透到家用 NAS、監(jiān)控錄像機(jī)、剪輯工作站幾乎只要涉及多塊盤的場景就繞不開它。但真正把 RAID 用明白的人并不多我見過太多把 RAID 當(dāng)成備份的、把 RAID 5 堆到十幾塊大容量盤還覺得穩(wěn)的、重建到一半第二塊盤亮紅燈的。這篇就把 RAID 從原理到選型、從建陣列到故障處理完整捋一遍不管你是剛接觸存儲的新手還是天天跟陣列卡打交道的老兵應(yīng)該都能撈到點東西。1. 先把話說清楚RAID 到底在解決什么問題1.1 單塊硬盤的三道坎一塊硬盤的能力是有物理天花板的而且這三道坎互相打架。第一是容量單盤再大也有上限而且盤越大單價往往越不劃算第二是性能機(jī)械盤受限于主軸轉(zhuǎn)速和磁頭尋道隨機(jī) IOPS 長期卡在一兩百這個量級順序讀寫也就兩三百 MB/sSATA 接口的固態(tài)盤雖然能跑到五百多但接口帶寬和主控通道數(shù)一樣有頂?shù)谌强煽啃匀魏我粔K盤都有故障率廠商標(biāo)稱的 MTBF 動輒上百萬小時可那是統(tǒng)計意義上的平均值落到你手里那塊盤上明天壞和五年后壞都是有可能的。更麻煩的是這三者往往不能同時滿足——想要大容量就得接受更多盤片和更長尋道想要高性能就得付出更高成本。RAID 的出發(fā)點就是用多塊盤協(xié)同這個手段把這三道坎分別往上頂一頂。1.2 RAID 的能力邊界它能救什么救不了什么很多人對 RAID 的期待過高這是所有事故的起點。RAID 真正能救的只有一類問題磁盤介質(zhì)的物理性故障。盤片劃傷、磁頭卡死、電路板燒了、固件掛了這類故障只要冗余還在陣列就能繼續(xù)對外提供服務(wù)你換塊盤插回去重建就行。但 RAID 救不了的東西同樣一長串誤刪文件、格式化錯分區(qū)、勒索軟件加密、文件系統(tǒng)元數(shù)據(jù)損壞、操作系統(tǒng)層面的邏輯錯誤、機(jī)箱進(jìn)水、電源浪涌把整機(jī)帶走、陣列卡或背板故障、機(jī)箱被盜。這些場景下RAID 的鏡像和校驗會非常忠實地把錯誤數(shù)據(jù)同步到每一塊盤上。所以行業(yè)里有句被說爛了但依然有人不信的話RAID 不是備份。備份要求的是時間維度上的多份副本和離線隔離RAID 給的是同一時刻的空間維度冗余兩者根本不是一回事。1.3 幾個必須先糾正的認(rèn)知第一個誤區(qū)是盤越多越安全。實際情況恰恰相反陣列里的盤越多單盤故障的概率疊加就越高重建時要讀取的數(shù)據(jù)量也越大重建窗口越長二次故障的窗口也就越長。一個 24 盤的 RAID 5年故障概率遠(yuǎn)高于 4 盤 RAID 5。第二個誤區(qū)是RAID 0 不算 RAID。它確實沒有冗余但它是最純粹的條帶化實現(xiàn)在臨時緩存、渲染中間文件、只讀鏡像分發(fā)這類數(shù)據(jù)可重建的場景里RAID 0 的性價比高得離譜。第三個誤區(qū)是陣列卡上的緩存越大越好。寫緩存只有在有電池或超級電容保護(hù)的前提下開 Write Back 才是安全的沒有掉電保護(hù)的寫緩存一次意外斷電就足以讓整個文件系統(tǒng)報廢。這幾點在后面的章節(jié)里還會反復(fù)提到先把地基打牢。2. 三塊積木條帶、鏡像、校驗2.1 條帶化把 IO 切碎了并行發(fā)出去所有 RAID 級別的地基都是條帶化。做法是把每一塊成員盤按固定大小切成一段一段這個固定大小叫chunk或者 strip常見取值 64KB、128KB、256KB、1MB。然后數(shù)據(jù)按順序輪流寫到各塊盤上第 1 個 chunk 寫盤 A第 2 個寫盤 B第 3 個寫盤 C寫滿一圈再回到 A。于是一個大文件的順序讀取就變成了 N 塊盤同時往外吐數(shù)據(jù)聚合帶寬接近單盤帶寬乘以盤數(shù)這是 RAID 0 和所有帶級別的性能來源。這里有個容易混淆的概念chunk 是單塊盤上的一段stripe是一次并行寫滿所有數(shù)據(jù)盤的總量等于 chunk 乘以數(shù)據(jù)盤數(shù)量。比如 6 塊盤的 RAID 5數(shù)據(jù)盤 5 塊chunk 64KB那么一個 stripe 是 320KB。這個數(shù)字很關(guān)鍵后面講文件系統(tǒng)對齊和條帶大小選擇時都要用到它。條帶大小選錯性能會明顯打折。基本原則是看你的 IO 特征如果業(yè)務(wù)以大文件順序讀寫為主比如視頻素材、備份歸檔、日志落盤塊可以給大一點256KB 到 1MB 都行這樣單次 IO 能覆蓋多個數(shù)據(jù)盤帶寬拉滿如果是數(shù)據(jù)庫、虛擬化這類以小 IO 隨機(jī)讀寫為主的負(fù)載塊要小一些64KB 甚至 32KB避免一次 8KB 的隨機(jī)讀反而觸發(fā)了跨盤尋道。這里有個反直覺的點條帶太小也不好同樣大小的順序讀會被拆成更多次跨盤訪問每次都要等所有盤響應(yīng)延遲反而上升。我個人的經(jīng)驗起點是數(shù)據(jù)庫類 64KB、文件服務(wù)器 128KB、媒體素材庫 256KB 到 512KB然后拿真實業(yè)務(wù)壓測再微調(diào)。2.2 鏡像最暴力也最可靠的冗余鏡像的邏輯簡單到不需要解釋同一份數(shù)據(jù)同時寫到兩塊盤上讀的時候從任意一塊讀都行。RAID 1 就是兩塊盤互為鏡像RAID 10 是先把盤兩兩配對做鏡像再把多組鏡像條帶化拼起來。鏡像的好處非常實在寫的時候要寫兩份寫放大是 2 倍但讀的時候可以兩塊盤并行讀不同的請求隨機(jī)讀性能接近翻倍重建的時候只需要從存活的那塊盤完整拷一份數(shù)據(jù)過去重建速度快而且重建過程中另一塊盤的狀態(tài)是明確的不存在校驗計算失敗的問題。代價是容量利用率只有 50%四塊 8TB 盤做 RAID 10 只有 16TB 可用這是硬成本。所以 RAID 10 一般用在兩個地方一是寫密集且對延遲敏感的業(yè)務(wù)二是盤位和預(yù)算都還算寬裕但數(shù)據(jù)非常重要的場景。鏡像還有個容易被忽視的細(xì)節(jié)它防不住邏輯性損壞的同步。如果文件系統(tǒng)寫入了錯誤數(shù)據(jù)或者某塊盤固件有 bug 返回了臟數(shù)據(jù)鏡像會把這個錯誤原樣寫到兩塊盤上你讀到的是兩份一致的錯誤。這一點決定了鏡像只能解決介質(zhì)故障不能解決數(shù)據(jù)正確性問題。真正要防靜默損壞靠的是上層文件系統(tǒng)的校驗和與定期 scrub而不是 RAID 級別本身。2.3 校驗?zāi)?CPU 換容量代價是寫懲罰校驗的思路是不存完整副本只存一份由所有數(shù)據(jù)塊異或運(yùn)算得出的校驗塊任何一塊數(shù)據(jù)丟了用剩下的數(shù)據(jù)塊和校驗塊異或回去就能恢復(fù)。RAID 5 用一份校驗允許壞一塊盤RAID 6 用兩份獨立的校驗通常是異或加伽羅瓦域運(yùn)算允許壞兩塊盤。容量利用率因此大幅提升RAID 5 是 (N-1)/NRAID 6 是 (N-2)/N六塊盤的情況下分別是 83% 和 67%比鏡像的 50% 好看太多。但校驗的代價藏在寫操作里這就是所謂的寫懲罰。一次隨機(jī)小塊寫RAID 5 需要先讀出舊數(shù)據(jù)塊、讀出舊校驗塊算出新校驗再寫回新數(shù)據(jù)塊和新校驗塊一共 4 次磁盤 IO 才算完成一次邏輯寫。RAID 6 更狠要讀舊數(shù)據(jù)、讀兩個舊校驗寫新數(shù)據(jù)、寫兩個新校驗6 次 IO。RAID 10 只寫兩份2 次 IO。把這個換算成可用寫 IOPS公式就很清楚了假設(shè)單盤隨機(jī)寫能力 100 IOPS8 塊盤的 RAID 5 有 7 塊數(shù)據(jù)盤寫 IOPS 大約是 7×100/4 175同樣 8 塊盤的 RAID 10 是 8×100/2 400。差了將近一倍多。這就是為什么數(shù)據(jù)庫這類寫密集業(yè)務(wù)很多時候?qū)幵笭奚萘恳惨?RAID 10。2.4 熱備盤與重建冗余真正兌現(xiàn)的時刻冗余在平時是沒有存在感的只有一塊盤掛掉、陣列進(jìn)入降級狀態(tài)的那一刻它才真正開始工作。這時候如果有熱備盤陣列卡或軟件會自動把熱備盤拉進(jìn)來頂替故障盤開始重建。熱備盤分兩種全局熱備可以被任意陣列征用專用熱備只服務(wù)指定的那個陣列。盤位緊張的時候用專用熱備更省但靈活性差盤位寬裕就用全局熱備利用率高。重建的過程本質(zhì)上是把缺失的數(shù)據(jù)重新算出來寫到新盤上。鏡像類重建是直接拷貝速度取決于源盤的順序讀能力校驗類重建要讀取同 stripe 內(nèi)所有其他數(shù)據(jù)盤和校驗盤一邊讀一邊算對整組盤都是滿負(fù)荷沖擊這段時間陣列性能會明顯下降業(yè)務(wù)側(cè)能感覺到延遲抖動。重建時間跟單盤容量強(qiáng)相關(guān)粗略估算一下一塊 8TB 的盤實際重建速率受限于單盤順序讀和陣列卡處理能力按有效 80MB/s 算8,000,000MB ÷ 80MB/s ≈ 100,000 秒差不多 28 小時。這還只是理想情況業(yè)務(wù)壓力大、盤本身有壞道、重建優(yōu)先級被限制拖到兩三天都很正常。這 28 小時就是你的風(fēng)險窗口窗口期內(nèi)再壞一塊盤RAID 5 直接歸零。所以重建速率限制這個參數(shù)要慎用它能保護(hù)業(yè)務(wù)性能但也實實在在地延長了危險期。3. 各 RAID 級別逐個拆容量、性能與適用邊界3.1 RAID 0 與 RAID 1兩個極端RAID 0 是純條帶容量利用率 100%讀寫性能隨盤數(shù)線性提升但沒有任何冗余任何一塊盤掛了整個陣列的數(shù)據(jù)全部不可讀。它的合理使用場景非常明確數(shù)據(jù)本身可以從別處重新生成或者重新下載且對性能極度渴求。比如視頻剪輯的代理文件緩存、渲染農(nóng)場的臨時輸出目錄、只讀鏡像的分發(fā)節(jié)點。反過來說只要這份數(shù)據(jù)丟了你會心疼就別用 RAID 0。RAID 1 是純鏡像最少兩塊盤容量利用率 50%讀性能接近翻倍寫性能基本等于單盤重建速度最快配置最簡單。它最適合小規(guī)模、高價值的場景系統(tǒng)盤、數(shù)據(jù)庫日志盤、小型辦公文件服務(wù)器。兩塊大容量盤做 RAID 1 現(xiàn)在很常見因為單盤容量上去了兩塊盤就能湊出夠用的空間而且重建窗口短、風(fēng)險低。唯一要接受的就是那一半的容量損失。3.2 RAID 5性價比之王也是踩坑最多的地方RAID 5 是最廣為人知的級別也是被誤用最嚴(yán)重的級別。它的賬面上確實漂亮最少三塊盤容量損失一塊讀性能接近條帶寫性能受寫懲罰影響但還能接受。在機(jī)械盤容量還停留在幾百 GB 到 1TB 的年代RAID 5 幾乎是默認(rèn)選項因為重建一塊 500GB 的盤只要一兩個小時風(fēng)險窗口很短。問題出在盤容量暴漲之后。一塊 8TB 甚至 16TB 的盤重建動輒二三十小時而重建過程中需要讀取整個陣列的所有扇區(qū)。這里有個繞不開的物理現(xiàn)實大容量機(jī)械盤在長時間滿負(fù)荷讀取時遇到不可恢復(fù)讀錯誤的概率不再是理論值而是實實在在會發(fā)生的事。一旦重建過程中某塊盤報出讀錯誤RAID 5 沒有第二份校驗可以兜底重建直接失敗整個陣列的數(shù)據(jù)就廢了。所以現(xiàn)在的通行做法是單盤容量超過 4TB 的陣列基本不推薦 RAID 5要么上 RAID 6要么上 RAID 10。如果非要用 RAID 5成員盤數(shù)量控制在 4 到 6 塊別堆到十幾塊。3.3 RAID 6 與 RAID 10大容量盤的現(xiàn)實選擇RAID 6 用兩份校驗換來同時壞兩塊盤還能活的能力最少四塊盤。它的價值不只是多一層保險更重要的是重建期間的安全性RAID 5 重建時只要再來一塊盤出問題就完了RAID 6 重建時還有一份冗余頂著而且第二份校驗?zāi)軒椭ㄎ坏降资悄囊粔K盤讀錯了RAID 5 只能發(fā)現(xiàn)這組數(shù)據(jù)錯了卻不知道是誰錯的。代價是寫懲罰更重6 次 IO寫性能比 RAID 5 再降一截容量利用率也更低。對于近線存儲、備份歸檔、監(jiān)控錄像、大容量 NAS 這類寫入不小但延遲不敏感的場景RAID 6 是非常合適的平衡點。RAID 10 走的是另一條路用容量換性能和恢復(fù)速度。它最少四塊盤容量利用率 50%讀性能接近條帶寫性能是 RAID 5 的兩倍多重建速度快、重建期間對同組盤的壓力小。對于數(shù)據(jù)庫、虛擬化宿主機(jī)、任何寫密集且延遲敏感的業(yè)務(wù)RAID 10 通常是首選。我見過不少團(tuán)隊在數(shù)據(jù)庫服務(wù)器上糾結(jié) RAID 5 和 RAID 10 的容量差最后因為一次重建超時把整個庫搞掛之后再也沒碰過 RAID 5。3.4 RAID 50/60組合級別的適用場景RAID 50 是多個 RAID 5 子組再條帶化RAID 60 是多個 RAID 6 子組再條帶化。它們的意義在于降低單個子組的盤數(shù)從而縮短重建時間和重建影響范圍。舉個例子12 塊盤如果直接做 RAID 6成員盤太多重建時要讀 11 塊盤拆成兩個 6 盤 RAID 6 子組再做條帶每個子組只有 6 塊成員盤重建只影響這個子組速度和風(fēng)險都更可控。代價是每個子組都要損失自己的校驗盤容量利用率進(jìn)一步下降而且故障域變成了每個子組各能壞 N 塊不是全局的。這類組合級別適合盤位多、容量大、又不想上 RAID 10 的中大型存儲池小規(guī)模場景沒必要折騰。3.5 一張對照表和幾個必須會算的數(shù)級別最少盤數(shù)可用容量容錯盤數(shù)隨機(jī)寫懲罰典型場景RAID 02N×C01臨時數(shù)據(jù)、可重建緩存RAID 12C1或 N-12系統(tǒng)盤、小規(guī)模高價值數(shù)據(jù)RAID 53(N-1)×C14讀多寫少、盤數(shù)少、小容量RAID 64(N-2)×C26大容量存儲、備份、歸檔RAID 104(N/2)×C每組 12數(shù)據(jù)庫、虛擬化、寫密集RAID 506(N-子組數(shù))×C每子組 14中等規(guī)模存儲池RAID 608(N-2×子組數(shù))×C每子組 26大規(guī)模存儲池容量算法很直白但要留意廠商標(biāo)稱容量的十進(jìn)制陷阱8TB 的盤在操作系統(tǒng)里看到大約是 7.28TiB六個 8TB 盤做 RAID 5可用容量是 5×8TB40TB 標(biāo)稱系統(tǒng)里顯示大約 36.4TiB再扣掉文件系統(tǒng)元數(shù)據(jù)實際能用的還要少一點。做容量規(guī)劃時按系統(tǒng)顯示的數(shù)值算別按包裝盒上的數(shù)字算。再算一個 IOPS 的賬。假設(shè) 8 塊萬轉(zhuǎn)機(jī)械盤單盤隨機(jī)寫 130 IOPS做 RAID 6數(shù)據(jù)盤 6 塊寫 IOPS ≈ 6×130/6 130幾乎和單盤持平同樣的盤做 RAID 10寫 IOPS ≈ 8×130/2 520是 RAID 6 的四倍。這就是為什么 OLTP 數(shù)據(jù)庫基本不考慮 RAID 6。如果換成固態(tài)盤單盤 IOPS 上萬寫懲罰帶來的絕對差值會被放大但固態(tài)盤本身沒有尋道開銷寫懲罰的影響方式又不一樣這塊后面單獨說。4. 落地從選型到建陣列的完整操作4.1 硬件 RAID、軟件 RAID還是干脆不用硬件 RAID 依賴獨立的陣列卡卡上有自己的處理器和緩存操作系統(tǒng)看到的是一塊邏輯盤跟底層細(xì)節(jié)完全解耦。優(yōu)點是管理簡單、性能穩(wěn)定、有掉電保護(hù)的寫緩存、熱插拔和重建都是卡自己完成的跟操作系統(tǒng)無關(guān)。缺點是卡本身是單點卡掛了你得找同型號的卡來導(dǎo)配置跨品牌遷移基本別想而且卡上緩存沒有后備電池或超級電容時千萬別開 Write Back。軟件 RAID 把活交給操作系統(tǒng)Linux 下的 mdadm、各類支持校驗和的文件系統(tǒng)、Windows 的存儲空間都屬于這一類。優(yōu)點是配置透明、不依賴特定硬件、遷移方便、陣列元數(shù)據(jù)跟著盤走出問題能在另一臺機(jī)器上直接組裝起來。缺點是要吃 CPU重建時對系統(tǒng)負(fù)載有影響而且沒有硬件緩存寫性能在某些場景下不如硬件方案。對于預(yù)算有限、盤位不多、或者用通用服務(wù)器搭存儲的場景軟件 RAID 完全夠用我個人的很多環(huán)境就是 mdadm 加一層文件系統(tǒng)校驗穩(wěn)定跑好幾年。還有第三種選擇不用 RAID?，F(xiàn)在云主機(jī)、對象存儲、分布式存儲系統(tǒng)在底層已經(jīng)做了多副本或糾刪碼你在單機(jī)上再做一層 RAID 5 屬于重復(fù)建設(shè)反而增加了故障點。單機(jī)場景如果數(shù)據(jù)量不大、恢復(fù)時間要求不高直接用單盤加備份比搭一個半吊子的 RAID 更實在。4.2 建陣列前必須敲定的幾個參數(shù)條帶大小按前面的原則選數(shù)據(jù)庫 64KB文件服務(wù) 128KB媒體 256KB 到 512KB。寫策略在有電池或超級電容保護(hù)的前提下開 Write Back沒有就老老實實 Write Through別為了跑分好看去賭斷電。初始化方式分快速初始化和完全初始化快速初始化只寫元數(shù)據(jù)幾秒鐘完成但后臺會慢慢補(bǔ)齊校驗這段時間陣列性能是抖的完全初始化會把所有扇區(qū)寫一遍耗時可能十幾個小時但完成后陣列狀態(tài)是干凈的我一般建議新陣列在不趕時間的情況下走完全初始化。文件系統(tǒng)對齊是很多人忽略的一步。如果文件系統(tǒng)的塊大小和 RAID 的條帶沒對齊一次邏輯寫會跨越兩個物理 stripe觸發(fā)讀改寫性能直接腰斬。用 ext4 的話mkfs.ext4時把stride設(shè)成 chunk 除以文件系統(tǒng)塊大小stripe-width設(shè)成 stride 乘以數(shù)據(jù)盤數(shù)。舉例chunk 64KB文件系統(tǒng)塊 4KB那么 stride 166 盤 RAID 5 數(shù)據(jù)盤 5 塊stripe-width 80。XFS 用的是su條帶單元和sw條帶寬度單位是塊數(shù)邏輯一樣。固態(tài)盤做 RAID 還有個額外的坑要確認(rèn) TRIM/DISCARD 能不能透傳很多硬件陣列卡是不支持的長期跑下去寫放大和壽命都會受影響。下面這套參數(shù)是我按常見業(yè)務(wù)負(fù)載總結(jié)的起點不是標(biāo)準(zhǔn)答案落到你的環(huán)境還得靠實測微調(diào)。# 六塊盤做 RAID 6條帶 64KB帶內(nèi)部寫意圖位圖 mdadm --create /dev/md0 --level6 --raid-devices6 \ --chunk64K --bitmapinternal /dev/sd[b-g] # 查看組裝狀態(tài)和重建進(jìn)度 cat /proc/mdstat mdadm --detail /dev/md0 # 文件系統(tǒng)按條帶對齊chunk 64K / 塊 4K stride 16數(shù)據(jù)盤 4 塊 mkfs.ext4 -E stride16,stripe_width64 /dev/md0那個--bitmapinternal是軟件 RAID 的一個實用開關(guān)。沒有位圖的時候一次非正常關(guān)機(jī)后重啟陣列要做全量一致性校驗才能上線8TB 級別的陣列可能卡幾個小時有了位圖只重掃臟區(qū)域幾十秒就能恢復(fù)服務(wù)。代價是寫路徑上多一點點開銷但在大多數(shù)場景下這個交換非常劃算。4.3 初始化完成之后要做的三件事第一件是記錄配置。把mdadm --detail的輸出、陣列卡的配置導(dǎo)出、每塊盤的序列號和槽位對應(yīng)關(guān)系全部存一份到別的地方。真出事的時候你會無比慶幸自己有這份記錄——尤其是硬件陣列卡壞了要換卡導(dǎo)入配置的時候槽位順序錯一位數(shù)據(jù)就可能對不上。第二件是建立監(jiān)控。至少要盯四個指標(biāo)陣列健康狀態(tài)、單盤 SMART 里的重映射扇區(qū)數(shù)和待定扇區(qū)數(shù)、文件系統(tǒng)使用率、重建/校驗任務(wù)的進(jìn)度。SMART 里的Reallocated_Sector_Ct和Current_Pending_Sector只要開始非零增長就說明這塊盤在走下坡路別等到它被陣列踢出去才動手。監(jiān)控采樣頻率別太高機(jī)械盤的 SMART 查詢本身有開銷一天一次足夠但陣列狀態(tài)要頻繁一點。第三件是設(shè)定巡檢周期。帶校驗的陣列要定期做一致性校驗也叫巡檢讀把整組盤的所有扇區(qū)讀一遍發(fā)現(xiàn)讀錯誤就嘗試用校驗修復(fù)。頻率一般一個月一次放在業(yè)務(wù)低峰期并且一定要給校驗任務(wù)限速否則它會把整個陣列的 IO 吃滿。# 手動觸發(fā)一次一致性校驗 echo check /sys/block/md0/md/sync_action # 限制后臺校驗速率避免打滿業(yè)務(wù) IO單位 KB/s echo 50000 /sys/block/md0/md/sync_speed_max # 查看當(dāng)前校驗進(jìn)度 cat /sys/block/md0/md/sync_completed4.4 壞盤替換的標(biāo)準(zhǔn)動作發(fā)現(xiàn)降級之后第一反應(yīng)不應(yīng)該是拔盤而是先確認(rèn)是哪塊盤真的壞了。看陣列狀態(tài)定位到具體槽位再去看這塊盤的 SMART 和內(nèi)核日志。如果只是超時被踢、SMART 全綠、日志里全是鏈路層錯誤CRC 錯誤、復(fù)位、超時那大概率是線纜、背板或者接口接觸問題換盤沒用換線或者換個槽位可能就好了。這種情況我遇到過不止一次急著換盤反而把好好的盤換走了問題依舊。確認(rèn)是盤的問題后熱插拔換上新盤然后把它加回陣列。軟件 RAID 的操作是這樣# 先把故障盤標(biāo)記為移除 mdadm /dev/md0 --fail /dev/sdc --remove /dev/sdc # 插入新盤后加入陣列開始重建 mdadm /dev/md0 --add /dev/sdc # 重建期間盯著進(jìn)度 watch -n 60 cat /proc/mdstat重建期間要控制業(yè)務(wù)壓力別在這時候跑大批量備份或者全表掃描。如果陣列支持重建速率限制把它調(diào)低一點用時間換安全。重建完成后一定要再做一次一致性校驗確認(rèn)新盤上的數(shù)據(jù)算出來是對的。5. 故障現(xiàn)場降級、掉盤、重建失敗怎么處理5.1 掉盤先別急著換盤前面提過一次這里展開說因為這是最高頻的誤判。一塊盤從陣列里掉出去原因至少有四類盤本身介質(zhì)故障、盤固件 bug 導(dǎo)致超時、鏈路問題線纜、背板、接口氧化、控制器或驅(qū)動問題。這四類里只有第一類需要換盤。判斷方法很樸素看 SMART 屬性里重映射扇區(qū)和待定扇區(qū)有沒有增長看內(nèi)核日志里是介質(zhì)錯誤還是超時/復(fù)位/CRC 錯誤。介質(zhì)錯誤的盤必須換鏈路錯誤的盤換上去大概率還會再掉。還有一個隱蔽的情況整組盤同時掉。這基本可以排除介質(zhì)故障往供電、背板、陣列卡、驅(qū)動方向查。我見過因為機(jī)箱電源老化導(dǎo)致瞬態(tài)掉壓幾塊盤同時被復(fù)位陣列直接崩掉。這種時候千萬別急著逐塊盤重建先把硬件問題解決否則重建一百次也會再崩。5.2 重建失敗的常見原因鏈重建失敗最典型的場景是 RAID 5 重建過程中遇到不可恢復(fù)讀錯誤。表現(xiàn)形式是重建進(jìn)度卡住日志里出現(xiàn)讀取失敗然后陣列要么把另一塊盤也標(biāo)記為故障整個陣列失效要么重建中斷。這種情況下如果數(shù)據(jù)重要不要再對陣列做任何寫操作先做全盤鏡像再說找專業(yè)數(shù)據(jù)恢復(fù)也比自己反復(fù)嘗試強(qiáng)。第二個常見原因是用了 SMR 盤。疊瓦式磁記錄盤在持續(xù)寫入時性能會斷崖式下跌重建過程中寫入速度跟不上陣列卡判定超時直接把新盤踢掉重建反復(fù)失敗。這類盤價格便宜、容量大很容易被誤買來做 NAS唯一的辨別方式是查廠商規(guī)格書里的記錄技術(shù)。做 RAID 慎用 SMR尤其是校驗類陣列。第三個原因是重建期間業(yè)務(wù)壓力過大陣列卡的處理能力被占滿重建任務(wù)被餓死或者超時。對策是限速加錯峰把重建優(yōu)先級調(diào)低讓它慢慢跑別追求速度。5.3 性能不達(dá)預(yù)期的排查順序按這個順序查能覆蓋八成問題。先看條帶對齊文件系統(tǒng)塊和 RAID 條帶沒對齊是最常見的性能殺手表現(xiàn)為小 IO 延遲明顯高于預(yù)期。再看寫緩存策略Write Through 和 Write Back 的寫性能差好幾倍如果最近改過配置或者電池失效自動降級到 Write Through性能會突然掉下來。第三看是否有后臺任務(wù)在跑一致性校驗、重建、快照清理都會搶 IO。第四看單盤是否已經(jīng)有壞道壞道會觸發(fā)重試一次重試幾十毫秒到幾秒足以把整體延遲拉爆。最后才去看陣列卡固件、驅(qū)動版本、隊列深度這些更底層的東西。固態(tài)盤做 RAID 還要額外看兩個點TRIM 是否透傳以及陣列卡是否支持直通模式。很多陣列卡會把固態(tài)盤當(dāng)成機(jī)械盤處理隊列深度受限性能跑不滿有條件的話用直通卡加軟件 RAID反而更容易發(fā)揮固態(tài)盤的性能。5.4 常見問題速查表現(xiàn)象最可能的原因處理方向單盤掉線SMART 重映射增長介質(zhì)老化換盤盡快重建單盤掉線日志大量 CRC/復(fù)位線纜、背板、接觸換線換槽先別換盤多盤同時掉線供電、背板、控制器查硬件勿盲目重建重建卡在某個百分比源盤有壞道或新盤 SMR停業(yè)務(wù)、降速、評估數(shù)據(jù)搶救寫性能突然腰斬緩存降級為 Write Through檢查電池/電容狀態(tài)小 IO 延遲高文件系統(tǒng)未條帶對齊重建文件系統(tǒng)并設(shè) stride容量比預(yù)期少保留空間、熱備、十進(jìn)制換算核對陣列與文件系統(tǒng)配置校驗任務(wù)跑不完限速過低或盤有壞道看日志評估換盤5.5 幾條用血換來的經(jīng)驗第一條新盤上手先做全盤寫測試。買回來的盤尤其是批次相同的盤先跑一遍全盤寫入加讀取校驗把早期失效的盤篩掉。同批次盤同時采購、同時上機(jī)故障時間也會趨同這是 RAID 最怕的同批次雪崩。有條件的話分批采購或者混用不同批次。第二條RAID 5 的盤數(shù)上限比容量上限更重要。我給自己定的線是單盤超過 4TB 不用 RAID 5成員盤超過 6 塊不用 RAID 5兩個條件滿足任意一個就換 RAID 6 或 RAID 10。這條線不是拍腦袋是重建時間、讀錯誤概率、二次故障窗口三個因素疊加出來的。第三條冗余和備份要分開設(shè)計。陣列負(fù)責(zé)盤壞了業(yè)務(wù)不停備份負(fù)責(zé)數(shù)據(jù)錯了還能回去。這兩件事的介質(zhì)、位置、周期都要獨立別把備份放在同一個陣列里也別用快照代替?zhèn)浞荨煺蘸驮磾?shù)據(jù)在同一個存儲上存儲掛了就一起沒了。第四條改配置之前先備份元數(shù)據(jù)。硬件陣列導(dǎo)出配置軟件陣列保存mdadm --detail和mdadm --examine的輸出文件系統(tǒng)的 UUID 和掛載參數(shù)也記下來。這些東西平時沒用出事的時候能省下幾十個小時。第五條定期做恢復(fù)演練。不是驗證備份文件存在就算完要真的從備份里恢復(fù)一份數(shù)據(jù)到測試環(huán)境跑一遍完整性校驗。我見過備份任務(wù)天天成功、真要用的時候發(fā)現(xiàn)備份的是空目錄的情況。RAID 陣列也一樣定期拔一塊盤模擬降級、觀察告警是否觸發(fā)、重建流程是否順暢這套動作做熟了真出事的時候才不會手忙腳亂。最后分享一個我一直在用的小習(xí)慣給每個陣列建一個純文本的檔案卡寫清楚建陣列的日期、成員盤的型號序列號槽位、條帶大小、文件系統(tǒng)參數(shù)、熱備盤分配、巡檢周期、上次校驗時間。放在監(jiān)控系統(tǒng)之外的地方比如運(yùn)維文檔或者打印機(jī)旁邊貼一張。這東西看著土但在凌晨三點排查故障的時候它比任何花哨的監(jiān)控面板都管用。