前陣子被一個客戶拉去機房兩臺浪潮服務器已經上架了對方只提了一個要求裝上凝思6.0.8操作系統。我一開始覺得這還不簡單準備個U盤后綴mirror就進去了。結果真到現場才發(fā)現浪潮服務器和凝思這套組合坑比想象中多。先說結論整個流程走下來最花時間的不是系統安裝而是BIOS設置、RAID配置和驅動識別。這篇文章把這次從零到能用的完整過程記下來尤其是那些官方文檔沒寫明白、只有實際動手才能踩到的地方給后面要裝這套系統的朋友做個參考。不管是剛入行的運維還是第一次碰國產操作系統的老手應該都能省不少時間。1. 裝機前的準備工作需求確認與硬件摸底1.1 為什么非要裝凝思6.0.8先聊聊背景。凝思是國內基于Linux內核開發(fā)的服務器操作系統在能源、電力、政企這些對安全要求比較高的行業(yè)里用得很多。6.0.8這個版本算是比較新的穩(wěn)定版核心思路是安全增強默認權限控制更嚴自帶的安全保護模塊對文件系統和進程做了額外加固?？蛻糁付ㄟ@個版本大概率是項目驗收里對國產化操作系統有硬性要求。干這一行的都知道國產OS這幾年普及速度很快但很多場景其實是裝好了能用和裝好了跑得穩(wěn)是兩碼事。凝思這種偏向安全定制的系統安裝邏輯和CentOS、Ubuntu還是有一些區(qū)別的比如默認不開放root遠程登錄、分區(qū)默認會用LVM、對硬件平臺的正版授權驗證也有一套獨立的機制。所以裝之前先要搞清楚兩件事第一這套凝思6.0.8是不是通過正規(guī)渠道拿到的帶授權介質第二服務器的硬件平臺在不在系統支持的兼容列表里。前者不用多說后者往往被忽略。浪潮服務器有很多型號老的有NF5240、NF5460M5新的有NF5180M6、NF5280M6等不同型號之間芯片組、板載網卡、SAS控制器都不同凝思內核版本相對保守太新的硬件平臺可能會遇到網卡或RAID卡識別不了的問題。我在這次裝之前特意查了一下服務器型號和M5代數確定不是最新款才稍微放心了一點。1.2 上機前先摸清這四樣東西現場開工前強烈建議先把以下信息記下來否則等裝到一半發(fā)現硬件不支持來回折騰很費時間。CPU型號和數量多路服務器內存插槽順序和CPU綁定關系不一樣需要提前看說明書。板載RAID卡或獨立RAID卡型號比如常見的是直通卡還是帶Cache的RAID卡這直接決定你在BIOS里用不用做陣列。網卡型號板載千兆還是萬兆獨立網卡是什么芯片進系統后能不能被自動識別。引導模式目前浪潮服務器BIOS默認可能是UEFI模式但一些老的國產OS對UEFI引導支持不好可能需要改成Legacy兼容模式。我這次遇到的機器配置還可以雙路CPU、256G內存、板載SAS控制器。因為之前見過太多因為沒看說明書導致內存插錯位置點不亮的案例所以第一個操作就是先把服務器的用戶手冊電子版要過來翻到內存安裝部分確認了型號和插槽順序再動手?？傊b機前這半小時的摸底工作看起來慢實際上能幫你接下來少走兩小時彎路。這也是我每次做服務器安裝項目一定會堅持做的流程。2. BIOS與RAID配置讓服務器先認出系統2.1 浪潮服務器BIOS里的關鍵設置項BIOS這塊是第一個容易踩坑的地方。浪潮服務器的BIOS界面一般是AMI的開機按Del或F2進BIOS設置按F7可以進啟動項選擇。不同機型略有差異但大差不差。進BIOS后重點檢查這幾個地方Restore on AC Power Loss斷電恢復后是否自動開機生產服務器建議設成Power On。Boot ModeUEFI或Legacy這里要和操作系統的引導方式匹配。凝思6.0.8這個版本的安裝鏡像默認同時支持UEFI和Legacy但我在實際測試中發(fā)現某些主板上用UEFI啟動會因為Secure Boot安全引導的問題卡在grub引導階段。所以我的習慣是如果客戶沒有特殊要求安裝國產OS時優(yōu)先選Legacy模式兼容性更好。Intel Virtualization Technology如果需要跑虛擬機或容器把這些選項打開。SR-IOV如果有網卡虛擬化需求提前開啟。Power Policy浪潮的BIOS里一般有Energy Efficient和Performance等模式默認可能是節(jié)能模式這個對安裝系統影響不大但對后續(xù)性能影響很大。我們專門把CPU的C1E、C6等節(jié)能特性關掉這是為了讓高頻應用跑得更穩(wěn)定。具體后面細說。設置完這些一定記得按F10保存退出。2.2 RAID陣列創(chuàng)建與引導模式選擇RAID配置是服務器裝系統的必經之路。浪潮服務器上一般用板載SAS控制器或獨立RAID卡開機提示按CtrlC或CtrlH進入陣列卡配置畫面有的型號是在BIOS Setup里直接有RAID Manager選項。我這次用的是板載SAS控制器開機自檢時看到Press CtrlC to start Configuration Utility的提示直接進RAID配置界面。本次由于是兩臺新機器盤位規(guī)劃也比較常規(guī)兩塊960G SSD做RAID1裝系統四塊4T SATA盤做RAID10放數據。在RAID卡的配置界面里依次:選擇Configuration Wizard選New Configuration新配置。選中要加入陣列的硬盤SSD建RAID1機械盤建RAID10。設置條帶大小和寫策略系統盤RAID1的條帶用默認的64KB讀策略選Read Ahead寫策略選Write Back。注意如果服務器沒有獨立BBU電池包Write Back模式下有斷電丟數據風險這時候建議用Write Through。初始化完成后重新掃描虛擬驅動器看到兩個邏輯卷就OK了。有一個比較隱蔽的點是引導模式和RAID之間的關系。如果你在BIOS里選了UEFI引導有的老陣列卡還需要額外做EFI Boot Device設置否則裝完系統重啟會直接卡在引導設備找不到的報錯。相反用Legacy引導就簡單得多因為大部分RAID卡的Option ROM在Legacy模式下都能正常加載。所以我還是建議在裝凝思這類系統時除非你的硬件和系統版本都很新不然優(yōu)先選Legacy。2.3 順手把CPU節(jié)能關掉解決NAS存儲設備的卡頓根子這次客戶還提了個要求說是要在上面跑一些高速數據采集服務不能因為CPU頻率來回跳導致延遲忽高忽低。浪潮服務器尤其NF5466M5這類存儲型機型的BIOS默認電源策略偏節(jié)能CPU會頻繁進入低功耗狀態(tài)頻率也一直飄這個對普通業(yè)務沒毛病但高性能場景下確實不夠友好。在BIOS里找到Processor Settings或Power Management這樣的入口把下面幾個東西處理掉Power Technology設為Custom或Performance不要選Energy Efficient。EISTEnhanced Intel SpeedStep Technology選擇Disable。C1E、C6 State這類CPU狀態(tài)選項能關就關或者設置成到C1為止。Turbo Mode如果業(yè)務需要穩(wěn)定頻率建議保持Enable這樣睿頻功能還能用。還有人問這玩意和安裝凝思有關系嗎實際上關系很大。有些系統在安裝過程中會非常慢或者運行一會兒就假死排查到最后往往就是BIOS節(jié)能策略導致CPU降頻進而影響了進程調度。安裝階段就把節(jié)能關掉后面能省心很多。另外浪潮5466M5這種機器散熱風扇默認策略是跟隨CPU溫度自動調節(jié)的如果機房空調不給力或者你手動改了風扇轉速裝系統過程中熱量一上來風扇聲音會突然飚起來。如果在機房待得久可以通過IPMI界面或ipmitool去設置風扇轉速我一般先調到70%左右兼顧噪音和散熱等工作負載大了再讓系統自動接管。3. 安裝介質制作與系統安裝過程3.1 獲取鏡像與制作U盤啟動盤凝思6.0.8的鏡像文件通常是一個ISO文件大概4GB左右。鏡像是從官方渠道拿到的這里不建議自己隨便去第三方網站下載一個是安全沒保障另一個是可能缺少一些授權相關的校驗文件。制作U盤啟動盤這里推薦兩種工具在Windows下可以用Rufus寫入模式選DD鏡像或ISO鏡像都沒問題。注意用Rufus燒錄凝思鏡像的時候分區(qū)類型建議選MBR目標系統類型選BIOS或UEFI如果不知道選什么就選BIOS or UEFI。在Linux下直接使用dd命令最穩(wěn)命令就是dd if/path/to/凝思.iso of/dev/sdX bs4M statusprogress。注意dd命令里的of后面一定填U盤設備名比如/dev/sdb千萬別填成/dev/sda否則整塊系統盤沒了。這個坑我踩過一次當時差點把一套生產系統的數據抹掉從那以后每次用dd前都會先確認一遍設備名。U盤做好之后建議在另一臺機器上驗證一下分區(qū)結構是否正常至少能看到一個類似EFI或者ISOLINUX的引導目錄不然插到服務器上不引導找問題很費時間。3.2 進入安裝程序與分區(qū)規(guī)劃把做好的U盤插到服務器上開機按F11選擇U盤啟動。如果是Legacy模式可能要在啟動列表里選U盤設備名如果是UEFI模式列表里會有UEFI開頭的U盤選項。進入凝思安裝引導后第一個畫面通常是語言選擇選中文或英文都可以生產環(huán)境我一般選英文減少終端下中文亂碼的幾率。安裝界面整體風格跟RHEL系列很像因為凝思底層也大量復用了包管理系統和anaconda安裝器。選完語言后進入磁盤分區(qū)部分這步是關鍵。凝思安裝器里提供了自動分區(qū)和手動分區(qū)兩種。我的建議是除非你只是臨時測試否則一定選手動分區(qū)尤其是要跑數據庫或業(yè)務系統的服務器。分區(qū)方案按下面這個思路做/boot分區(qū)獨立分出來給1G就夠了LVM或標準分區(qū)都可以引導文件放這里。/分區(qū)系統占用建議至少50G放在LVM里。/home分區(qū)如果本機有大量本地賬號和文件單獨分否則可以不分直接合并到/下。swap分區(qū)物理內存大于16G時swap給32G或者直接不分看應用需求。對于內存充裕的機器swap大小可以保守一點畢竟現在都習慣用swapiness來控制。數據分區(qū)剩下的空間都劃分給數據目錄。如果是LVM后續(xù)擴容會靈活很多。我在實際安裝中給系統盤建了LVM因為后面萬一要加卷組、擴邏輯卷不用重新分區(qū)特別適合生產環(huán)境。LVM的物理卷、卷組、邏輯卷名稱看個人習慣不過建議不要寫太長的路徑后續(xù)掛載寫fstab時不容易錯。分區(qū)完成后安裝器會進入軟件包選擇階段。凝思默認的安全等級比較高一些常用的開發(fā)工具、編譯工具可能沒裝全。這里建議在軟件包選擇里勾選開發(fā)工具、系統工具以及你需要的基礎庫不要只選最小安裝否則后期裝個驅動、編譯個程序會缺頭文件缺到懷疑人生。3.3 安裝后的首次配置系統文件拷貝過程大概幾分鐘到十幾分鐘取決于硬盤速度和鏡像大小?？截愅瓿珊蟀惭b向導會要求設置root密碼、創(chuàng)建普通用戶等。注意凝思默認策略對密碼強度要求比較高太小簡單可能會被拒。設完密碼后安裝器提示重啟拔掉U盤重啟進入真正的系統。第一次引導時有一個細節(jié)如果BIOS里開了Secure Boot系統可能會卡在grub啟動界面不出系統。這時回BIOS關掉Secure Boot再重啟就正常了。如果你選的是Legacy模式一般不太會遇到這個問題。進入系統后先看下系統版本確認安裝成功用cat /etc/os-release。然后就是網絡配置、軟件源配置、驅動檢查這些收尾工作了。4. 安裝后的系統初始化與驅動排查4.1 網絡配置先讓機器能連上凝思6.0.8安裝完系統后默認網卡可能沒有啟用需要手動配IP。我個人習慣直接在命令行用nmcli或者直接編輯配置文件。凝思里網絡管理可能沒有默認集成NetworkManager有些版本是用systemd-networkd或純ifcfg文件所以最簡單的方式就是直接改/etc/sysconfig/network-scripts/ifcfg-eth0這個格式和RHEL/CentOS完全一致。給張參考配置DEVICEeth0 BOOTPROTOstatic ONBOOTyes IPADDR192.168.1.10 NETMASK255.255.255.0 GATEWAY192.168.1.1 DNS1223.5.5.5 DNS2114.114.114.114改完之后用systemctl restart network重啟網絡服務或者直接ifup eth0。這里要特別提醒一下看到網卡名不是eth0而是enp開頭的也不要慌這是udev命名規(guī)則找出你的物理網卡名再配就行。如果是萬兆網卡或者需要多網口bonding那還要多試幾個網口確認哪塊是業(yè)務口哪塊是管理口。生產現場最怕的就是配完IP后被管理員通知你把管理口給占了所以可以先插上線看哪個網卡的link燈亮了再對它做配置。4.2 網卡、SAS控制器識別問題定位裝系統是最簡單的難的永遠在后面。開機后發(fā)現板載網卡只識別了一個口剩下的兩個口ifconfig根本看不到這是我在現場遇到的問題。排查思路是先用lspci確認網卡設備在不在PCI總線上再用ethtool -i ethX看驅動。凝思的內核默認可能沒有帶某個新網卡的驅動或者驅動模塊沒加載。這時有兩個選擇到廠商官網找Linux驅動源碼自己編譯或者下載對應rpm包裝上。我這次是板載Intel X710萬兆網卡系統自帶驅動版本比較老直接拉一下網卡固件和驅動更新后剩余網口就全部出來了。SAS控制器的識別問題類似。如果RAID卡在安裝時識別不到硬盤進系統后在/dev下也看不到對應的sd設備基本都是驅動問題。排查手段lspci -nn | grep -i raid看設備ID。lsmod | grep -i megaraid或者modinfo一下對應驅動是否存在。如果是LSI/Avago芯片凝思一般自帶了mpt3sas或megaraid_sas直接modprobe試試。比較省心的辦法是安裝前先到凝思官方兼容列表里查一下你這款機器和RAID卡的組合是否被支持。查不到的話就要做好編譯驅動的準備。4.3 內存插槽順序、風扇轉速這些小事別忽略服務器這個東西最容易出怪問題的往往不是操作系統本身而是硬件層面沒配對。浪潮服務器雙路機器內存必須嚴格按照CPU對應的插槽順序來插。我之前遇到過一臺機器24根內存插槽廠家只給每個CPU插了6根但內存對應通道順序沒插對結果BIOS里識別64G進系統只有48G。這就是典型的插槽順序問題。一般浪潮服務器的內存插槽旁邊都有絲印編號比如DIMM_A1、DIMM_A2、DIMM_B1這些字母代表內存通道數字代表槽位順序。一個CPU對應一組通道先插距離CPU遠的還是近的每家的定義不完全一樣最靠譜的做法是打開用戶手冊找到內存安裝順序表格。生產現場不要憑感覺這個真不是玄學。風扇轉速和內存插槽順序看起來跟裝操作系統沒有直接關系但如果你不做這些調整系統裝上之后出現異常宕機、性能不穩(wěn)定排查方向很容易搞錯。我見過有同事在應用側查了三天最后發(fā)現是散熱不足導致CPU降頻系統負載看著不高但就是慢。所以我把這些都歸到系統安裝后初始化這步一起處理。5. 常見問題與避坑實錄5.1 安裝過程常見問題速查表把這次安裝期間遇到的和之前踩過的一部分典型問題整理成一個速查表方便后續(xù)現場直接查問題現象可能原因解決辦法U盤啟動后光標閃爍無反應鏡像寫入格式不對或U盤兼容性差用dd重寫鏡像換個USB2.0口或用Rufus DD模式重燒安裝引導卡在grub界面無法進入安裝器開啟了UEFI Secure Boot進BIOS關掉Secure Boot改Legacy模式安裝時找不到硬盤RAID驅動未加載或RAID配置沒生效檢查RAID卡驅動確保虛擬磁盤已聯機裝完重啟找不到引導設備UEFI和Legacy引導錯亂確認引導模式與安裝時一致部分RAID卡需要設置EFI Boot Device系統里網卡只有一兩個口驅動未加載或固件過舊lspci確認設備更新驅動/固件CPU頻率低業(yè)務延遲不穩(wěn)BIOS節(jié)能策略未關閉關閉EIST、C1E、C6等節(jié)能選項內存只認到一半內存插槽順序錯誤或CPU故障按官方手冊重新插槽并逐條測試系統裝好后root遠程登錄被拒凝思默認禁止root SSH修改/etc/ssh/sshd_config里PermitRootLogin并重啟sshd安裝到一半死機或自動重啟硬件過熱或固件版本有bug檢查風扇轉速、更新BIOS/RAID卡固件5.2 幾個特別值得注意的細節(jié)第一別急著格掉原系統或者覆蓋陣列。如果是新機器還好如果是利舊服務器裝系統前必須確認是不是還有其他業(yè)務盤掛在直通卡上。凝思安裝器默認可能識別到所有盤手動分區(qū)時一定要看清盤符。我的習慣是在陣列卡的邏輯驅動上建好卷組之后把不相關的物理磁盤先做offline處理防止誤操作。第二安裝源和軟件源要留一手。凝思安裝完成后的默認軟件包倉庫可能指向官方內網或U盤介質如果服務器所在內網沒有同步源就沒法安裝額外軟件。可以在安裝時選擇把安裝介質里的Packages復制到本地或者在系統里把本地ISO掛載后做成一個本地yum源這樣以后裝依賴包不至于抓瞎。第三授權激活問題。凝思是商業(yè)授權模式安裝過程中可能會要求輸入序列號或者在首次聯網時激活。這個環(huán)節(jié)一定要提前和商務確認好不要等系統裝完了才去問授權碼不然重啟后可能直接進不了系統或者每月需要重新激活。我這次因為提前確認好了整個過程很順暢但之前碰到過同事在現場干等授權部門反饋兩小時的。第四多系統引導的坑。有些服務器原本裝了CentOS或老凝思版本覆蓋安裝完新系統后grub里會出現舊內核或者重復的引導項。凝思的grub配置文件和CentOS有點不一樣雙系統需求要特別注意不要改壞grub.cfg。沒有特殊需求建議直接全新安裝并清除舊的引導記錄。第五關于開機自檢過慢。浪潮服務器內存多的時候自檢時間會很長有的機器插滿內存后自檢幾分鐘都是正常的。不要以為機器壞了就反復斷電重啟反而容易傷硬件。等它自己到系統啟動畫面就行。結尾其實整套流程走下來真正花時間最多的是前期硬件摸底和后期驅動適配系統安裝本身倒并不復雜。這次在機房待了大半天中間還把NF5466M5的風扇默認策略、BIOS節(jié)能開關、PCIe通道分配這些細節(jié)都過了一遍后面兩臺機器照這個流程操作速度就快多了基本控制在兩小時內搞定一臺。如果你接下來也要在浪潮服務器上裝凝思記住一個核心原則不要用裝CentOS的慣性思維一路回車一定要先確認引導模式、RAID狀態(tài)、網卡驅動這三樣確認好了后面的過程基本就是順水推舟。希望這篇記錄能幫你少踩幾個坑。