簡介CNware虛擬化平臺解決方案是一份聚焦企業(yè)級虛擬化與云計(jì)算規(guī)劃的技術(shù)演示PPT適合IT決策者、云平臺架構(gòu)師及運(yùn)維管理人員閱讀。內(nèi)容以航天云宏自研云操作系統(tǒng)為基礎(chǔ)系統(tǒng)梳理了虛擬化引擎、虛擬化管理、云服務(wù)管理三個(gè)核心層次并依次覆蓋方案背景、產(chǎn)品配置、客戶價(jià)值、方案優(yōu)勢與公司簡介結(jié)構(gòu)清晰、邏輯完整。壓縮包內(nèi)共1個(gè)文件為1.32MB的pptx演示文稿頁數(shù)精煉且信息密度較高可直接用于內(nèi)部評審或方案匯報(bào)。目前已有164人瀏覽學(xué)習(xí)。借助這份PPT讀者可以快速了解國產(chǎn)虛擬化平臺在電信、金融、大型企業(yè)、政府等領(lǐng)域的典型落地場景理解從底層資源虛擬化到上層云服務(wù)運(yùn)營的整體解決思路也可用于對標(biāo)自身虛擬化項(xiàng)目中的架構(gòu)設(shè)計(jì)和產(chǎn)品選型是一份具有實(shí)戰(zhàn)參考價(jià)值的解決方案材料。1. 從一份 PPT 講到 CNware國產(chǎn)化虛擬化平臺不是把 VMware 換個(gè)名字收到一份名為 CNware 虛擬化平臺解決方案.pptx 的材料時(shí)我第一反應(yīng)是又一個(gè)國產(chǎn)化替代的入場者。后來把里面的架構(gòu)圖和部署參數(shù)看完才發(fā)現(xiàn)CNware 走的是 KVM/QEMU 這條完全開源的底座路線它解決的問題很直接企業(yè)或數(shù)據(jù)中心要換掉商用虛擬化平臺又要保留虛機(jī)遷移、存儲(chǔ)池化、模板分發(fā)這些日常運(yùn)維習(xí)慣CNware 把這些能力收進(jìn)一個(gè)可交付的解決方案里。說它不是把 VMware 換個(gè)名字是因?yàn)樗墓芾砻婧陀?jì)算面可以分開部署硬件兼容性也寬松得多。適合誰正在做國產(chǎn)化評估的甲方、IDC 運(yùn)維團(tuán)隊(duì)以及想用低成本把虛擬化平臺跑起來的實(shí)施工程師。接下來我從這張 PPT 里的方案出發(fā)把組件選型、安裝步驟和參數(shù)設(shè)置拆成一份能照著做的落地筆記。2. 先拆開解決方案里的黑匣子CNware 的組件選型與最小實(shí)驗(yàn)環(huán)境2.1 CNware 在方案里真正賣的是哪三樣計(jì)算、存儲(chǔ)池和橋接網(wǎng)絡(luò)CNware 這類平臺表面上是「虛擬化管理平臺」實(shí)際上交付的是三塊東西。第一塊是計(jì)算虛擬化底層直接使用 KVM 內(nèi)核模塊和 QEMU 用戶態(tài)進(jìn)程每臺物理機(jī)變成一個(gè)計(jì)算節(jié)點(diǎn)負(fù)責(zé)創(chuàng)建和管理虛擬機(jī)。第二塊是存儲(chǔ)池它并不強(qiáng)制綁定分布式存儲(chǔ)而是采用了 LVM、本地目錄、iSCSI、分布式存儲(chǔ)多種后端并存的方式這份 XXT 里的存儲(chǔ)章節(jié)重點(diǎn)強(qiáng)調(diào)了「按業(yè)務(wù)場景選后端」而不是像很多開源方案那樣只推一種 Ceph。第三塊是網(wǎng)絡(luò)虛擬化借助 Linux Bridge 和 Open vSwitch 兩種模式把物理網(wǎng)卡切成多個(gè)橋接網(wǎng)絡(luò)為虛擬機(jī)提供二層或三層網(wǎng)絡(luò)能力。這三塊里最容易讓新人誤判的是存儲(chǔ)。很多人看 PPT 首頁會(huì)以為 CNware 自帶一套完整的分布式存儲(chǔ)實(shí)際上它的架構(gòu)是「存儲(chǔ)接入層」真正干活的后端可以是已有的集中式存儲(chǔ)陣列也可以是服務(wù)器內(nèi)置磁盤組成的 LVM 池。這個(gè)設(shè)計(jì)有很實(shí)際的好處如果機(jī)房已經(jīng)采購了中端存儲(chǔ)CNware 不需要你重新買一套直接通過 iSCSI 或者 FC 接進(jìn)來就能用如果沒有獨(dú)立存儲(chǔ)也可以用 LVM 把本地盤池化。方案 PPT 里的容量計(jì)算表一般會(huì)按「可用容量 裸容量 × RAID 效率 × 預(yù)留比例」來寫這個(gè)公式后面的章節(jié)我會(huì)展開算一個(gè)例子。2.2 控制面與數(shù)據(jù)面分離為什么管理網(wǎng)和業(yè)務(wù)網(wǎng)一定要拆開CNware 的部署拓?fù)淅镉幸粋€(gè)很明確的原則管理面Managment Plane和數(shù)據(jù)面Data Plane必須分開。管理面承載的是管理節(jié)點(diǎn)、數(shù)據(jù)庫、Agent 心跳、策略下發(fā)這些控制流量數(shù)據(jù)面承載的是虛擬機(jī)之間、虛擬機(jī)與物理網(wǎng)絡(luò)之間的真實(shí)業(yè)務(wù)流量。PPT 里的網(wǎng)絡(luò)規(guī)劃圖通常會(huì)把物理機(jī)網(wǎng)卡分成三組一組連接管理交換機(jī)一組連接業(yè)務(wù)交換機(jī)一組預(yù)留做存儲(chǔ)網(wǎng)絡(luò)。如果只有兩塊網(wǎng)卡最差也要做成兩個(gè) VLAN 分隔的 trunk把管理 VLAN 和業(yè)務(wù) VLAN 分開走。為什么必須拆開因?yàn)榭刂泼嬉坏┍粯I(yè)務(wù)流量擠滿最先掉鏈子的不是虛擬機(jī)性能而是管理節(jié)點(diǎn)的 Agent 心跳。心跳超時(shí)后平臺會(huì)認(rèn)為計(jì)算節(jié)點(diǎn)失聯(lián)觸發(fā)虛擬機(jī) HA 遷移如果只有一臺物理機(jī)這個(gè)操作反而可能導(dǎo)致誤關(guān)機(jī)。我見過一個(gè)實(shí)際案例部署時(shí)圖省事把所有流量塞在同一張網(wǎng)卡上視頻業(yè)務(wù)一上來管理面 ping 管理節(jié)點(diǎn)延遲到了 300 多毫秒平臺頻繁告警最后只能重新規(guī)劃網(wǎng)絡(luò)。CNware 的管理面一般走 TCP 8443 端口和 Agent 的 9000 端口這些端口被防火墻誤攔也會(huì)出現(xiàn)「節(jié)點(diǎn)離線」的假象后面避坑章節(jié)會(huì)說。2.3 用一臺物理機(jī)搭出最小實(shí)驗(yàn)環(huán)境CPU、內(nèi)存、磁盤的底線參數(shù)CNware 雖然是企業(yè)級方案但做最小化驗(yàn)證并不需要三臺服務(wù)器起步。如果你只是跑通流程、驗(yàn)證遷移和模板功能一臺物理機(jī)就夠了條件是這一臺物理機(jī)同時(shí)跑管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。底線參數(shù)可以參考下面的表資源最小配置推薦配置說明CPU8 核心支持 Intel VT-x 或 AMD-V16 核心以上必須確認(rèn) BIOS 里虛擬化開關(guān)已打開內(nèi)存32 GB64 GB管理節(jié)點(diǎn)約占 8 GB其余給運(yùn)行中的虛擬機(jī)系統(tǒng)盤240 GB SSD480 GB SSD放管理節(jié)點(diǎn)系統(tǒng)和數(shù)據(jù)庫余量越大越耐造數(shù)據(jù)盤1 TB HDD2 TB SSD 或 RAID10作為 LVM 存儲(chǔ)池用于創(chuàng)建虛擬機(jī)磁盤網(wǎng)卡2 個(gè)千兆口2 個(gè)萬兆口一個(gè)走管理網(wǎng)絡(luò)一個(gè)走業(yè)務(wù)網(wǎng)絡(luò)操作系統(tǒng)推薦 CentOS 7.9 或兼容版本同左內(nèi)核版本需支持 KVM 模塊這里要單獨(dú)說一下 CPU 的坑。很多人在 Windwos 物理機(jī)里裝 VMware Workstation 時(shí)遇到過「此平臺不支持虛擬化」的提示在 CNware 裸機(jī)部署時(shí)會(huì)遇到一模一樣的現(xiàn)象裝完系統(tǒng)啟動(dòng) libvirt 檢查 KVM 可用性報(bào)錯(cuò)說 CPU 不支持虛擬化擴(kuò)展。原因幾乎都不是 CPU 真不支持而是 BIOS 里的 Intel VT-x 或 AMD-V 開關(guān)默認(rèn)關(guān)閉或者被超線程和嵌套虛擬化配置干擾。實(shí)驗(yàn)環(huán)境里內(nèi)存和磁盤都可以湊合CPU 虛擬化開關(guān)是硬門檻這一步不過后面全都是白費(fèi)。3. 從裸機(jī)到進(jìn)入管理面板CNware 落地的四步安裝過程3.1 第一步在 BIOS 里打開虛擬化開關(guān)把「虛擬化不可用」擋在第一關(guān)CNware 計(jì)算節(jié)點(diǎn)的宿主機(jī)安裝操作系統(tǒng)前有一個(gè)動(dòng)作必須先做確認(rèn) CPU 虛擬化已經(jīng)啟用。這個(gè)動(dòng)作我很建議在裝系統(tǒng)之前就完成而不是裝完之后再回頭看報(bào)錯(cuò)。重啟服務(wù)器進(jìn)入 BIOS找到 Intel Virtualization Technology 或 AMD SVM Mode 選項(xiàng)設(shè)置為 Enabled。Intel 平臺還要順帶看一眼 VT-d雖然 CNware 默認(rèn)不強(qiáng)制使用直通設(shè)備但開了之后后續(xù)做 PCIE 直通或 SR-IOV 會(huì)方便很多。進(jìn)入已裝好的系統(tǒng)后用下面的命令確認(rèn) KVM 模塊是否加載正常# 確認(rèn) CPU 支持虛擬化擴(kuò)展 grep -E (vmx|svm) /proc/cpuinfo # 加載 KVM 內(nèi)核模塊并確認(rèn)已經(jīng)生效 modprobe kvm modprobe kvm_intel # AMD 平臺換成 kvm_amd lsmod | grep kvm邏輯說明第一條命令在 Intel 平臺上會(huì)看到 vmx 標(biāo)志AMD 平臺上會(huì)看到 svm 標(biāo)志。如果沒有任何輸出不用往下走了回到 BIOS 里重新檢查開關(guān)如果輸出存在但加載模塊時(shí)提示 Operation not permitted多半是嵌套虛擬化沒開或內(nèi)核模塊被禁用。參數(shù)說明中值得注意的是lsmod 的結(jié)果里除了 kvm 本身還應(yīng)該能看到 kvm_intel 或 kvm_amd只有 kvm 主模塊而看不到平臺模塊虛擬機(jī)創(chuàng)建時(shí)一樣會(huì)報(bào)錯(cuò)。3.2 第二步給宿主機(jī)安裝最小化系統(tǒng)分區(qū)、網(wǎng)卡和主機(jī)名的決定CNware 計(jì)算節(jié)點(diǎn)不推薦把系統(tǒng)裝成帶桌面的完整發(fā)行版最小化安裝能減少很多不必要的服務(wù)干擾。這里我一般會(huì)用 CentOS 7.9 的最小化安裝鏡像安裝時(shí)選擇「Minimal Install」。分區(qū)方案建議做成下面的形式/boot分區(qū)獨(dú)立給 1 GB根分區(qū)/用 LVM 管理預(yù)留 30% 的剩余空間不分配方便后續(xù)給 Docker 或大數(shù)據(jù)組件留余地。數(shù)據(jù)盤單獨(dú)劃分不要把手動(dòng)掛載的/data目錄也放進(jìn)根分區(qū) LVM 里后面創(chuàng)建存儲(chǔ)池會(huì)用它。網(wǎng)卡配置建議在安裝階段直接做掉。管理網(wǎng)卡配置靜態(tài) IP網(wǎng)關(guān)指向管理交換機(jī) VLAN 的網(wǎng)關(guān)業(yè)務(wù)網(wǎng)卡可以暫時(shí)不配 IP或者配置一個(gè)不沖突的網(wǎng)段地址等到管理面板里添加網(wǎng)絡(luò)時(shí)再統(tǒng)一管理。安裝完成后確認(rèn)主機(jī)名并設(shè)置時(shí)鐘同步# 設(shè)置主機(jī)名建議包含節(jié)點(diǎn)角色例如 cnware-node01 hostnamectl set-hostname cnware-node01 # 安裝 chrony 并配置 NTP 同步防止管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)時(shí)鐘偏差 yum install -y chrony systemctl enable --now chronyd # 驗(yàn)證時(shí)間同步狀態(tài) chronyc tracking邏輯說明主機(jī)名和時(shí)鐘同步是很多實(shí)施工程師會(huì)跳過的步驟但這恰恰是后面集群能正常工作的基礎(chǔ)。CNware 管理節(jié)點(diǎn)會(huì)基于時(shí)間戳做任務(wù)調(diào)度如果計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn)的時(shí)間差超過 30 秒Agent 上報(bào)的數(shù)據(jù)會(huì)出現(xiàn)沖突虛擬機(jī)的 HA 策略也會(huì)被誤觸發(fā)。參數(shù)上值得留意的細(xì)節(jié)是chronyc tracking輸出里的System time字段如果顯示超過 1000 微秒建議檢查 NTP 服務(wù)器配置而不是繼續(xù)往后走。3.3 第三步初始化管理節(jié)點(diǎn)加載平臺服務(wù)并創(chuàng)建管理員賬號管理節(jié)點(diǎn)是 CNware 的入口安裝包里通常是一個(gè)可執(zhí)行的安裝腳本常見做法是把整個(gè)安裝包傳上服務(wù)器后解壓進(jìn)入目錄直接運(yùn)行。為了保證可復(fù)現(xiàn)性我一般會(huì)在執(zhí)行安裝前手動(dòng)檢查幾個(gè)前置條件防火墻放行 8443 端口、SELinux 設(shè)為 permissive 或 disabled、磁盤空間滿足要求。以下命令是在管理節(jié)點(diǎn)上執(zhí)行的標(biāo)準(zhǔn)流程# 關(guān)閉 SELinux并臨時(shí)設(shè)置當(dāng)前會(huì)話 setenforce 0 sed -i s/SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config # 開放管理端口 8443 和數(shù)據(jù)庫端口 3306 firewall-cmd --permanent --add-port8443/tcp firewall-cmd --permanent --add-port3306/tcp firewall-cmd --reload # 執(zhí)行平臺初始化腳本參數(shù)為管理網(wǎng)段的 IP 和網(wǎng)段掩碼 ./install.sh --mgmt-ip 192.168.10.10 --mgmt-bits 24腳本執(zhí)行完成后終端會(huì)輸出一個(gè)管理頁面地址和臨時(shí)管理員密碼。首次登錄時(shí)需要修改密碼并創(chuàng)建新的管理員賬號。這里的核心參數(shù)是--mgmt-ip必須使用管理網(wǎng)卡的地址不能圖省事寫成 127.0.0.1否則計(jì)算節(jié)點(diǎn)從業(yè)務(wù)網(wǎng)絡(luò)訪問不到管理面后面注冊節(jié)點(diǎn)時(shí)就會(huì)出現(xiàn) Agent 在線異常。3.4 第四步把計(jì)算節(jié)點(diǎn)接入管理面板注冊與驗(yàn)證 Agent 心跳計(jì)算節(jié)點(diǎn)接入管理面板的方式分為兩種一種是在管理頁面的 Web 界面里點(diǎn)擊「添加計(jì)算節(jié)點(diǎn)」填入節(jié)點(diǎn) IP 和用戶名密碼平臺會(huì)自動(dòng)下發(fā) Agent 安裝包另一種是從安裝包中提取 Agent 安裝文件在計(jì)算節(jié)點(diǎn)上手工安裝。手工安裝更直觀也能把安裝日志留在本地排查命令如下# 計(jì)算節(jié)點(diǎn)上安裝 agent 包參數(shù)指向管理節(jié)點(diǎn)的 IP 和端口 tar -xzf cnware-agent.tar.gz cd cnware-agent ./install.sh --server 192.168.10.10 --port 9000 # 啟動(dòng) agent 服務(wù)并檢查運(yùn)行狀態(tài) systemctl start cnware-agent systemctl status cnware-agent # 查看 agent 日志確認(rèn)與管理節(jié)點(diǎn)的長連接已建立 tail -n 50 /var/log/cnware/agent.log邏輯說明Agent 安裝的核心參數(shù)是--server它必須指向管理節(jié)點(diǎn)的管理網(wǎng) IP而不是計(jì)算節(jié)點(diǎn)自己的 IP。很多實(shí)施人員在手工安裝時(shí)把這里的地址寫錯(cuò)導(dǎo)致 Agent 一直處于重連狀態(tài)。驗(yàn)證成功的標(biāo)志是管理面板上節(jié)點(diǎn)狀態(tài)從「未注冊」變成「在線」同時(shí) agent.log 里出現(xiàn)心跳上報(bào)成功的記錄。這一步完成后平臺的最小編排環(huán)路已經(jīng)打通管理節(jié)點(diǎn)下發(fā)任務(wù)計(jì)算節(jié)點(diǎn)執(zhí)行虛擬機(jī)的創(chuàng)建和銷毀。4. 虛擬機(jī)的三個(gè)必調(diào)參數(shù)存儲(chǔ)、網(wǎng)絡(luò)和模板的坑一次說清楚4.1 存儲(chǔ)池LVM 還是文件目錄一張表解決大多場景CNware 管理面板里創(chuàng)建虛擬機(jī)之前必須先有存儲(chǔ)池。很多新手在這一步會(huì)糾結(jié)選哪種存儲(chǔ)池類型其實(shí)不需要糾結(jié)按場景判斷如果只有一臺計(jì)算節(jié)點(diǎn)且數(shù)據(jù)盤是本地盤直接用目錄池或者 LVM 池是最省事的如果有多臺計(jì)算節(jié)點(diǎn)且數(shù)據(jù)要漂移就必須讓存儲(chǔ)后端落在共享存儲(chǔ)上。下表是三種常用存儲(chǔ)池的適用判斷存儲(chǔ)池類型適合場景優(yōu)點(diǎn)缺點(diǎn)目錄池Directory單節(jié)點(diǎn)測試、鏡像庫存放創(chuàng)建簡單無需分區(qū)不支持磁盤快照的高級特性LVM 池單節(jié)點(diǎn)生產(chǎn)環(huán)境支持快照磁盤性能好擴(kuò)容需要操作卷組步驟繁瑣iSCSI 池多節(jié)點(diǎn)共享存儲(chǔ)支持虛擬機(jī)熱遷移依賴外部存儲(chǔ)陣列的穩(wěn)定性這里特別提醒一點(diǎn)LVM 池在創(chuàng)建之后虛擬機(jī)的系統(tǒng)盤會(huì)生成一個(gè)邏輯卷這個(gè)邏輯卷的默認(rèn)分配策略是立即全量分配還是精簡分配會(huì)直接影響后續(xù)虛擬機(jī)克隆的體驗(yàn)。如果面板里存在「精簡配置」選項(xiàng)建議開啟否則創(chuàng)建 10 臺虛擬機(jī)就會(huì)占滿整個(gè)卷組。開啟精簡配置后虛擬機(jī)實(shí)際使用了多少空間才是占用的空間而初始創(chuàng)建只需要很小的元數(shù)據(jù)開銷。4.2 業(yè)務(wù)網(wǎng)絡(luò)vSwitch、VLAN 和多網(wǎng)卡綁定的取舍CNware 的網(wǎng)絡(luò)部分采用的是「物理網(wǎng)卡 → 橋接設(shè)備 → 虛擬交換機(jī)」的層級。在管理面板里添加網(wǎng)絡(luò)時(shí)會(huì)要求選擇橋接模式Linux Bridge 模式適合大多數(shù)常規(guī)業(yè)務(wù)Open vSwitch 模式適合需要流量監(jiān)控、QoS 和隧道封裝的場景。如果虛擬機(jī)需要和物理機(jī)在同一網(wǎng)段通信并對外提供服務(wù)選擇 Linux Bridge 并指定一個(gè)物理網(wǎng)卡作為 uplink 就行。計(jì)算節(jié)點(diǎn)的業(yè)務(wù)網(wǎng)卡可能存在多塊這時(shí)候建議先做綁定再橋接避免虛擬機(jī)流量只走單網(wǎng)卡。常見做法是讓兩塊物理網(wǎng)卡做 mode 4LACP綁定然后把綁定口加入橋接設(shè)備。注意不要在綁定口上配置 IP否則 Linux Bridge 會(huì)把 IP 流量和橋接流量混在一起。VLAN 方面如果業(yè)務(wù)網(wǎng)是一個(gè) trunk 端口需要在面板上為不同租戶或不同業(yè)務(wù)創(chuàng)建獨(dú)立的 VLAN 網(wǎng)絡(luò)虛機(jī)網(wǎng)卡關(guān)聯(lián)到對應(yīng)網(wǎng)絡(luò)即可。4.3 鏡像模板從 qcow2 到 Windows 驅(qū)動(dòng)哪一步最容易被卡住模板可以說是虛擬化平臺里「后悔藥」最多的地方但也是最容易出問題的地方。CNware 的鏡像模板通常使用 qcow2 格式創(chuàng)建模板的方式有兩種一種是從一個(gè)安裝好的虛擬機(jī)直接「轉(zhuǎn)換為模板」另一種是上傳現(xiàn)成的 qcow2 鏡像文件。第一種方式最穩(wěn)妥因?yàn)樘摂M機(jī)的系統(tǒng)配置、網(wǎng)卡驅(qū)動(dòng)、主機(jī)名已經(jīng)正確處理模板分發(fā)出去不會(huì)有「水土不服」的問題。Windows 虛擬機(jī)模板是重災(zāi)區(qū)。很多人在創(chuàng)建 Windows 模板時(shí)沒有安裝 VirtIO 驅(qū)動(dòng)導(dǎo)致模板分發(fā)后虛擬機(jī)網(wǎng)卡無法識別、磁盤識別異常。解決方法是創(chuàng)建 Windows 虛擬機(jī)時(shí)必須掛載 VirtIO 驅(qū)動(dòng) ISO并在系統(tǒng)安裝過程中加載對應(yīng)驅(qū)動(dòng)。經(jīng)過多次實(shí)踐我發(fā)現(xiàn)最省時(shí)間的做法是先把 Windows 系統(tǒng)裝好裝完 VirtIO 驅(qū)動(dòng)再更新系統(tǒng)補(bǔ)丁最后做 sysprep 清理系統(tǒng)標(biāo)識然后才轉(zhuǎn)成模板。省略 sysprep 的模板批量克隆后會(huì)出現(xiàn)計(jì)算機(jī)名重復(fù)、SID 沖突這些網(wǎng)絡(luò)連接問題排錯(cuò)成本比重新做模板高得多。5. 避坑CNware 落地最容易翻車的 6 個(gè)現(xiàn)場現(xiàn)象、原因、解決5.1 虛擬機(jī)起不來終端報(bào)「KVM 不可用」現(xiàn)象在管理面板上創(chuàng)建虛擬機(jī)后任務(wù)秒失敗查看計(jì)算節(jié)點(diǎn)日志提示kvm: disabled by bios或operation not supported。原因BIOS 中虛擬化開關(guān)處于關(guān)閉狀態(tài)或者內(nèi)核 kvm 模塊未加載。解決重啟進(jìn)入 BIOS 打開 Intel VT-x/AMD-V確認(rèn)/proc/cpuinfo里有 vmx/svm 標(biāo)志再執(zhí)行modprobe kvm_intel。這一條和 Windows 上跑 VMware 提示「此平臺不支持虛擬化」是同一個(gè)底層問題盡早排查能省下大量時(shí)間。5.2 Agent 顯示離線但計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)是通的現(xiàn)象計(jì)算節(jié)點(diǎn)注冊成功后第二天在管理面板里顯示離線但該節(jié)點(diǎn)可以正常 ping 通其他設(shè)備。原因Agent 服務(wù)進(jìn)程崩潰或心跳端口被防火墻攔截最常見的是管理平臺升級后Agent 版本不匹配導(dǎo)致心跳數(shù)據(jù)格式異常。解決先看systemctl status cnware-agent是否還在運(yùn)行如果服務(wù)在但離線查看/var/log/cnware/agent.log最后一段日志確認(rèn)連接是否被服務(wù)端重置。一般重啟 Agent 能解決如果反復(fù)離線重啟順序是管理節(jié)點(diǎn)的平臺服務(wù)先重啟等管理頁面可訪問后再啟動(dòng)計(jì)算節(jié)點(diǎn) Agent 服務(wù)。5.3 虛擬機(jī)硬件配置特別高性能卻跑不滿物理機(jī)現(xiàn)象一臺 32 核 64 GB 的物理機(jī)只跑了 2 臺虛擬機(jī)但 CPU 使用率就是上不去。原因CPU 的調(diào)度策略默認(rèn)使用kvm線程的默認(rèn)權(quán)重或者在創(chuàng)建虛擬機(jī)時(shí)沒有開啟 CPU 綁定和 NUMA 感知另一個(gè)常見原因是物理機(jī)的 CPU 超頻被 BIOS 關(guān)掉性能模式被設(shè)成了省電模式。解決在虛擬機(jī)配置里綁定虛擬 CPU 到物理 CPU 核心開啟 NUMA 自動(dòng)均衡同時(shí)在 BIOS 里把 CPU 電源管理設(shè)置為 Performance 模式。5.4 存儲(chǔ)池空間充足虛擬機(jī)創(chuàng)建卻提示「卷創(chuàng)建失敗」現(xiàn)象LVM 存儲(chǔ)池顯示剩余空間有 200 GB但創(chuàng)建一臺 50 GB 磁盤的虛擬機(jī)時(shí)報(bào)錯(cuò)。原因LVM 的總空間是卷組空間但邏輯卷默認(rèn)使用lvcreate的連續(xù)分配策略物理卷上剩余的連續(xù)空閑區(qū)域不足尤其是在測試環(huán)境里反復(fù)創(chuàng)建刪除虛擬機(jī)之后碎片化嚴(yán)重。解決修改 LVM 分配策略為--alloc cling或--alloc anywhere如果面板不支持這個(gè)參數(shù)可以在存儲(chǔ)池所在宿主機(jī)上手動(dòng)用lvcreate -n vm-disk -L 50G vg-data --alloc anywhere創(chuàng)建邏輯卷再在面板上掛載為既有磁盤。這個(gè)坑在頻繁測試和刪卷的實(shí)驗(yàn)室里非常常見。5.5 虛擬機(jī)遷移后網(wǎng)絡(luò)變慢丟包明顯現(xiàn)象通過在線遷移把虛擬機(jī)從節(jié)點(diǎn) A 挪到節(jié)點(diǎn) B遷移后虛擬機(jī)內(nèi) ping 網(wǎng)關(guān)延遲變高甚至有 1% 的丟包。原因遷移前后的宿主機(jī)不在同一個(gè)二層網(wǎng)絡(luò)內(nèi)或者虛擬機(jī)網(wǎng)卡的橋接設(shè)備發(fā)生了漂移。遷移時(shí) CNware 只遷移了內(nèi)存和磁盤狀態(tài)但網(wǎng)絡(luò)前端類型如果不同就會(huì)觸發(fā)降級。解決遷移前確認(rèn)兩臺計(jì)算節(jié)點(diǎn)的業(yè)務(wù)網(wǎng)絡(luò)都用同一個(gè)網(wǎng)橋且虛擬機(jī)網(wǎng)卡的驅(qū)動(dòng)類型一致如果是 Linux Bridge遷移后手動(dòng)在面板上「斷電重啟網(wǎng)絡(luò)」重新關(guān)聯(lián)到目標(biāo)節(jié)點(diǎn)的橋接設(shè)備就能恢復(fù)。5.6 管理節(jié)點(diǎn)重啟后虛擬機(jī)全部關(guān)機(jī)沒有自動(dòng)拉起現(xiàn)象管理節(jié)點(diǎn)做了一次計(jì)劃內(nèi)重啟恢復(fù)后發(fā)現(xiàn)所有計(jì)算節(jié)點(diǎn)上的虛擬機(jī)都是關(guān)機(jī)狀態(tài)。原因CNware 的 HA 策略默認(rèn)只在「計(jì)算節(jié)點(diǎn)意外掉線」時(shí)生效管理節(jié)點(diǎn)主動(dòng)重啟不會(huì)觸發(fā)遷移同時(shí)虛擬機(jī)的「開機(jī)自啟動(dòng)」策略默認(rèn)是關(guān)閉狀態(tài)。解決在每臺虛擬機(jī)的電源管理設(shè)置里勾選「宿主機(jī)啟動(dòng)后自動(dòng)開機(jī)」如果是集群環(huán)境配置管理節(jié)點(diǎn)的高可用讓管理面本身具備故障轉(zhuǎn)移能力而不是依賴單臺管理節(jié)點(diǎn)。6. 用命令行驗(yàn)證集群健康把「能開能關(guān)」變成「可度量」管理面板能做的事情命令行幾乎都能做而且命令行更適合巡檢腳本。這里分享一個(gè)我每次維護(hù)完 CNware 都會(huì)跑一遍的檢查鏈路先看物理節(jié)點(diǎn)狀態(tài)再看虛擬機(jī)的實(shí)際運(yùn)行狀態(tài)最后檢查存儲(chǔ)和網(wǎng)絡(luò)的關(guān)鍵指標(biāo)。# 查看所有計(jì)算節(jié)點(diǎn)的 CPU 和內(nèi)存占用 virsh nodeinfo virsh dominfo vm-name # 查看單臺虛機(jī)的運(yùn)行配置 # 查看存儲(chǔ)池剩余空間和虛擬磁盤狀態(tài) virsh pool-list --all virsh vol-list --pool default # 檢查橋接設(shè)備是否正常工作 ip link show br0 bridge link show br0單個(gè)命令的說明可能不夠我把輸出結(jié)果怎么看列出來virsh nodeinfo最后的CPU model和CPU socket如果出現(xiàn)與物理機(jī)規(guī)格不符的情況說明 BIOS 識別有問題bridge link show里如果某個(gè)虛機(jī)網(wǎng)卡顯示state DOWN而對應(yīng)虛機(jī)是正常運(yùn)行狀態(tài)說明網(wǎng)卡前端和后端有狀態(tài)漂移需要檢查 VirtIO 驅(qū)動(dòng)。這些檢查不出問題平臺的健康度就有了一個(gè)大致的證明。我自己的維護(hù)習(xí)慣是每次升級管理平臺或修改存儲(chǔ)配置后不直接去 Web 界面創(chuàng)建一堆虛擬機(jī)來測試而是先用命令行跑一遍virsh list --all確認(rèn)所有虛機(jī)狀態(tài)沒有變成paused再手動(dòng)觸發(fā)一次在線遷移把一臺測試虛機(jī)從此節(jié)點(diǎn)遷到彼節(jié)點(diǎn)遷完立刻看virsh domblklist和virsh domiflist確認(rèn)磁盤和網(wǎng)卡路徑都正確。這套流程看起來慢實(shí)際上比在面板里反復(fù)點(diǎn)鼠標(biāo)快得多也能在第一時(shí)間暴露平臺級的配置偏差。CNware 虛擬化平臺這套方案最重要的一塊拼圖不是功能有多少而是遇到問題的時(shí)候能不能快速定位到底是哪一層出了狀況。把前五章講到的架構(gòu)、參數(shù)和坑都過一遍之后再用命令行巡檢去驗(yàn)證每一步的成果整個(gè)平臺的可維護(hù)性會(huì)有明顯提升。希望這份筆記里的經(jīng)驗(yàn)和教訓(xùn)能幫你在自己的環(huán)境里少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取