Prometheus Grafana 監(jiān)控搭建指標(biāo)采集與告警配置工具地址https://www.speedce.com社區(qū)論壇https://bbs.speedce.com聯(lián)系speedceadsgmail.com寫在前面Prometheus 告訴你 CPU 90%SpeedCE 告訴你哪里訪問不了。本文是一份圍繞「Prometheus Grafana 監(jiān)控搭建」的可執(zhí)行長(zhǎng)文手冊(cè)建議閱讀 15–20 分鐘全文約 1.5 萬(wàn)–2 萬(wàn)字。不同于只列步驟的短文我們會(huì)把原理、術(shù)語(yǔ)、架構(gòu)、實(shí)操、案例、誤區(qū)講透——讓你不僅知道「怎么做」還知道「為什么這么做」。全文以免費(fèi)工具 SpeedCE 為網(wǎng)絡(luò)層驗(yàn)收示例。你學(xué)到的排查思路適用于任何多節(jié)點(diǎn)測(cè)速場(chǎng)景。建議收藏故障或變更時(shí)按章節(jié)對(duì)照操作。閱讀導(dǎo)航第一章 核心概念與術(shù)語(yǔ) → 第二章 技術(shù)原理 → 第三章 架構(gòu)與數(shù)據(jù)流 →第四章 環(huán)境準(zhǔn)備 → 第五章 詳細(xì)實(shí)操 → 第六章 八大實(shí)戰(zhàn)場(chǎng)景 →第七章 SpeedCE 驗(yàn)收 → 第八章 常見誤區(qū) → 第九章 進(jìn)階技巧 →第十章 檢查清單 → 第十一章 FAQ → 第十二章 結(jié)語(yǔ)第一章核心概念與術(shù)語(yǔ)——讀懂「Prometheus Grafana 監(jiān)控搭建」在說什么在深入「Prometheus Grafana 監(jiān)控搭建」之前先把關(guān)鍵術(shù)語(yǔ)對(duì)齊。很多故障排查跑偏不是因?yàn)榧夹g(shù)不夠而是概念混用——比如把 DNS 問題當(dāng)服務(wù)器問題把證書問題當(dāng) CDN 問題。1.1 術(shù)語(yǔ)速查表術(shù)語(yǔ)含義深入說明ss / netstat查看端口監(jiān)聽ss -tlnp看 TCP 監(jiān)聽端口和進(jìn)程。journalctlsystemd 日志journalctl -u nginx -f實(shí)時(shí)跟蹤。ulimit進(jìn)程資源限制文件描述符不夠會(huì)導(dǎo)致 too many open files。iptables/nftables內(nèi)核防火墻與安全組獨(dú)立都要查。cron定時(shí)任務(wù)錯(cuò)配可能導(dǎo)致定時(shí)把 CPU 打滿。logrotate日志輪轉(zhuǎn)配置失敗會(huì)導(dǎo)致磁盤滿。load average系統(tǒng)負(fù)載高負(fù)載時(shí)響應(yīng)變慢可能表現(xiàn)為超時(shí)。OOM Killer內(nèi)存不足殺進(jìn)程內(nèi)存耗盡時(shí)內(nèi)核殺進(jìn)程服務(wù)突然掛。1.2 三個(gè)層次別混層次回答什么本文/工具角色網(wǎng)絡(luò)層IP/端口/證書通不通SpeedCE HTTPS / PING / TCPingWeb 層HTTP 能否正常響應(yīng)SpeedCE HTTPS 首選DNS 層各地解析是否一致SpeedCE DNS 工具路由層路徑是否繞路/丟包SpeedCE 路由追蹤資產(chǎn)層IP 歸屬與注冊(cè)信息SpeedCE IP Geo / WHOIS應(yīng)用層業(yè)務(wù)邏輯對(duì)不對(duì)網(wǎng)絡(luò)綠后再查日志/數(shù)據(jù)庫(kù)牢記先網(wǎng)絡(luò)后應(yīng)用。全國(guó)地圖大面積紅時(shí)不要急著改代碼、加機(jī)器——大概率是 DNS、證書、安全組、CDN 回源這類基礎(chǔ)設(shè)施問題。1.3 三個(gè)原則原則說明對(duì)照測(cè)CDN 域 vs 源站、遷機(jī)前后、改配置前后兩圖對(duì)比三網(wǎng)分電信、聯(lián)通、移動(dòng)各一張圖單網(wǎng)紅立刻縮小 66% 范圍多次測(cè)DNS 生效、晚高峰、間歇故障至少 2–3 次別測(cè)一次下結(jié)論第二章技術(shù)原理深度解析本章從原理層面理解「Prometheus Grafana 監(jiān)控搭建」知道底層機(jī)制后排障會(huì)快很多。2.1 原理要點(diǎn)Linux 服務(wù)器運(yùn)維核心能力進(jìn)程管理、網(wǎng)絡(luò)診斷、日志分析、權(quán)限與安全。網(wǎng)站「打不開」時(shí)標(biāo)準(zhǔn)順序進(jìn)程是否運(yùn)行 → 端口是否監(jiān)聽 → 防火墻是否放行 →外部網(wǎng)絡(luò)是否可達(dá)。很多新手在第一步就卡住——SSH 能登不代表 Web 服務(wù)正常。2.2 原理要點(diǎn)systemd是現(xiàn)代 Linux 的服務(wù)管理器。systemctl status nginx看狀態(tài)journalctl -u nginx看日志。enabled表示開機(jī)自啟active (running)才是真的在跑。2.3 原理要點(diǎn)防火墻雙層云安全組控制臺(tái) 系統(tǒng)防火墻ufw/iptables/firewalld。兩層都要放行 80/443漏任何一層都表現(xiàn)為全國(guó)紅。第三章架構(gòu)與數(shù)據(jù)流理解請(qǐng)求/數(shù)據(jù)在網(wǎng)絡(luò)中如何流轉(zhuǎn)有助于判斷「問題出在哪一跳」。3.1 典型數(shù)據(jù)流外部請(qǐng)求 → 云安全組入站規(guī)則 ↓ 放行 iptables/ufw ↓ 放行 進(jìn)程監(jiān)聽 0.0.0.0:443 ↓ 應(yīng)用處理請(qǐng)求3.2 如何用這張圖排障從外到內(nèi)逐層驗(yàn)證用戶 → DNS 解析是否正確 → 邊緣/CDN → 源站端口 → 應(yīng)用進(jìn)程。每一跳都可以用 SpeedCE網(wǎng)絡(luò)層或 dig/curl具體層驗(yàn)證。不要在沒確認(rèn)上一層之前就深入下一層。第四章環(huán)境準(zhǔn)備與前置檢查動(dòng)手之前確認(rèn)以下環(huán)境和權(quán)限就緒。項(xiàng)目要求網(wǎng)絡(luò)驗(yàn)收工具SpeedCE免費(fèi)無需注冊(cè)八種檢測(cè)工具下拉可選推薦工具HTTPS推薦范圍中國(guó)節(jié)點(diǎn)SSH/控制臺(tái)能登錄服務(wù)器或云控制臺(tái)改 DNS/安全組基礎(chǔ)命令dig/nslookup、curl、ss、systemctl告警后 5 分鐘 SOP監(jiān)控告訴你「有問題」撥測(cè)告訴你「哪里有問題」。# 1. 確認(rèn)服務(wù)進(jìn)程systemctl status nginx# 2. 確認(rèn)端口ss-tlnp|grep443# 3. 確認(rèn)證書echo|openssl s_client-connectexample.com:4432/dev/null|openssl x509-noout-enddate# 4. 全國(guó)撥測(cè)使用 SpeedCE 多節(jié)點(diǎn)測(cè)速第五章詳細(xì)實(shí)操步驟按順序執(zhí)行每步完成后做對(duì)應(yīng)驗(yàn)證。5.1 確認(rèn)服務(wù)進(jìn)程為什么SSH 登錄systemctl status或docker ps確認(rèn)進(jìn)程 Running。進(jìn)程不在外部必紅。怎么做systemctl status nginx5.2 確認(rèn)端口監(jiān)聽為什么ss -tlnp | grep -E :80|:443應(yīng)看到 0.0.0.0 或 :: 監(jiān)聽。只監(jiān)聽 127.0.0.1 則外部不可達(dá)。怎么做ss -tlnp5.3 檢查防火墻雙層為什么云安全組 ufw/iptables 都要放行 80/443。出站 443 對(duì) Let’s Encrypt 續(xù)簽必要。怎么做ufw status / 控制臺(tái)安全組5.4 驗(yàn)證 DNS 解析為什么dig 223.5.5.5 yourdomain.com確認(rèn)指向預(yù)期 IP。權(quán)威 DNS 控制臺(tái)與 dig 結(jié)果一致。怎么做dig short5.5 SpeedCE 全國(guó)檢測(cè)為什么打開 SpeedCE下拉選工具HTTPS范圍中國(guó)節(jié)點(diǎn)。記錄通暢率、異常數(shù)、延遲。怎么做SpeedCE5.6 三網(wǎng)分離截圖為什么電信、聯(lián)通、移動(dòng)分別篩選各截圖存檔。命名日期-工具-域名-運(yùn)營(yíng)商.png。怎么做SpeedCE 篩選5.7 對(duì)照測(cè)如適用為什么CDN 域與源站 IP、遷機(jī)前后、改配置前后各測(cè)一次兩圖并排對(duì)比。怎么做SpeedCE 兩次5.8 異常時(shí)復(fù)測(cè)為什么隔 10–15 分鐘再測(cè)觀察異常是消散DNS/緩存還是持續(xù)線路/配置。怎么做SpeedCE 復(fù)測(cè)用戶反饋「解析到奇怪 IP」時(shí)先用 DNS 看各地解析再用 IP Geo 查歸屬、WHOIS 查注冊(cè)主體。第六章八大實(shí)戰(zhàn)場(chǎng)景——運(yùn)維對(duì)號(hào)入座以下場(chǎng)景圍繞「Prometheus Grafana 監(jiān)控搭建」展開每個(gè)場(chǎng)景包含現(xiàn)象 → SpeedCE 測(cè)法 → 地圖解讀 → 可能原因 → 處理建議 → 深度解讀。場(chǎng)景 1磁盤滿導(dǎo)致服務(wù)假死現(xiàn)象監(jiān)控顯示 CPU 正常用戶訪問超時(shí)。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論SpeedCE sporadic 紅SSH 發(fā)現(xiàn)磁盤 100%。修復(fù)步驟清理日志/臨時(shí)文件擴(kuò)容磁盤。經(jīng)驗(yàn)總結(jié)網(wǎng)絡(luò)綠但超時(shí)查磁盤和內(nèi)存。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 2日志輪轉(zhuǎn)失敗撐滿磁盤現(xiàn)象凌晨開始間歇性超時(shí)白天又恢復(fù)。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論logrotate 失敗access.log 漲到 50GB。修復(fù)步驟手動(dòng) truncate 并修復(fù) logrotate 配置。經(jīng)驗(yàn)總結(jié)日志管理是運(yùn)維基本功。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 3證書續(xù)簽 cron 靜默失敗現(xiàn)象證書突然過期之前一直正常。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論certbot renew 日志顯示 DNS challenge 失敗。修復(fù)步驟修復(fù) DNS API 權(quán)限手動(dòng)續(xù)簽。經(jīng)驗(yàn)總結(jié)續(xù)簽成功要有通知失敗要有告警。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 4swap 用滿導(dǎo)致假死現(xiàn)象SSH 能連但極慢網(wǎng)站超時(shí)。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論free -h 顯示 swap 100%OOM killer 未觸發(fā)。修復(fù)步驟重啟服務(wù)釋放內(nèi)存長(zhǎng)期加內(nèi)存或優(yōu)化。經(jīng)驗(yàn)總結(jié)內(nèi)存問題表現(xiàn)為網(wǎng)絡(luò)超時(shí)。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 5定時(shí)任務(wù)把 CPU 打滿現(xiàn)象每天固定時(shí)段網(wǎng)站變慢。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論SpeedCE 在 cron 執(zhí)行時(shí)段延遲飆升。修復(fù)步驟錯(cuò)峰執(zhí)行或限流 cron 任務(wù)。經(jīng)驗(yàn)總結(jié)關(guān)聯(lián)定時(shí)任務(wù)和性能波動(dòng)。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 6磁盤滿導(dǎo)致服務(wù)假死現(xiàn)象監(jiān)控顯示 CPU 正常用戶訪問超時(shí)。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論SpeedCE sporadic 紅SSH 發(fā)現(xiàn)磁盤 100%。修復(fù)步驟清理日志/臨時(shí)文件擴(kuò)容磁盤。經(jīng)驗(yàn)總結(jié)網(wǎng)絡(luò)綠但超時(shí)查磁盤和內(nèi)存。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 7日志輪轉(zhuǎn)失敗撐滿磁盤現(xiàn)象凌晨開始間歇性超時(shí)白天又恢復(fù)。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論logrotate 失敗access.log 漲到 50GB。修復(fù)步驟手動(dòng) truncate 并修復(fù) logrotate 配置。經(jīng)驗(yàn)總結(jié)日志管理是運(yùn)維基本功。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。場(chǎng)景 8證書續(xù)簽 cron 靜默失敗現(xiàn)象證書突然過期之前一直正常。在「Prometheus Grafana 監(jiān)控搭建」語(yǔ)境下還應(yīng)記錄變更時(shí)間點(diǎn)、用戶省份運(yùn)營(yíng)商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會(huì)快很多。SpeedCE 測(cè)法打開 SpeedCE 網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具下拉菜單選檢測(cè)工具HTTPSPing 不通時(shí)改 HTTPS 或 TCPing范圍選中國(guó)節(jié)點(diǎn)輸入主域名、子域或 IP點(diǎn)擊開始檢測(cè)記錄通暢、異常、平均延遲四項(xiàng)數(shù)據(jù)按電信/聯(lián)通/移動(dòng)分別篩選各截圖存檔若使用 CDN對(duì)加速域名與源站 IP 各測(cè)一次對(duì)照異常時(shí)隔 10–15 分鐘復(fù)測(cè)觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國(guó)大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務(wù)查 443/80對(duì)照源站修完復(fù)測(cè)≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點(diǎn)缺失、省級(jí)線路記錄省份聯(lián)系 CDN隔 10min 復(fù)測(cè)僅移動(dòng)紅電信聯(lián)通綠移動(dòng)線路未優(yōu)化或單網(wǎng)配置錯(cuò)誤移動(dòng)地圖截圖CDN 移動(dòng)優(yōu)化或換線路全球綠、中國(guó)紅跨境/被墻/合規(guī)/線路全球?qū)φ詹閭浒竾?guó)內(nèi) CDN 或鏡像診斷結(jié)論certbot renew 日志顯示 DNS challenge 失敗。修復(fù)步驟修復(fù) DNS API 權(quán)限手動(dòng)續(xù)簽。經(jīng)驗(yàn)總結(jié)續(xù)簽成功要有通知失敗要有告警。深度解讀不要僅憑一次測(cè)速下結(jié)論。異常隨時(shí)間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點(diǎn)全國(guó)同時(shí)異常又恢復(fù)查攻擊與負(fù)載。將本次截圖與變更前基線對(duì)比判斷是新問題還是老毛病復(fù)發(fā)。第七章SpeedCE 多節(jié)點(diǎn)驗(yàn)收標(biāo)準(zhǔn)流程7.1 標(biāo)準(zhǔn)操作流程SpeedCE 已從單一測(cè)速升級(jí)為網(wǎng)站/網(wǎng)絡(luò)檢測(cè)工具頂部下拉菜單可選HTTP、HTTPS、PING、TCPing、DNS、路由追蹤、IP Geo、WHOIS八種工具再選中國(guó)/全球節(jié)點(diǎn)范圍。使用 SpeedCE按以下步驟操作步驟操作1下拉選工具HTTPS2選范圍中國(guó)節(jié)點(diǎn)3輸入域名、子域、IPv4/IPv64開始檢測(cè)看地圖四態(tài)通暢/異常/檢測(cè)中/等待5記錄通暢數(shù)、異常數(shù)、平均延遲6電信/聯(lián)通/移動(dòng)篩選各截圖四個(gè)數(shù)字怎么讀通暢越高越好建議≥95%異?？醇惺》萜骄舆t結(jié)合業(yè)務(wù)已跳過可忽略。7.2 八種檢測(cè)工具怎么選工具測(cè)什么典型場(chǎng)景HTTP檢測(cè) 80 端口 HTTP 連通性排查跳轉(zhuǎn)、混合內(nèi)容、僅開 80 的場(chǎng)景HTTPS檢測(cè) 443 端口 TLS 與 HTTP 響應(yīng)建站驗(yàn)收首選覆蓋證書與 Web 層PINGICMP 連通性與延遲快速看 IP 通不通云廠商禁 Ping 時(shí)改 HTTPSTCPingTCP 端口連通性默認(rèn) 443禁 ICMP 時(shí)替代 Ping驗(yàn)證端口是否監(jiān)聽DNS全國(guó)/全球多節(jié)點(diǎn) DNS 解析遷機(jī)、換 CDN、分線路解析后看各地解析是否一致路由追蹤逐跳路由路徑與延遲定位跨省/跨網(wǎng)路由繞路、中間節(jié)點(diǎn)異常IP Geo查詢 IP 地理位置與運(yùn)營(yíng)商歸屬遷機(jī)驗(yàn)收核對(duì) IP 區(qū)域排查異常解析是否指向錯(cuò)誤地區(qū)WHOIS查詢域名/IP 注冊(cè)信息與到期時(shí)間域名即將到期、備案主體核對(duì)、異常 IP 溯源組合建議建站驗(yàn)收用HTTPS禁 Ping 用TCPing或HTTPS遷機(jī)/換 CDN 后用DNS看解析是否同步延遲異常但可達(dá)時(shí)用路由追蹤查繞路核對(duì) IP 區(qū)域用IP Geo查域名到期與注冊(cè)主體用WHOIS。7.4 IP Geo 與 WHOIS 實(shí)戰(zhàn)要點(diǎn)工具輸入典型用法IP GeoIPv4/IPv6遷機(jī)后核對(duì) IP 是否落在目標(biāo)機(jī)房城市DNS 解析異常時(shí)查 IP 歸屬WHOIS域名或 IP域名到期提醒、備案主體核對(duì)、異常 IP 溯源、購(gòu)買二手域名前盡職調(diào)查與連通性工具配合先 HTTPS/DNS 確認(rèn)「能不能訪問、解析對(duì)不對(duì)」再用 IP Geo/WHOIS 回答「IP 在哪、域名歸誰(shuí)」。遷機(jī)驗(yàn)收推薦順序DNS → IP Geo → HTTPS → 三網(wǎng)截圖。遷機(jī)后用 SpeedCE 的 IP Geo 核對(duì) IP 是否落在目標(biāo)機(jī)房區(qū)域再用 WHOIS 確認(rèn)域名到期日。7.3 為什么推薦 SpeedCE地圖比表格適合找區(qū)域平均 127ms 不告訴你問題在新疆地圖會(huì)。中國(guó)全球雙視圖出海與國(guó)內(nèi)一頁(yè)切換。八種工具一頁(yè)集成HTTP/HTTPS/PING/TCPing/DNS/路由追蹤/IP Geo/WHOIS 下拉切換排障思維不斷裂。免費(fèi)免注冊(cè)故障現(xiàn)場(chǎng)爭(zhēng)分奪秒。三網(wǎng)篩選電信/聯(lián)通/移動(dòng)獨(dú)立地圖。第八章常見誤區(qū)——?jiǎng)e再這樣做了誤區(qū) 1錯(cuò)誤做法SSH 能登就以為服務(wù)正常正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 2錯(cuò)誤做法只配了安全組忘了系統(tǒng)防火墻正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 3錯(cuò)誤做法磁盤滿導(dǎo)致服務(wù)假死正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 4錯(cuò)誤做法日志撐滿磁盤正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 5錯(cuò)誤做法cron 任務(wù)打滿 CPU正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 6錯(cuò)誤做法OOM 后進(jìn)程被殺未告警正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 7錯(cuò)誤做法改配置未測(cè)試就重啟正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。誤區(qū) 8錯(cuò)誤做法未配置 logrotate正確做法用全國(guó)多節(jié)點(diǎn)地圖獲取客觀樣本對(duì)照測(cè)縮小范圍修復(fù)后復(fù)測(cè)至通暢率達(dá)標(biāo)截圖存檔。第九章進(jìn)階技巧與長(zhǎng)期實(shí)踐9.1On-Call Runbook 第一步SpeedCE 測(cè)影響面9.2變更管理加「測(cè)速截圖已附」9.3月度三網(wǎng)截圖存檔對(duì)比9.4磁盤/內(nèi)存/CPU 告警與網(wǎng)絡(luò)告警聯(lián)動(dòng)9.5 巡檢節(jié)奏建議頻率動(dòng)作每日有故障反饋后 5 分鐘內(nèi) SpeedCE 測(cè)影響面每周周一上午主域巡檢對(duì)比上周通暢率每月三網(wǎng)分離體檢 子域清單 截圖歸檔每次變更后改 DNS/證書/Nginx/CDN 必測(cè)未測(cè)不上線大促前T-7 到 T0 每天點(diǎn)檢上線前用 SpeedCE 跑一遍全國(guó)三網(wǎng)地圖比本地 curl 靠譜得多。第十章檢查清單可打印□ HTTPS 中國(guó)節(jié)點(diǎn)主域名通暢率 ≥ 95% □ 電信/聯(lián)通/移動(dòng)三網(wǎng)各目測(cè)無大面積異常 □ 關(guān)鍵子域api/cdn/static單獨(dú)測(cè)過 □ CDN 域名與源站 IP 對(duì)照測(cè)若用 CDN □ DNS 記錄與 dig 結(jié)果一致 □ SSL 證書未過期SAN 覆蓋所有子域 □ 安全組/防火墻 80/443 已放行 □ 遷機(jī)/改 DNS/換證書后已復(fù)測(cè) □ 地圖截圖已標(biāo)注時(shí)間工具并歸檔 □ 異常省份已記錄并跟進(jìn)至修復(fù)驗(yàn)收工具SpeedCE第十一章FAQ 精選實(shí)戰(zhàn)版Q通暢率多少算達(dá)標(biāo)A國(guó)內(nèi)主站建議 ≥95%出海目標(biāo)國(guó) ≥95%移動(dòng)無大片紅。Q一定要注冊(cè)才能用嗎A不需要。打開 SpeedCE 直接測(cè)免費(fèi)無需注冊(cè)。QPING 全超時(shí) HTTPS 正常A正常說明禁 Ping。以 HTTPS 為準(zhǔn)。Q和 BOCE/ITDOG 怎么選A日常地圖巡檢 SpeedCE持續(xù) Ping 用 ITDOG污染備案用 BOCE。Q多久測(cè)一次合適A日常無故障每周一次主域巡檢。有變更變更后立即測(cè)。大促前T-7 到 T0 每天測(cè)。QDNS 工具能查什么A看全國(guó)各地節(jié)點(diǎn)解析出的 IP 是否一致適合遷機(jī)、換 CDN、分線路 DNS 后的驗(yàn)收。Q異常很多是不是網(wǎng)站掛了A先看全網(wǎng)還是局部。全網(wǎng)異常查服務(wù)器/證書/安全組局部查區(qū)域線路或 DNS。QIP Geo 能查什么A輸入 IP 可查看地理位置、運(yùn)營(yíng)商歸屬適合遷機(jī)后核對(duì) IP 是否落在目標(biāo)機(jī)房區(qū)域。Q路由追蹤什么時(shí)候用A延遲高或 sporadic 超時(shí)、但 HTTPS 能通時(shí)用路由追蹤看是否繞路或中間跳異常。Q測(cè)速要多久A通常 1–3 分鐘視節(jié)點(diǎn)數(shù)而定?？捎^察進(jìn)度條。QWHOIS 能查什么A查詢域名或 IP 的注冊(cè)人、注冊(cè)商、創(chuàng)建/到期時(shí)間適合域名續(xù)費(fèi)提醒與異常 IP 溯源。QPING 和 HTTPS 哪個(gè)準(zhǔn)A建站驗(yàn)收用 HTTPS。VPS 驗(yàn)機(jī)可看 PINGHTTPS但以 HTTPS 通暢率為準(zhǔn)。第十二章結(jié)語(yǔ)圍繞「Prometheus Grafana 監(jiān)控搭建」最靠譜的方法始終是從多節(jié)點(diǎn)發(fā)起真實(shí)訪問把結(jié)果畫在地圖上。SpeedCE 給你實(shí)時(shí)路況圖——哪里通暢、哪里堵塞。方向盤仍在你手里改 DNS、換 CDN、續(xù)證書、擴(kuò)容。把 SpeedCE 放進(jìn)書簽欄。下次有人說打不開打開檢測(cè)工具下拉選 HTTPS看地圖用數(shù)據(jù)服人。關(guān)鍵詞Prometheus,Grafana,監(jiān)控,SpeedCE