99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
少妇高潮呻吟A片免费看软件| 91大操| www.99在线| 色五月天综合网| 五月天激情国产综合AV| 欧美色色色| 碰97 久| 激情综合网五月婷婷| 99热这里只有精品1025| 婷婷五月综合久久中文字幕| 色五月婷婷天天干| 色色网站免费在线视频| 九热视频| 午夜大香蕉| 久久久婷婷色五月资源网| 亚洲精品视频在线播放| 丁香五月六月| 五月丁香啪| 激情小说视频图片| 天天做天天爱天天综合网| 婷婷六月综合在线| 亚洲AV激情五月综合网| 日本色频| 欧美噜噜噜草| 亚洲五月天第一综合干| 99热 这里只有精品 国产 日韩| 久久婷婷五| 亚洲亚洲人成综合网络| 激情综合网婷婷久久| 丁香婷色| 久热九九| 五月花综合网| \\五月天婷婷激情| 亚洲色色色色| 米奇影视资源777狠狠色婷婷五月天激情网| AA丁香综合激情| WWW,五月| 婷婷色婷婷| 九热久| 婷婷综合在线视频| 啪啪综合| 婷婷色色五月天| 99亚洲视频| 四川操逼站| 综合久久十三| 1234操逼网| 五月丁香好婷婷A片网| 天天日日综合| 婷婷少妇激情| 九九热在线观看视频| 五月丁香啪啪网| www.99热在线| av网址在线| 99在线资源| 中文AV在线观看| 中文AV网站| 99在线精品在线视频| 伊人丁香花综合影院| 丁香五月六月婷婷自拍| 色停停五月天| 五月婷婷99热| 免费视频WWW在线观看网站| www.五月天婷婷| 99热思思| 丁香婷婷浪潮AV久久综合| www...com黄在线观看| 七月婷婷色香综合网| A片试看120分钟做受图片| 五月天丁香啪啪网| 中文字幕九九九九| 久久ri精品| 久久五月婷天天干| 九月激情综合| 婷婷五月丁香在线观看| 丁香五月五月婷婷| 9l视频自拍9l九色成人| 韩日AV片| 久久色情| 玖玖资源天天无码| 国产精品国产| 欧类av怡春院| 日韩视频女神99| 91热久久| 99这里是精品| 亚洲人妻av| 国产欧美熟妇另类久久久| 91无码色色| 日韩国产AV播放| 日韩黄色网络| 六月丁香婷婷色69| 人妻九九九九| 1024成人免费看| 一起草av在线观看| 免费碰碰视频久| 欧美日本高清视频99| 超碰不卡在线| 五月婷婷丁香五月婷婷| 激情久久久| 亚洲亚洲人成综合网络| 欧美精产国品一二三区| 激情五月婷在线精品| 999热这里只有精品| 精品久久99码| 日韩av高清| 九九热大香蕉| 九九99视频| 99网| 色综合中文色综合网| 天天色综合色色色色色。| 婷婷综合色五月天| 狠狠精品干练久久久无码中文字幕| 精品视频二级九九| 婷婷5月天激情综合| 五月婷婷综合久久| 无码人妻丰满熟妇奶水区码| 91蜜桃婷婷狠狠久久综合9色| 天天日夜夜夜操操操操| 丁香五月综合| 欧美精产国品一二三区| 天天综合五月| 五月天六月婷| 五月婷婷操操| 五月丁香日本片| 五月色丁香视频精品| 天天干夜夜想| 久久人人九九| 日本在线视频播放91| 国产精产国品一二三在观看| 思思99热这里只有精品| 伊人久久大香线蕉av一区| 综合久久五| 色婷婷久久| 丁香六月婷婷色XXXXX| 久久久久这里只有精品| 在线不卡视频| 99久久99九九99九九九| 五月天久久www| 亚洲激情综合五月婷婷啪啪| ..真实国产乱子伦毛片 | 五月丁香婷婷爱| 丁香网站| 久久全色| 婷婷丁香色五月久久88| 超pen个人视频97| 久久久18| 色婷婷狠狠18禁| 九九色网| 99精品在这里| 激情久久综合网| 人人干Av| 男人的天堂在线婷婷| 五月天婷婷午夜丁香| 婷婷在线视频| 五月天婷婷社区久久综合| 天天日天天操天天干| 亚洲色婷婷| 中文字幕人妻在线| 五月婷婷色影院| 欧美激情伊人| 亚洲激情综| 色婷六月| 亚洲综合成人网| 久草五月天| 婷婷开心激情| 色老久久| 久色网| 久久HD| 久久久久久久久久8888| 五月丁香六月激情综合| 婷婷爱综合| 九九热最新| 久久激情五月| 日本人妻伦在线中文字幕| 丁香五月婷婷亚洲色图| 日本人人超碰| 婷婷六月丁香欧美视频在线| 在线资源av-超碰中文在线-成人AV | 精品一二三区久久AAA片| 久久人操| 婷婷五月天影院| 婷婷五月深深的爱| 一级片无码| 五月丁香激情六月| 4399在线观看免费高清黄色视频| 丁香五月最新地址| 台湾综合丁香五月蜜桃| 精品99*| 婷婷五月成人系列| 激情五月综合网最新| 日韩久热| 五月婷婷亚洲综合网| 91打屁股免费看| 婷婷五月天免费| 国产精品爽爽久久久久久| 久久久久久久久久久97| 婷婷综合五月| 另类激情网| 亚洲123区高清入口| 色情婷婷五月天| 亚州操操| 4438亚洲欧美| 99热1| 婷婷啪啪| 丁香婷婷综合影院| 五月丁香黄色视频| 激情小说五月欧美亚洲丁香| 色色婷婷五月天| 99精品国产乱码久久久人妻| 99人妻碰碰碰久久久久视| 玖玖在线视| 九九色综合| 5月婷婷五月天| 中文精品在| 色综合五月天| 色婷五月天| 五月天丁香久久综合| 婷婷五月天高清无码| 色色色999| 人妻第九页| 九九无码| 丁香六月激情蜜桃| 欧美99| 婷婷情色开心五月天99| 丁香五月性爱| 五月丁香六月玩女人| www.激情五月天。com| 日韩在线视频9色| 啪啪色区| 五月丁香在线看| 五月丁香激情四射综合| 婷婷丁香精品视频在线观看| av大香蕉| 国产无套精品一区二区| 深爱开心激情| 热这里| 婷婷五月丁香六月| 丁香色影院| 26UUU在线观看| 日韩一级网站| 人人操超碰| 很很干天天干| 色婷婷婷婷| 天天干肏夜夜| 思思热在线视频观看精品| 日韩婷久| 丁香六月婷婷激情| 99免费超碰在线| 亚洲欧洲国产精品| 色情五月婷婷| 午夜电影网VA内射| 涩涩涩五月天| 色婷婷免费观看| 久久999久久999久久999久久| 99综合色| 性生活视频98791| 激情九九六月激情免费视频| 久久综合99| 久久婷婷综合网| 五月婷婷六月丁香五月| 欧美在线视频99| 操久久网| 性做爰1一7伦| 日韩 mm 不卡| 色色免费网站| 狠狠婷婷爱| 丁香伊人激情| 色情五月婷婷| 99色色| 国产精品99久久久久久久女警| 亚洲六月婷婷| 91狼友视频在线观看| 99爱操| 婷婷五月天亚洲综合网| 97人人搞| 婷婷五月免费在线| 欧美超级视频97| 五月天色图| 五月婷久久| 亚洲国产精品二二三三区 | 欧美搡BBBBB摔BBBBB| 欧洲电影在线观看免费版英语版| 丁香青青五月天| 91视频五月丁香| 97精品综合久久| 天天干夜夜操A片| 综合热无码| 五月婷婷六月丁香在线视频| www.狠狠| 久久无意婷婷| 六月丁香啪| 婷婷丁香激情五月天色色| 五月天播播中文字幕| 亚洲在线操| 开心五月深爱五月| 日韩在线观看亚洲| 五月天激情美女久久| 五月开心激情| 国产亚洲精品AAAAAAA片| 奇米色大香蕉| 婷婷五月天Av| 色丁香婷婷| 色婷婷成人做爰A片免费看网站| 99九九99九九九视频精品| 99热主页日本| 很很干夜夜干| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 超碰超碰在线| 日本eVa一区=区视频| 日韩操女| 天天操天天草天天草天天| 色激情五月| 专区无日本视频高清8| 午夜丁香久久久久久| 97资源欧美日韩大香蕉超碰一区| 色色色色色色色色综合网| 色香欲综合| 97ai婷婷| 天天日夜夜爽。| 婷婷五月亚洲综合| 高清国产AV| 涩涩涩婷婷| 9久热在线视频精品| 婷婷不干网| 97人人操人人干| 日本 @ va 免费| 亚洲人人操| 五月婷婷激情久久| 视频一二区| 久草婷婷网| 青草网在线观看| 六月丁香五月天| 欧美搡BBBBB摔BBBBB| 亚洲永久四色| 99爱视频在线| 久久久久久久综合狠狠综合| 婷婷五月综合激情| 激情久久久久久| 婷婷激情小说| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 成人精品免费在线观看| 夜夜操夜夜姧| 专区无日本视频高清8| 国产精品人妻欲求不满| 丁香五月影视| 97色婷婷成人综合在线观看| 婷婷综合网站| 日韩成人网址| 天天草天天爽| 人人澡天天色天天做| 国产操碰| 色婷婷五月天中文字幕| 亚洲午夜av| 久久99精品视频| 99噜噜| 91精产一区三区免费观看| 亚洲色综合性| 婷婷五月天午夜激情影院| 丁香五月婷婷色偷偷| 99精品久久久久久| 九九99精品视频在线观看| www九九免费视频| 丁香五月第九色| 五月天婷婷综合| 五月丁香婷婷福利| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 综合五月激情| 影音先锋五月天婷婷丁香在线观看| 五月婷婷网久久| 丰满老熟妇BBBBB搡BBB| 蜜桃婷婷丁香| www,com,五月色色| 伊人五月天| 九九sese| 综合九色| 国产激情AV| www.五月婷婷| 免费看欧美成人A片无码| 五月丁香在线精品| 99热 在线播放| 五月丁香亭亭| 天天做天天爱天天日| 97久久超碰| 亚洲九九九九| 久久色9| 高清不卡一区| 日本噜噜色网| 亚洲婷婷基地| 国产FREESEXVIDEOS性中国| 五月丁香六月婷婷a v| 一级韩国产精品毛| 丁香六月五月天| 3p日韩网站视频| 婷婷五月综合免费在线| 九九热最新地址| 天天摸夜夜爽天天做| 九九99偷拍视频| 婷婷内射视频在线| 天天干天天干天天干天天干天天干天天干天天 | 中文AV在线观看| 99re免费精品视频| 人人人舔人人人操人人人摸人人人97| www激情网站| www久久99| 这里精品| 九热在线这里有精品6| 婷婷热色| 亚洲成人网站在线观看| 久久九九国产精品怡红院| 99亚洲天堂| 五月久久综合| 天天精品视频免费观看| 九色啦蜜臀| 丁香五月激情宗合网| 五月桃花网综合| 婷婷五月大香蕉| 深爱激情网婷婷| 综合激情肏逼网| 亚洲精品无人区| 丁香六月激情四射| av狠狠操| 中文字幕性爱丰满| 九九成人高清视频| 九九色婷婷| 亚洲成人精品三区| 99视频在线观看地址| 四虎成人精品永久免费AV九九| 热的无码综合视频| 五月丁香啪啪拍| 9精品视频在线观看| 免看黄大片AA | 91婷婷| 色色色图| 岛国AV网| 在线1青婷| 99re这里只有精品视频6| 超碰色色综合| 久久新地此| 丁香五月瑟瑟| 99热在线极品极品| 久久小说网| 九九成人视频| 色99色| 天天爱天天秀天天做| 亚洲色vA| 内射丰满人妻| 色亭亭五月天网扯| 日日操夜夜爽天天天| 久草天堂| 99er这里只有精品视频| 四色永久成人网站| 九九精品在线视频观看| 激情五月综合网最新| 九草性爱| 久久精品五月天| 五月丁香少妇| 五月丁香六月激情综合| 丁香五月性| 婷婷五月亚洲综合| 97色色色色| 五月香婷婷| 男人天堂99| 成人电影在线免费试看| 五月丁香啪啪激情| 综合色图区| 青青草色在线视频观看| 婷婷五月在线免费| 思思99精品视频在线观看| 色婷五月婷婷| 一级A片天天操夜夜操| 九九爱看亚洲| 99热.com| 九九99九九99九九99视频网| 成人.在线日韩| www.97干视频| 五月婷婷丁香日韩在线| 五月天综合缴情网网站0| 超碰免费人人肏| www.超碰在线| 五月在线| 久热最新视频| 无码se| 午夜激情久久| 热思思九九| 色久九| 这里只有精品在线看| 亚洲综合99| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 能看的av网站| 五月天激情AAAA| caop在线视频| 五月婷婷,狠狠操| 尤物一区二区| 色综合久| 丁香五月婷久久| 激情深爱五月| 久久婷婷丁香六月天| 色五月综合网| 大香蕉九九操| 九九热青青草| 97搞在线| 色九九综合色| 国产肥白大熟妇BBBB视频| 九九99九九99偷拍视频免费看| 天天色综网| 色五月婷婷激情五月| 丁香婷婷色五月| 色九亚洲| 五月天婷婷激情在线色图| 国产黄色在线观看| 中文字幕丰满孑伦无码专区| 亚洲精品视频在线播放| 精品久久99码| 丁香五月在线播放| 久久婷婷五月| 99热这里只有精品66| 婷婷五月天网| 人妻久久久| 激情五月丁香六月| 噜噜色噜噜网| 蜘蛛女侠2003满天星免费观看| 色性日本| 婷婷五月丁综合| 狠狠干狠狠干狠狠干狠狠干| 激情婷婷丁香色五月综合| 99久热| 色色婷婷五月天| 精典久久| 91婷婷丁香| 丁香激情久久| 99久久综合| 色愛综合网| 开心五月婷婷激情| 五月婷婷色播视频| 热99精品视频观看| 久久这里只有国产精品视频| 色婷婷五月天不卡| 天天日综合| 99精品综合视频| 久久99久久99精品免观看粉嫩| 久久香蕉婷婷| 99热爱爱干干日| 亚洲色综合| 天天操天天爱天天日| 无码色色色色色| 丁香综合婷婷开心激情网| WWW,激情五月天,COM| 婷五月丁香俺| 色婷婷五月天激情综合| 999影院成人在线影院| 丁香婷婷五月基地| 久久九九国产精品怡红院| 五月婷婷六月丁香玖玖玫瑰91| 天天搞天天色综合| 六月丁香五月婷婷| 欧美特大片黄| 97碰成超视频免费视频| 五月丁香婷婷综合网| 狠狠做六月爱婷婷综合aⅴ| 日日操,日日爽| 五月丁香婷婷伊人| 五月婷婷,狠狠操| 九九色综合九九色| 香蕉久操| 黄色精品五月婷婷| 在线VA视频| 久久机热思思热| 亚洲va成人va成人va在线观看| 婷婷五月综激情| 五月丁香啪| 激情性爱五月天网页| 91综合视频在线| 久青操| 香蕉婷婷色五月| 久久亚洲婷婷| 色热久| 少妇人妻偷人精品无码视频新浪| 91窝窝| 91综合在线| 一区二区三区四区无码| 天天综合网91| 婷婷五月激情基地| 婷婷色五月丁香六月欧美啪| 五月天婷婷久久综合| 五月天综合久久| 日日杆天天| 教师性爱毛片| 五月丁香婷婷爱激情综合网| 国产精品五月天婷婷| 精品成人在线观看| 五月天婷久久| 丁香五月天啪啪| 激情小说 五月天| 啪啪99| 青青草伊人婷婷| 久久综合中文字幕| 91婷婷在线观看| 怡红院院在线导航网| 成人五月天视频| 婷婷六月丁香五月| 色五月天丁香婷婷色| 六月丁婷婷| 99国产精品久久久久久久久久久| 国产五月视频| 五月综合久久| 婷婷的色色五月天| 一级黄色片看看| 日韩色色网| 激情综合激情综合| 婷婷色色网站| 79亚洲精品少妇| av在线免费网站| 综合久久狠狠| 婷婷丁香五月天色播网站| 婷婷五月天视频| 亚洲网在线观看| 国产99热| 任你爽免费视频| 五月色情精品| 99re思思精品在线观看| 五月开心网| 极品色丁香| 天天干com| 色婷婷基地 | 香蕉婷婷| 婷婷精品免费久久| 偷拍91九色| 久久这里有精品视频| 国产精品人人做人人爽人人添| 色婷婷六月天| 婷婷丁香亚洲色综合91| 99自拍网| AA久久| 伊人婷婷五月天| av免费在线观看0| 五月色无码| 久久久免费精彩视频| 色婷婷免费视频| 婷婷五月综合网| 97碰 在线视频观看| 久色中文| 国产五月视频| 六月丁香五月激情婷婷| Www.sesese丁香| 中文不卡一二三区| 少妇水多A片太爽了| 狠狠狠婷婷五月综合| 五月丁香狠狠爱| 成人丁香五月| 久热免费| 99这里精品| 日本天天操| 99高级会所久久| 婷婷综合网| 久久五月丁香伊人青草| 韩国真做片在线观看| 丁香女人五月天| 色色激情五月天| 免费精品66| 熟妇人妻中文字幕无码老熟妇| 电影《战争与艾拉》免费观看| 五月天综合| 777久久综合视频| 五月婷婷六月丁香| 五月欧美色色五月| 九热视频在线伦| 很很干夜夜干| 亚洲黄色影视| 激情五月五月五月婷婷| 六月丁香AV| 精品久久人妻| 免费黄色片子| 午夜69成人做爰视频| 思思热性操| 蒲京久久无码视频| WWW.桔色成人.COM| 香蕉久久国产AV一区二区| 青青草成人网| 亚洲国产精品成人va在线观看| 超碰免费人人肏| 丁香五月在线观看| 色999五月色| 免费看欧美成人A片无码| 天天插天天干天天舔| 91人人人人人人人| 99碰网站| 国产在线6| 91色综合网站在线| 天天肏高清在线| 天天骑日日爽| 玖玖婷婷五月天毛片| 五月婷婷六月色| 日韩操人| 99亚洲精品综合在线| 色综合五月| 丁香色六月| 久久综合五月天激情小说网站 | 天天肏在线观看| 婷婷五月综合婷婷| 五月天丁香花婷婷| 国产精品美女| 丁香午夜天| 一区色色色色网| 99青青草99| 激情六月丁香| 综合五月天天天天天五月| 五月丁香综合影院| 综合五月天| 日韩啊啊啊| 亚洲日韩久久婷婷伊人| 色情久久久| 久久这里都是精品视频| 婷婷爱爱蜜臀天天操| 五月婷婷六月色| 五月天亚洲综合网| 五月天自拍网| 丁香五月激情啪| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月天综合影院| 开心五月激情网| 97久久精品视频| 色婷婷电影网| 91久久色| 五月婷久久在线| 日韩成人AV在线| 99热亚州综合| 无码AV久久久久久久久| 日韩操逼大片| 综合色激情| 热热久久精品视频| 91婷婷搞| 综合网网欲色| 日韩无码AV电影网站| 人妻系列久久久久久久久久久 | 九九热精品| 99热成人| 人妻精品久久久久久久| 丁香五月综合色婷婷| 哇嘎成人久久| 春色激情| 极品人妻VIDEOSSS人妻| 久综合网| 七七色色综合| 色色射| 色情久久久| 丁香六月色婷婷欧美| 久久综合首页| 欧美啪啪网| 操逼亚洲天堂| 亚洲成人影视在线| 白人荫道BBWBBB大荫道| 天天舔天天爽| 久久97| 狼人狠狠操| 激情五月婷婷丁香| 99r这里只有精品在线观看| 久久在这里有精品| 日韩 欧美 国产 一区 二区| 99热老司机| 铁牛TV人妻| 操婷婷久久| 激情AV综合| 亚洲精品又粗又大又爽A片| 亚洲最大视频| 99精在线| 狠狠操狠狠操| 欧美激情综合色综合啪啪五月| 啊V视频在线观看| www.色9| 色天堂A| 色激情五月| 九九成人| 丁香六月婷婷色播| 天天肏天天肏天天肏| 狠狠高潮精品亚洲1| 久色欧美| www天天色天天射| 综合网视频| 色欲九区| www.91久久| 99久久婷婷国产综合精品草原| 欧美色色色色色色色| 91久久综合| 久热AA| 99热国产精品| 99在线精品视频免费| 婷色人人狠| 五月视频日本免费观看| se99在线| 99国产小视频| 丁香婷婷成人网站| 激情综合色图| 久久婷婷成人综合色怡春院| www.婷婷| 亚洲中文字幕AV在线| 激情五月四色| 久久婷婷色综合老司机| 99WWW免费视频| 天天色图| www.sd-xiangsu.cpm| 婷婷成人五月天一区| 五月天婷婷青青草| 激情五月天在线免费美女视频| 超碰高清在线| www.99视频| 青柠影视免费高清电视剧| Av狠狠色丁香婷| 日韩美女在线视频19| 成人丁香色| 亚洲午夜精品久久久久久人妖| 五月婷成人网| 久久人妻伦理| 九热...av| 婷婷丁香久久| 婷婷情色五月| 日日干天天射| 伊人六月无码视频| 色五月天综合网| 亚洲色啪| 青青草青青草五月天| 97人人看一| 亚洲激情亚洲激情| 99日韩网站| 黄网免费看| 99久久国产宗和精品1上映| 丁香五月色激情| 婷色五月天| 天天综合.com| 99热手机在线精品| 婷婷五月在线观看| 久久久色情| 丁香五月激情婷婷视频| 99日这里只有精品| 色婷婷AAA| 91夫妻视频| 色五月五月婷婷| 激情小说五月天中文字幕| www.国产色| 天天插天天爱| 人人干人人操外国| 777久久精品| www.久热| 中文毛片无遮挡高潮免费| 一区三区视频有限公司| 色婷婷五月基地在线| www.99热这里精品| 成人视频网| 婷婷欧美激情| 色色丁香五月婷婷| 九九这里是免费的视频5| 99久久99综合| 色五月首页| 婷婷激情五月天激情| 色综合五月天| 天堂综合久久| 色天天综合成人网| 五月色影院| se.久久视频在线观看| 无码网| 亚洲精品视频电影| 伊大人久久| 丁香六月婷婷久久综合八月| 天天色天天日| 伊人婷婷大香蕉在线| 色婷婷99| 另类激情五月在线视频欧美| 性生生活大片又黄又| 色五月婷婷av| 五月丁香五月综合欧美| 久久综合婷婷激情| 人妻性爱av网站| 97亚洲婷婷| 丁香五月婷婷老师网站| 六月亚洲| 777色色色| 九九热99视频在线| xxx.色婷婷| 日本黄 色 片| bbwcuckold精品熟妇| 中美日韩成人在线| 婷婷综合日本| 五月天激情AV| 又大又粗九一在线| 热99视频精品| 激情六月婷婷| 99热99在线| 色热久| 99碰| 涩涩五月天| 99热很操老逼| 九九热精品6| 日韩青青| 开心五月综合激情综合五月| 99在线精品视频| 久热久色| www.99热视频| 色 免费网站视频| 五月天社区| 久草 天堂| 色色五月婷婷久久| 亚洲无aV在线中文字幕| 五月丁香成人视频| 午夜福利8055| 五月丁香亚洲综合| 婷婷丁香黄色| VfJxEwPH| 色yeye色综合| 天天干夜夜想| 色天堂操| 五月婷婷六月丁香| 久久婷婷五月天激情四射| 激情九色| 人人操日| 丁香六月婷婷色XXXXX| 99热超碰| 免费精品99| 三区激情四射av| .精品久久久麻豆国产精品| 婷婷5月天av| 丰满少妇猛烈A片免费看观看| 狠狠狠狠狠狠狠狠草| 九九九激情综合| 亚洲色欲AAAAAA| 精品9久| 五月婷亚洲精品| www.无码com| 亚洲天堂大香蕉| 97操视频| 91Chinese在线| 伊人天天色| 草榴视频黄色网| 美女五月天| 久久九九国产| 久久99久久99精品免视看婷| 丁香五月婷婷亚洲人| 精品久热| 日本激情五月天‘| 丁香五月婷婷大香蕉| 日本啪啪天堂| 中文字幕丰满乱孑伦无码专区 | 欧美精品999| 五月天社区| 天天橾日日橾夜夜橾17| 日本大逼91| 亚洲黄色精品| 激情涩涩网| 新激情五月天| 无码动漫av| site:901-07.com| 色狠狠色综合久久久绯色aⅴ影视| 中文字幕色色| 9999三级片| 婷婷五月天在线观看| 五月激情网综合| 天天肏高清在线| 五月天伊人| 人妻操操色| 五月婷婷六月丁香玖玖玫瑰91| 超碰人人操人人干| 79成人网| 色色色色区| 99性爱视频| 婷婷色情五月| 色五月琪琪| 爆乳熟妇一区二区三区四区| 激情综合五月开心狠狠| 亚洲一个色| 99干在线视频| 美女五月天| 婷婷色网站| 婷婷97碰碰| 色呦精品| 伊人网大香| 91啪级电影| 亚洲色图45p| 99ER热精品视频| 色色色婷婷| 深爱五月天 开心网| 五月天激情啪啪| 麻豆WWWCOM内射软件| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 99热碰碰热| 怡红院院久久| 婷婷人人操| 99久久超级| 亚洲操b| www,av好吊操| 亚洲 综合中文| 成人AV网站在线| 一本大道嫩草AV无码专区| 五月天播播| 中国AV性爱观看| 97丁香婷婷| 五月丁香亭亭A片| 狠狠色婷婷7777久| 99久在线精品99re5热视频| 国产26uuu视频| 一逼色综合| 色色婷婷婷丁香五月天| 国产全是老熟女太爽了| 久热黄色| 久久偷拍综合五月天| 五月激情另类| 99久久综合网| 婷婷激情五月天小说| 黄色中文字目| 99热最新网址| 9色在线视频| 色五月婷婷色五月婷婷色五月婷婷| 久久99热免费| 婷婷丁香五月综合| 久9热视频| 超级碰 久久9| 久操欧美在线观看97| 五月丁香六月婷婷网| 色综合大香蕉| 色五月色五天免费视频| 六月婷婷亚洲| 激情网第四色| 婷婷五月综合色中文字幕| 色色色五月婷| 五月天大香蕉AV| 五月丁香综合精品欧美| 天天爽天天爽| 激情小说在线视频| 97视频91| 99热精品99| 色五月激情网| 天天插天天插天天插天天插| 涩涩婷婷五月| 好吊丝aV| 在线五月色播| 久热这里只有精品在线观看 | 九九热99在线视频| 操逼电影免费看| 99热传媒| 综合久久五| 深夜婷婷 丁香| 免费无码毛片一区二区A片| 婷婷色综合| 性做久久久久久久免费看| 久久丁香五月婷婷| 欧洲色色| 五月天色五月| 亚洲精品亚洲人成人网| 99色在线视频| 婷婷成人视频| 亚洲精品亚洲人成人网| 欧美色频| 九九碰九九爱97超碰| 99精品视频网| 大香蕉手机视频| 欧美婷婷| 欧类av怡春院| 色色五月婷婷狠狠| 99色综合久久| 九九色中文| 婷婷色六月| 五月天停停日日| 欧美三级黄色片久久| 999激情视频| 99日本精品视频热| 99成人网一区| 天天拍夜夜撸| 能看的av片| 99热这里只有精品 搜| 亚洲A色| www.99热这里精品| 大香蕉久久久| 五月色综合| 国产精品18久久久| 操大屄五月天视频| 五月天伊人久久| 夜夜大香蕉婷婷丁香| 精品激情| 一区二区三区四区五区| 日韩精品色| 色欲一二三| 色婷婷www| 五月天色图| 99超碰欧美| 99九九视频| 久久久久人妻精品| 国产精品天天狠天天看| 五月综合激情网| 9 1在线视频| 亚洲久热| 99re这里有精品手机在线| 婷婷五月天第三页| 91干视频| 久草热8精品视频在线观看| 久久加勤综合| 亚洲午夜电影| 99精品色色| 这里只有精品视频99| 国産精品| 激情内射人妻1区2区3区| 欧美色偷偷大香| 天天摸天天肏| 五月天婷婷久色| 人人视频人人干人人做| 五月天婷婷在线观看| 美女久久婷婷| 九九re精品视频在线观看| 欧美激情Va| 99精品在线观看视频| 九九99久久| 伊人天堂婷婷| a在线观看| 玖玖资源天天无码| 九色91视频| 四川女人毛多水多A片| 99热在线观看99| 精品在线| 婷婷色色婷婷| 91操人| caopeng97人人| 色9色| 色色色婷婷| 人妻熟女一区二区AV| 婷婷丁香五月激情密臀av| 久久AAAA片一区二区| 日本色爽| 精品国产一区二区三区四区阿崩 | 久久九网| 国产一级片| xxx.色婷婷| www久久久| 婷婷色五月开心五月| 日日婷婷不卡| 色婷天天| 婷婷五月丁香国产| 亚洲VA欧美VA| 天天插天天干| 久久婷婷五月综合色丁香花| 色9999日韩国产| 婷婷六月久久综合导航| 久久99网站| 亚洲婷婷久久综合| 丁香六月视频免费观看| 精品久久99码| 婷婷综合在线播放| 色五月婷婷天天操夜夜操| 五月激情站| 97久操视频| 五月婷婷插一插| 99热国产免费| 色综合久久88色综合天天看| 亭亭社区五月天| 91久久久久久| 色婷婷欧美| 新激情五月天天在线网| 五月丁香亭亭激情操逼网| 色色日韩| 91九色丨国产丨爆乳| 久热AⅤ| 天天日天天做天天操| 91操碰| AV在线资源| 五月婷婷AV| 丁J香六月首页| 99精品在| 九九这里只有精品| 超碰女人天堂| 婷婷五月天影视首页| 色婷婷亚洲综合网站| 在线综合婷婷| 五月丁香网站| 激情五月综合网最新| 色五月丁香婷婷久草| 任我肏视频精品| 五月天婷婷青青草| 国产美女无遮挡裸体毛片A片| 大香蕉啪啪啪| 91日本在线观看| 任你擦免费视频| 人人操av| www.99免费视频| 日本久久爱| 天天爽夜爽| 婷婷丁香五月天操逼| 五月精品免费XXX| 免费看欧美成人A片无码| 99热精品10| 噜噜噜狠狠色综合| 亚洲五月丁香综合网| www.国产色| 婷婷五月激情网站| 欧美婷婷五月丁香| www.婷婷| 婷婷伊人綜合中文字幕小说| 久久免费9| 色五月婷婷影院| 丁香五月婷婷色| 欧美丁香婷婷五月| www.激情五月天。com| 丁香五月在线观看| 26uuu视频欧美| 天天操夜夜操| 日本天堂网站99| 91九色中文字幕女在线观看| 色五月婷婷基地| 亚洲有码在线视频| 99亚洲视频| 五月丁香色| 天天日,天天插| 狠狠操天天操| 少妇性按摩无码中文A片| 婷婷五月免费在线| 超碰69天堂| 99视频在线精品| 97在线刺激| 99久久99久久综合| 亚洲五月丁香综合网| 亚洲成av人影院| 色狠狠综合| 激情婷婷综合网| 激情综合九月| 亚洲激情亚洲激情 | 久久这里有精品视频| 久热婷婷在线视频| 久久精品4| 99re思思| 亚洲中文字幕在线观看| 拳交大逼| 久综合九| 丁香五月综合| 亚洲 无码 中文字幕 中出| 色婷婷小视频| 欧美日比视频| jiujiu热在线视频| 熟女少妇内射日韩亚洲| 亚艹艹| 婷婷丁香五月天影院| 九九热只有精品| 婷婷亚洲丁香五月| 97在线日韩| 情色五月天网站| 五月天色婷伊人| 男同色五月开心五月激情五月| 五月婷婷影院| 丁香五月婷婷婷婷欧美综合| 色网五月婷婷| 99这里热| 日韩草草草草草草草草草草草草| 91日在线视频| 情色婷婷五月天| 亚洲五月丁| 国产AV不卡福利| 久久婷婷五月综合| 99精品视频网站| 日日爱678| 亚洲日比视频| 三级黄网站| 久久欧洲综合网| 日韩人妻在线观看| 日本精品人妻无码77777| 深爱婷婷网| www。狠狠干。com| 婷婷日本色| 综合色99| 五月婷婷丁香婷婷| 色综合爽| 五月亭大香蕉| 亚洲精品久久久无码| 久久99精品久久久久久三级| 色色婷五月天|