99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色偷偷AV亚洲男人的天堂| 成人国产综合| 99精品在线| 日日操,天天操| 国产AV不卡福利| 成人免费120分钟啪啪| 色播播五月| 色色成人網| 五月婷婷,狠狠操| 亚洲精品V天堂中文字幕| 色欧美影院| 婷婷五月俺要去| 婷婷五月天黄色网址| 国产精品久久久爽爽爽麻豆色哟哟 | 99久久久久久www| 99热啪啪| 色综合久久888| EEUSS鲁片一区二区三区| 精品色色网| 色啪影院| 婷婷天堂站| 91传媒无码人妻精| 激情婷婷五月在线合集| 91在线资源| 97色色视频| 五月婷婷三级| 久久99久久99精品免视看婷婷| 色色色色色色网站| 色播五月天激情| 婷婷丁香色五月久久88| 无月播播激情在线观看视频| 亚洲人人操BD| 色五月丁香伊人五月| 综合狠狠干| 久久久久久久97| 五月天堂色色| 玖玖婷婷色五月| 超碰中文字幕在线| 99久久精品国产色欲| 免费观看日韩成人av| 最近中文字幕2019视频1| 婷婷综合久久| 做爰丰满少妇1313| 爆乳熟妇一区二区三区四区| av婷婷丁香| 亚洲精品白浆高清久久久久久 | 2w在线视频| 六月亚洲婷婷6月中文字幕| 热99精品视频| 91操碰| 大香蕉九九热| 色婷另类| 日本色99| 五月婷婷综合网| 五月天婷婷社区久久综合| 人操91在线| 亚洲综合色婷| 伊人大香蕉毛片| 图片区 小说区 区 亚洲五月| 精品久久艹| 人妻人人操| 久久久婷婷五月亚洲97号色| 激情婷婷久久| 婷婷金品综合视频| 婷婷婷久久久| 五月天色五月| 日本4399天堂中出| 狠狠色噜噜狠狠狠狠狠色综合久久| 国产精品99久久久久久久女警| 色色色色热| 久久三级视频| 亚洲亚洲人成综合网络| 97人人操人人拍| 99成人在线观看| 五月婷婷六月天| 日本在线va| 99色热视频在线| www.婷婷五月天.com| 国产色色色色| 亚洲综合99| 狠狠操狠狠爱| 欧美A级成人婬片免费看理论| 曰韩五月丁香色婷婷无码| 大香蕉综合视频在线| 色色欧美色色色| 狠狠干.com| 国产九月婷婷| 综合色99| 亚洲va欧美va国产综合久久久| 五月婷婷欲色| 啪啪99| 婷婷五月色情天| 丁香五月电影| a免费在线| 狠狠 久久| 久久99看免费| 五月天免费色| 99久久这里只有精品| 99re在线精品视频| se色婷婷视频| 五月天丁香成人社| 五月婷婷九月婷婷九月婷婷| 色婷婷六月天| 91av传媒高清在线视频网| 五月激情综合婷婷| 成人天天爽| 婷婷激情鹿城五月天| WWW五月| 超碰在线观看9| 综合网亚洲| 熟妇内谢69XXXXXA片| 伊人久久大香线蕉亚洲五月天,| 狠狠色色综合| 婷婷夜夜夜夜| 五月天综合视频| 九九9久九9国产视频| 久久久九九九 99| 久久五月网| 五月天婷五月天综合网在线观| 亚州精品久久久久AV无码| 丁香五月天视频| 九九热超碰| 991自拍视频| 九色七七| 五月婷六月婷婷| 婷婷五月天基地| 久久免费精彩视频| 99丁香五月婷| 久久婷婷五月综合色和| 国产精品久久久久久亚洲毛片| 丁香六月欧美| 久热中文字幕在线线观看| 九九综合色| 67194线路二在线观看| 丁香五月婷婷亚洲色图| 玖玖资源天天无码| 精品色色| 91狠狠色丁香婷婷综合久久| 婷婷在线激情| 麻豆忘忧草午夜| 丁香五月久久| 大香蕉婷婷五月天| 99久久精品国产色欲| 七七九九色色| 丁香六月婷婷| 亚洲综合婷婷| 色天堂A| 丰满少妇猛烈A片免费看观看| 国产avapp 网| 99热色精品| 蜜臀久久99精品久久久久久酒店| 噜综合| 亚洲啪啪网| 亚洲黄网AV| 色性综合| 免费亚洲婷婷| 天天色天天爽| 午夜婷婷| 色婷婷成人在线| 另类视在线| 九月婷婷在线视频| AV79| 激情色五月天| 色婷婷九月| 激情丁香五月| 青草久久五月婷伊人| 狠狠爱综合| 黑人熟妇一区二区三区| 日本天堂免费99| 九九热99在线视频| 六月丁香五月天| 亚洲狠狠终合停停终合| 色5月婷婷| 亚洲亚洲人成综合网络| 午夜性爱影视一区77| 丁香六月激情综合| 清色五月天| 日韩无码专区| 色青青视频| 色吧综合网| 久久丝丝热| 欧美六月| 色婷婷六月性| 碰97 久| 99色热视频| 欧亚成人A片一区二区| 欧美狠狠草| 天天色宗合| 六月婷婷激情图片| 91日本在线观看| 俺来也综合网精品一区| 丁香五月天激情综合| 五月天无码| 成人丁香五月| 六月婷婷七月丁香| 青青草原爱爱网| 日日操夜夜骑| 久久与婷婷| 大香蕉人妻| 五月激情视频| 久久九精品| 国产亚洲AV人片在线| 五月天激情网页| 我淫我色婷婷五月天激情四射| 色婷婷九月综合| 日韩国产AV播放| 五区毛片七区毛片| 久久婷婷网| 99九九视频| 五月天激情播播网| 久热精彩视频98| 丁香五月天激情视频| 国产精品视频网| 婷婷综合亚洲| 婷婷六月天精品| 激情五月丁香婷婷夜夜操| 91操人视频| 婷婷久久大香蕉| 五月综合激情久久| 99热黄| 色综合久久88色综合天天99| 天天射影| 毛片蕉地一二| 中文av网站| 综合狠狠干| 国产三级在线播放| 亚洲久久激情| 日本色色视频| 天天爽日日搞| 六月婷色| 9精品久久999| 亚洲欧美成人在线| 五月丁香做爱视频| 99开心五月五月丁香激情| 亚洲婷婷五月天| 亚洲日韩欧美综合VA| 超碰色婷婷| 日本乱子人伦在线视频| 91人人操人人爱| 日本人妻丁香婷婷久久寝取熟女五月| 综合精品99| 五月丁香婷婷基地| 九九综合| 欧洲激情五月天| 超碰A V在线| 色5月婷婷| 丁香五月婷婷激情123| 亚洲色色五月| 超碰熟女农村在线69| 激情网五月天| 99爱免费在线视频| 亚洲综合在线伊人婷| 国产毛片操B| av在线观看网站| 亚洲成人网站在线观看| 日本色色影院| 中文字幕1区2区。| 可以看的av网站| 综合色激情| 丁香五月在线人妻| 五月丁香六月综合基地| 人妻中文字幕精品| 99热九九九九| 欧美日本韩国亚洲| av九九| 婷婷五月天综合AV| 婷婷夜夜操| 色久婷婷网| 秋霞AV淫| www,色综合| 国产精产国品一二三在观看| 开心五月深爱五月| 综激情网| 久草性爱| 日本操B视频| 国产五月婷| 天天玩夜夜操天天爽| 男人天堂AV在线一区二区| 第九色区av天堂| 激情五月丁香五月| 色五月综合| 五月丁香六月婷婷色情| 亚洲热视频在线| 综合xx网| 综合激情五月丁香| 天天草天天爱| 婷婷的五月天另类视频| 婷婷丁香午夜综合影视| 干亚洲天堂| 久99久视频| 五月开心久久| 久久草中文日韩欧美| www.99精品视频| 婷婷五月丁香四射| 丁香婷婷老司机久操| 夜夜嗨一区二区三区直播内容 | 欧美 色婷婷| 九九色婷婷| 久久只有18视频| AV在线观看网站| 夜夜躁婷婷AV| 久久五月综合| 精品人妻伦一二三区久久| 99热最新| 亚洲人妻av伦理| 99操视频| 日韩av一区二区在线/日产精品久久久| 五月色综合| 亚洲综合激情五月久久| 又大又粗九一在线| 婷婷丁香大香蕉| 91婷婷视频| 97luluse| 九九人人看| 亚洲AV无码影院| 激情五月天婷婷色色色色色色色色色色色 | 九九色热| 91夫妻视频| 大香蕉色婷婷伊人在线| 日本人妻久久| 97色片| 91丨九色丨国产打屁股| 99这里只有精品视频在线| 欧洲婷婷五月天| 婷婷综合成人五月天| 五月丁香色婷婷基地| 新激情五月天色播| 日韩另类在线观看| 这里只有精品视频| www.99操| 九九99免费视频| 久久丁香五月综合六月激情红杏视频| 色五月视频无码播放| 天天干天天爽天天爽| 韩国三级五月天婷婷。| 精品99视频| 97热视频| 婷婷五月色综合香五月| 国产av基地| 久久最新色色色| 五月丁香六月婷婷免费视频| 日日夜夜干| 超碰人妻在线| 亚洲av| 丁香色五月AV在线| 婷婷丁香六月| 五月天激情视频网站| 丁香五月人妻| 99热网精品| 碰碰碰91| 丁香五月大片| 色五月色图| 99re久久| 激情五月色综合网| 婷婷色5月天在线。| 精品国产va久久久| 天天影院色| 日本三级第一页| 色噜噜97视频在线观看| www.日日夜夜| 久久婷婷精品| 亚洲AV永久无码影院黑人| 无码九九| 99这里有精品| 午夜不卡久久精品无码免费| 久久久香| 五月激情六月宗合| AA片在线观看视频在线播放| 综合色五月天| 五月丁香淫淫婷婷婷| 综合网亚洲| W色综合| www91久久| 色噜噜狠狠色综合日日免费| 久9久9热久热| 久热爱大香蕉在线蜜臀悦色| 天天色五月| 久久婷婷五月天激情| 久久小说网| 婷婷综合色图| 99热在这里只有精品| 五月色综合| 丁香五月停停基地| 婷婷五月天狠狠搞干| 六月色色| 91超级碰碰碰| 亚洲欧州色情在线观看| 玩熟女五十AV一二三区| 欧美成人无码高清一区二区三区| 99久久www| 大香蕉福利导航| 成人必爱视| 婷婷中文无码| 97黑人精品区| 天天舔天天爽| 九九热99在线视频| 天天爽天天日天天舔| 国产精产国品一二三在观看| 色婷婷五月天中文字幕| 色婷婷婷婷| 婷婷五月激情综合啪啪| 婷婷色5月激情网| 国产AV一区二区三区日韩| 人妻av在线| 日本一毛片| 综合久久六月| 久久99激情丁香婷婷小说网| 婷婷丁香18| 五月激情五月丁香| 日韩婷婷| 五月丁香六月激情综合网| 九九AV在线| 久久99精品日本| 激情综合丁香五月| 久操大屁股女人av| 日日操天天操| 超碰人人91| 激情图片五月天| 五月色亭丁香| 99热这里只有精品86| 激情综合网激情五月婷婷| 伊人婷婷激情| www五月婷婷| 99精品久久久久久久婷婷久久| 国产美女无遮挡裸体毛片A片| 丁香婷婷性爱| 六月丁香网| 婷婷丁香五月天色播网站| 丁香五月色| 丁香五月天欧美成人| 亚洲色五月天| 久久这有这里精品| αv中文字幕在线观| 天天艹夜夜爽| 丁香五月天社区婷婷| 伊人久久五月天综合| 九九精品9| 天天情色综合网| 一起草日本| 激情五月婷婷视频一区二区三区| 亚洲啪啪网| 亚洲精品视频电影| 久久无码激情视频| 欧美日韩精品人妻狠狠躁免费视频| 南京搡BBBB搡BBBB| 日本久碰| 丁香婷婷五月六月久久| 性爱网久久| 久久婷婷五月天| 五月丁香六月合| 色碰97| 亚洲午夜一区二区| 六月亚洲婷婷6月中文字幕| 日本狠狠干| 日日肏夜夜干| 超碰在线免费9| 亚洲情欲| 久久人妻高清中文| 黄色激情久久| 国产精产国品一二三在观看| 六月婷婷开心| 色欲人妻综合aaaaaaaa网| 国产成人一区二区三区在线观看| 婷婷五月六月激情| 五月婷婷三级| 日韩av变天就操逼不卡区| 激情www| 婷婷五月天堂| 五月丁香激情综合网官网| 综合激情在线| 这里只有精品在线播放| 啪色综合| 99久久人妻精品无码二区| 欧美一级操逼视频| 丁香香五月激情免费视频| 激情五月天婷婷播播久久综合91| 激情四射婷婷| 亚洲99视频| 丁乡久久| 激情操逼婷婷| 欧美99热| 亚洲免费99| 丁香婷婷黄网站| 影音先锋91在线资源站| 色综合区| 五月色影院| 日韩欧美一区二区三区四区| 91xxxx九色| 色婷婷激情| 狠狠高潮精品亚洲1| 狠狠狠婷婷五月综合| 亚洲无码九九九| 天天射影院| 亚洲色视频| 综合激情开心五月| 久久东京热婷婷五月| 狠狠干.com| 日本久久精品| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 精品婷婷五月天| www.无码com| 狠狠精品干练久久久无码中文字幕 | www.激情| 丁香色五月 97干| 亚洲经典小视频| 99热这里只有99| 狠狠色噜噜狠狠| WWW.久久.COM| 97人人操人人干| 夜夜久久综合网| 亚洲丁香五月| 欧洲激情五月天| 久久99热这里只有精品首| 成人国产网站| 九九色网专区| 熟妇人妻中文字幕无码老熟妇| 丁香五月色五月| 五月丁香六月婷婷亚洲综合| 涩涩网五月天| 婷婷亚洲五月丁香综合在线| 亚洲小视频免费观看| 日本免费91| 婷婷五月开心六月AV| 中文成人在线| 久操操| 99热这里有精力| www.色婷婷.com| 日亚二欧美| 天天干天干| 天天舔天天摸视频| 淫水导航| 狠狠狠狠狠操| 伊人婷婷五月天av| 五月天欧美激情| 91热er| 激情四射五月天偷偷看婷婷| 亚洲五月天,激情视频| 精品久久久999| 秋霞日本免费毛片A片| 婷婷激情综合色五月久久图片| 99国产97在线,| 欧美A片在线视频免费观看| 9久久狠狠的| 无码激情AAAAA片-区区| 国产美女无遮挡裸体毛片A片| www.色婷婷| 亚洲色五月| 免费亚洲婷婷| 777精品久无码人妻蜜桃| 九九热精品| 26UUU精品一区二区| 四色99久久| 99精品热| 亚洲亚洲人成综合网络| 我淫我色婷婷五月天激情四射| 久久激丁香| 9热超碰| 99欧美热| 色五月自偷自拍婷婷婷婷| 操操自拍| 五月丁香婷婷中文| 五月丁香激情综合| 高清资源站日A美A欧亚…| 国产精产国品一二三在观看| 99热九九九九| 日本九九视频| 欧美日本VA| 欧美日韩大黄| 这里只有精彩亚洲视频推荐| 亚洲精品99| 久久在这里99| 99热这里有精品| 日韩黄色中文字幕| 热九九九九| 色久女| 色五月婷婷中文字幕在线观看| 欧日美女Va| 开心五月丁香啪| 思思热AV| 色九区| 色婷婷成人做爰A片免费看网站| 99干日日干| 丁香五月婷婷婷桃花影院| 免费啪啪亚州视频| 五月婷婷熟女| 五月丁香综合激情| 九色婷婷| 任你搞在线观看视频| 任你操精品免费| 2014天天爽| 亚洲情a| 91大神操美女| 日韩精品视频中文字幕| 91九色中文字幕女在线观看| 天天爽,天天操。| 五月婷婷综合在线视频小说| 丁香五月六月综合激情| 色色色宗合网| 日本老女人黄页在线播放| 日日操日日爽| 色综合99| 综合 蜜月 婷婷| j久久性爱视频| a久久免费视频| 狠狠色色| 超碰丁香五月| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 亚美欧色影院| 五月大香蕉| 九九99男女视频在线观看| 99久久黄色顶级视频| 五月婷婷,六月丁香| 色综合天天综合成人网| 色婷婷四色| 激情五月综合六月丁香婷婷狠狠干| 另类激情五月在线视频欧美| 少妇高潮呻吟A片免费看软件| 国产性爱一级| 天天综合天综合| 思思热视频在线| 丁香六月婷婷社区| 色情五月天首页| 久久久WWW| 丁香六月综合| 五月丁香综合伦理片| 丁香五月区| Www.久久| 狠狠色性| 激情欧美五月丁香| 大香蕉狼人久久| 精品51XX| 免费看欧美成人A片无码| www.五月婷婷| www.狠狠| 久操大屁股女人av| 婷婷综合在线观看视频| 操99| 高清无码.com| 激情九月婷婷| 97资源碰碰在线| 天天日日夜夜爽。| 狠狠干五月| 激情涩涩网| 婷婷五月天综合网| 激情五月天啪啪| 九九热最新地址| 九久久九精品视频| 日日色五月天| 午夜大香蕉| 色五月琪琪| 开心激情站| 996re热精品视频| 六月婷婷影院| 国产五月视频| 能看的av片| 另类在线| 国产五月丁香在线| 九月激情综合| 久久综合性| 五月激情婷婷综合| 婷婷五月天激情综合| 成人av在线网址| 操久久精| 久久亚洲无码| 99爽视频| 中文字幕永久免费| 99人妻碰碰碰久久久久禁片| 91干视频| 97碰碰视频在线观看| 91无码视频| 玖玖爱综合网| 97久久久| 五月激情婷婷图片基地| 五月天成人综合| 六月综和久久| 天天草女人| wwwC0maV五月花| txt五月激情四射网综合俺也来了| 婷婷五月天免费视频在线观看| 婷婷综合九色伊人| 久久小片| 在线资源av-超碰中文在线-成人AV| 婷婷五月天视频免费在线观看| 狠狠爱婷婷丁香| 99在线播放视频| 99色色爰| 这里有精品| 秋霞影音91人妻久久| 黄色AAAAAAA| 日本爆乳片手机在线播放| 超碰在线国产9| 五月激情影视| 伊人干练久| 精品热九九| 久久精彩免费视频| 蜜臀AV在线成人| 色五月激情五月| 国产成人+亚洲+欧洲| AV动漫不卡无码免费| 99久热| 插插干干干色| 激情五月天婷婷色色色色色色色色色色色| 日韩99视频| 五月婷婷色播视频| 久久婷婷青青| 99自拍视频网站| 六月丁婷婷| 九九色黄色| 九九99精品视频在线观看| 99这里精品| 七七色综合| 久久9视频欧美| 日本色婷婷久久99精品91| 人妻在线观看视频| 综合啪啪| 久久久久99精品成人片| 九九九九大香蕉| 欧美成人AAA片一区国产精品| 日日狠狠久久偷偷四色综合免费| 97性视频| 国产性av| 色九区| 99热这里只有精品官网| 久久五月视频| 婷婷色基地在线看| 久9久9久9久9久9久9| 久久综合九九| 人妻久久久久久久| 色97综合婷婷天天色| 草草影院爱爱| 国产成人AV不卡| 九月激情综合| 五月天久久成人| 婷婷欧美激情综合| 无码 av电影| AV五月丁香| 日日夜夜天天爽| 久热伊人| 丁香五月网| 亚洲深喉AV| 久久九九爽| 开心婷婷五月中文字幕组| 久热久| 免费观看2018www黄色操逼网站| 欧洲激情五月天| 国产精品视频免费看| 日比网免费国产| 99精品综合| 99色色网| 五月天电影网| 亚洲午夜精品久久久久久人妖| 玖玖热99| 1024国产在线| 久热九九| 国产 亚洲 在线| 色五月综合资源推荐| 五月丁香六月婷婷综合伊人| 俺来也综合网精品一区| 91chinese 在线| 亚洲av电影网站| 97色色网| 亚洲综合色婷婷| 久久狠狠干| 九九精品在线观看视频6| 色婷婷综合中心| 五月婷婷色| 久久婷婷五月天激情| 99在线视频。| 日韩黄在免| 99热精品在线观看| 99在线小视频| 久久九九爽| 综合色五月| 天天干天天操| 九九热这里只有国产精品| 六月丁婷婷| 六月丁香啪啪| 亚洲av免费在线| 丁香五月777| 大香婷婷| 国产综合久久久777777| 人人97操| 丁香熟女乱| AⅤ在线播放网| 五月激情丁香啪啪| 日韩艹比| 久久久婷丁香五月| 婷婷五月欧美综合| 成人丁香婷婷| 亚洲啪| 啪啪啪丁香五月| 黄色av高清| 丁香五月天堂亚洲社区| 久久五月热| 操b视频在线观看一区二区| av在线免费播放观看| 精品影院| 婷婷激情五月天桃花网| 男人的天堂av俄罗斯热| 成人视频免费观看高清完整版在线观看| 色婷婷五月综合激情中文字幕| 97色五月婷婷在线| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 激情五月婷婷网| 玖玖热视频| 九九99精品视频在线观看| 五月天婷婷色| 在线观看免费人成视频无码| 精品一二三区久久AAA片| 久热99视频在线观看| 9 1大香蕉| 亚洲一区二区无遮挡A片| 另类图片激情五月| 成人在线网| 午夜色色色极品视频| 99视频久久免费视频| 亚洲精品五十一区| 啄木鸟丝袜美女福利视频| av色色国产| 久超超碰| 久操热| 五月天丁香婷婷久久九| 午夜福利成人AV91| 99精品在线观看视频| 9久精品| www.夜夜操.con| 色色色.com| 久久国产色| 五月天综合久久| 天天射影院| www.91AV.com| 久婷五月| 色情激情五月| 亚洲精品在线视频| 色综合五月天| 97综合视频在线| 丁香六月久久| 日韩五月天婷婷| 久久婷婷六月综合| 99热精品在线观看| 在线播放人妻| 99视频网址| 亚洲性爱干干| 五月天婷婷丁香导航| 夜夜爽天天爽| 色综合婷婷99| 啪啪啪大香蕉| 六月丁香婷婷五月| 亚洲操操| 雪千夏麻豆| 天堂色婷婷| 久久国产成人9999久久久久| 成人网站免费在线播放| 五月天婷亚洲天综合网综合| 五月婷婷综合久久| 色色婷| 肏日网在线看| 激情小说五月天社区丁香| 五月久久丁香| 99热在线只有精品| 久久婷婷电影| 思思热99er在线视频| 婷婷五月综合视频免费播放| 狠狠色婷婷| 97色婷婷在线观看| 99色色最新视频| 亚洲在线操| www.99.色| 99re思思| 深爱激清网| 荫道BBWBBB高潮潮喷| 99啪啪网| 五月婷久久在线| 99视频在线精品| 久久大香蕉伊人| 激情五月综合ì香亚洲| 99久久99久久| 精品一区二区三区三区| 狠狠色综合777| 色伊人婷婷| 五月婷中文字幕| 五月天色色色网| 玖玖在线资源视频| 思思热在线播放| 九九操屄| 99视频精品视频| www.夜夜操| 日韩青青| 这里只有精9| 99ri在线观看视频| 怡红院成人AV| 逼里香不卡| 色狠狠色噜噜AV天堂五区| 97碰在线| 国产精品爽爽久久久久久| 色综合久久久综合久久网| 激情小说婷婷小说| 日韩成人综合网| 丁香婷婷五月色成人网站| 色婷五月天综合网| www.97视频| 无码一区二区三区四区五区| 色欲天天综合| 99热插| 99热精品无码| 五月婷婷婷色| 婷婷玉月丁香五月在线视频| 大香蕉五月天| 色综合夜夜| 色婷视频| 色五月综合在线| 大香线蕉伊人| 日本99视频精品免费播放| 思思re99视频在线观看| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 99视频这里有精品| 操精品9| 色天天综合成人网| 色综啪啪网| 色高清无码视频| 99热国品| 色五月开心五月激情五月| 午夜不卡久久精品无码免费| 熟女激情网| 五月婷婷啪啪| 六月综和久久| 疯狂做受XXXX高潮A片动画| 深爱五月综合网| 欧美顶级少妇做爰HD| 色久婷婷网| 亚洲精品V天堂中文字幕 | 91se精品国产| 五月丁香六月婷婷久久久综合| 大香蕉AV电影在线| 久久这里有精品视频| 精品热青草| 婷婷丁香五月亚洲| 五月天色站| 狠狠操狠狠| 久热91精品| 婷婷五月色天| 亚洲天堂亚洲色色色| 久久久久人妻| 激情五月丁香激情综合网 | www.zbzhongsen.com| 思思精品视频| 色五月久久成人婷婷| 久爱综合| 久久99激情丁香婷婷小说网| 九九偷拍网| 色欲天天综合| 狠狠色噜噜狠狠色噜噜噜999| 日日操天天操| 久久伊人日日夜夜| 免费99色| 亚洲五月天婷婷| 九九视频免费| 日韩黄色中文字幕| 五月成人天| 九九99热| 特级西西4444www无码| 日日操夜夜爽天天天| 婷婷五月丁香国产| 丁香六月天| 日本怕怕视频| 99精品九九| 五月丁香好婷婷A片网| site:pzdcoin.com| 婷婷五月欧美综合| 思思热视频在线| 综合激情婷婷| 九热网站| 激情四射婷婷| 天天更新天天亚洲| 在线综合91| 色色操| 97久久香草精品视频| 中文在线成人| 久久九九网| 日日爽天天| 99久在线观看| 性按摩玩人妻HD中文字幕| 操人妻视频91| 五月丁香成人网| 91九九九色在| 亲子乱AV一区二区三区下载| 五月永久激情| 91在线日本| 国产黄大片在线观看画质优化| 婷婷丁香十月| 开心婷婷五| 亚洲国产网站| 超碰国产在线| 久久久久久人妻| 亚洲在线激情婷婷五月| 久久人操-久草婷婷-成人AV| 五月天综合久久| 日本社区五月天激情| 激情五月天丁香| 久热婷婷在线视频| 538在线精品| 色噜噜五月天| 六月丁香婷婷在线波多| 成人视频一区| 六月丁香天堂| 99无码| 久久婷五月综合| 精品皮股午夜AV| 日韩啪啪视频| 无码 av电影| 九九精品免费| 色色色综合| 午夜婷婷五月天在线| 大香蕉婷婷| 欧美操综合| 亚洲av另类在线观看| 天天插天天干| 激情av在线| 99亚洲无码| 99久久a线观| 99色色爰| 丁香五月先锋| 亚洲啪啪自拍| 亚洲亚洲人成综合网络| 玖玖婷婷五月| 日婷婷| 丁香社区婷婷五月| 91操色| 五月天社区| 殴美97色| 99欧美精品99日本精品| 婷婷五月天激情小说| www.激情| 日本一毛片| 亚洲欧美另类在线23p| 婷婷天天综合| 五月天快乐开心激情网| 在线色色| 99综合自拍| 色色婷婷综合| 又大又粗九一在线| 五月婷婷深深爱| 狠狠插狠狠插| 伊人久久艹| 婷婷丁香色五月| 丁香色综合| 婷婷激情五月综合丁| 日日干日日s| 免费色色色| 婷婷久久图片| 亚洲国产网站| 一区二区乱视频码| 综合另类激情| 欧美日本不卡黄色片| 超碰一区二区| 影音先锋AV资源男人站| 琪琪布丁香社区激情五月天| 亚洲亚洲人成综合网络| 久久久久久久人妻| 99精品偷自拍| 欧美性猛交99久久久久99按摩| 日韩一级片| 能看的AV| 79精品视频在线观看,| 免费精品99| 国产67194| 久热无码| 成人国产欧美大片一区| 2018夜夜草| 99热香港| 亚洲AV日韩AV永久无码网站| 99ri6在线视频| 综合久久激情久久| 久久婷婷桃花五月天| 丁香五月婷婷亚洲激情四射| 丁香狠狠操| 五月天丁香婷婷社区| 国产免费AV网站| 五月大香蕉| 色五月丁香总合网| 欧美性丁香色色五月天综合爱爱| 四色 爱 婷婷 精品 亚洲 五月天| 99.色| 九九在线这里只有精品视频 | www.99在线| 久草热8精品视频在线观看 | √天堂资源在线人妻熟女| 五月天色色婷婷| 久久网站免费亚洲| 夜夜操夜夜爽| 九九热手机在线视频| 婷婷丁香五月综合网上 | 五月天激情婷婷久久| 久久久性爱视频| 久久五月天婷婷| 激情网五月天| 色啦啦视频| 婷婷五月天av小说| 久久人人九| 99热这里只有99| 五月丁香六月婷婷免费视频| 丁香五月开心五月激情| 九九这里是免费的视频5| 99婷婷| 国外亚洲成AV人片在线观看| 五月婷护士| 玖玖婷婷视频| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 欧美槡BBBB槡BBB少妇| 九九精品9| 久草五月天| 色爱99| 日本色色视频| 色色五月天丁香| 五月天婷婷综合网| 91啪啪啪啪| 六月丁香激情综合网| 欧美亚洲婷婷五月| 超碰资源在线| 九九九九精品精| 人人爽欧美婷婷久久久五月丁香| 国产激情综合五月久久| 丁香五月激情六月综合| 99er精品视频| 婷婷综合视频| 超碰自拍天堂| 婷婷色中文字幕| 婷婷开心激情综合五月天| 综合大香蕉| 91 影音先锋| 99碰网站| 伊人国产婷婷五月天| 成人综合AV| 99在线免费视频| 91丨九色熟女丨首页| 婷激情五月天视频导航| 欧洲色| 欧美成人AAA片一区国产精品| 日本123区日韩欧美不卡在线看| 九九热视频精品2| 婷婷五月天狠狠色| 年轻的妺妺伦理HD中文 | 久久99久久久久久久噜噜| 五月丁香婷婷在线综合蜜桃| 五月丁香另类图片| 精品五月天| 影音先锋男人av资源站| 丁香五月天AV在线| 婷婷精品性视频| 极品人妻VIDEOSSS人妻| 成人电影AV在线观看| 91大屁股| 人人干人人看| 色爽九九| 九九草热在线观看| 六月婷婷综合| 2021日韩无码| 青青夜夜狠狠夜夜狠狠| 欧美影院| 欧美日韩成人h| 五月天久久久| 丁香五月天狠狠| 这里有精品| 99热这里都是精品| 色偷偷色婷婷| 国产性爱在线| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲无码色色| 99色性爰网络| 99国产97在线,| 激情五月亚洲综合网| 五月天激情四射| www91久久| 天天成人丁香美女AV| 人妻久久久久久| 五月丁香福利| 五月婷婷六月情| 97人人妻人人艹| 五月丁香六月激情综合在线| 99热只有| 91碰视频| 婷婷五月天综合AV| 天天综合91入口| 另类激情五月天| 狠狠插.com| 九月婷婷久久| 97在线精品| 超碰色婷婷| 五月婷婷开心网| 一起肏在线视频| www色婷婷com| 久久九网| 激情五月六月丁香| 日韩精品视频中文字幕| 欧美激情五月天在线观看| 亚洲综合99| a九九热www| 99热这里都是精品| 91精品久久久久久久久 | 久操福利| 婷婷刺激综合| 91网站黄| 九九自拍网| 婷婷射图五月天| 在线观看av网站| 99热在线网站| 久久这里有精品视频在线免费观看| 中文字幕乱码亚洲精品一区| 婷婷五月激情基地| 丰满少妇猛烈A片免费看观看| 激情五月图| 国精产品一区一区三区免费视频| 这里只有精品,日韩视频| 久99热| 色999五月色| 日产精品一线二线三线芒果| 26uuu激情五月天| 亚洲成人无码专区| 丁香五月六月婷婷殴美综合| 国产三级在线播放| 五月激情婷婷丁香天堂| 婷婷国产欧美97| www,色婷婷| 婷婷五月天综合网| 丁香五月开心亚洲| 99热九九这里只有精品| 久久婷婷影院| 五月丁香综合精品| 99ri6在线视频| 蜘蛛女侠2003满天星免费观看| 亭亭玉月丁香| 成人丁香五月| 久热这里只有精品6官网亚洲| 狠狠色丁香| 啪啪激情网站| 9久久精品视频| 91黄操| 丁香五月天偷拍| 色和综合网| 伊人五月天在线| 一起草无码| 99爱精品| 天天五月情| 五月婷婷丁香六月 | 97福利视频| 9热网站| 人。妻久久| 久久婷狠狠色| 成人精品一区日本无码网| 色五月丁香在线| 99re青青草| 99热这里只有精| www.丁香黄色五月天人与| 五月天久草| 俺去也五月天婷婷| 97色伦另类图片小说视频 | 久热九九| 人人爽在线视频综合网| 国产SUV精品一区二区883| 丁香激情综合| 99热婷婷| 日韩青青| 69久久99精品久久久久婷婷| 五月丁香综合久久| 色婷婷女优有码五月亭| 久久五月天婷婷|