99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

pgBadger實戰(zhàn):從PostgreSQL日志中快速定位慢查詢與性能瓶頸

pgBadger實戰(zhàn):從PostgreSQL日志中快速定位慢查詢與性能瓶頸 簡介pgBadger是一款用純Perl語言編寫的PostgreSQL日志分析器以解析速度見長能夠自動識別syslog、stderr、csvlog等常見日志格式并借助JavaScript圖表庫生成可視化報告適合DBA、運維工程師及需要深度排查數(shù)據(jù)庫性能的開發(fā)者在日常巡檢和故障分析中使用。資源為pgBadger 11.5的開源發(fā)行版共54個文件、約2.2MB除核心Perl腳本外還包含jQuery、jqplot等前端圖表資源、測試腳本、文檔與許可證說明整體結(jié)構(gòu)緊湊便于直接部署或二次開發(fā)。目前已有440人學(xué)習(xí)查看。壓縮包內(nèi)附有完整源碼、構(gòu)建配置如Makefile.PL與MANIFEST、單元測試樣例及詳細(xì)文檔讀者既可快速上手生成日志分析報表也能參考其內(nèi)部實現(xiàn)擴(kuò)展自定義功能同時自帶對gzip壓縮日志的支持有助于在日志量大、存儲受限的環(huán)境下高效完成分析任務(wù)。1. pgBadger 是什么一份 PostgreSQL 日志能榨出多少信息有一次線上慢查詢排查手里擺著 2GB 的 PostgreSQL 日志我 grep 了大半個下午才湊出幾條 5 秒以上的語句那滋味不想再試第二次。pgBadger 就是一個為提高速度而構(gòu)建的 PostgreSQL 日志分析器Perl 寫的命令行工具喂給它 PostgreSQL 的文本日志它吐出一份可交互的 HTML 報告慢查詢 Top、鎖等待、Checkpoint、臨時文件、全表掃描在這些區(qū)塊里一次看全。它不裝數(shù)據(jù)庫插件、不寫回數(shù)據(jù)庫、不需要改業(yè)務(wù)代碼唯一的前提是你把 PostgreSQL 的日志開關(guān)按格式打開。適合經(jīng)常要處理慢查詢的 DBA、后端負(fù)責(zé)人和 SRE日志越亂越有價值這份工具就是把“出了什么問題”從黑匣子里翻出來的那雙手。它是開源項目系統(tǒng)包里一條命令就能裝后面我會把配置、命令和踩過的坑一起展開。2. 先搞清它分析什么pgBadger 的輸入、報告與提速原理2.1 它吃的是原生日志不是 pg_stat_statements上手 pgBadger 之前必須先分清兩個概念。pg_stat_statements 是 PostgreSQL 內(nèi)置插件長期累計每類 SQL 的總耗時、執(zhí)行次數(shù)適合看趨勢而 pgBadger 解析的是數(shù)據(jù)庫進(jìn)程寫出來的原始日志文件回答的是“這段時間里到底發(fā)生了什么”。常見誤解是我已經(jīng)開了 pg_stat_statements還需要日志分析器嗎需要。pg_stat_statements 只記錄執(zhí)行過的語句聚合不記錄鎖等待過程、checkpoint 行為、臨時文件寫入、連接斷開這類旁路信息而這些往往是數(shù)據(jù)庫抖動的大頭。還有一層容易忽視的區(qū)別MySQL 的慢日志有固定表結(jié)構(gòu)、自帶查詢接口把這個習(xí)慣帶過來會發(fā)現(xiàn) PostgreSQL 完全不同——它的默認(rèn)日志是純文本沒有內(nèi)置慢日志表最多靠 log_line_prefix 控制格式。這就是 pgBadger 這類開源項目存在的意義把一條條裸日志變成可讀的指標(biāo)。能讓 pgBadger 出內(nèi)容的日志開關(guān)大致有五個我一般這樣開log_min_duration_statement 記錄超過閾值的慢語句log_checkpoints 記錄檢查點事件log_lock_waits 記錄鎖等待log_temp_files 記錄臨時文件log_autovacuum_min_duration 記錄自動 vacuum。每開一個報告里就多一個區(qū)塊開少了報告就瘦開多了文件漲得快第 3 章會給出完整配置。2.2 原生日志里有什么一行日志能被拆出哪些字段pgBadger 的解析邏輯本質(zhì)上就是把你日志里每個字段映射到報告維度。拿一條真實的日志為例2024-06-01 10:00:00.123 CST [23456]: [123-1] userdba,dbapp,apppsql,client127.0.0.1 LOG: duration: 2500.123 ms statement: SELECT * FROM orders WHERE user_id 123;拆開看這一行值多少錢開頭時間戳給報告時間軸[23456] 是進(jìn)程號用于區(qū)分連接[123-1] 是會話行號pgBadger 靠它把一條跨行消息拼回同一事件user、db、app、client 分別是用戶、數(shù)據(jù)庫、客戶端應(yīng)用、來源地址報告按庫按用戶分組全得靠它們duration 是慢查詢耗時statement 是語句正文。pgBadger 還會把這條語句里的數(shù)字參數(shù)替換成 ?做參數(shù)歸一化所以同一條 SQL 的不同參數(shù)值會聚合在一起排名不會因為 where 條件里數(shù)字不同就被拆成幾百行。這里面最容易被忽略的是 [123-1] 的會話行號。PostgreSQL 的日志里一條 ERROR 常常帶出 detail 和 context 多行內(nèi)容而只有第一行才有前綴里的完整字段沒有序號多行消息會被當(dāng)成獨立事件報告里的語句會被攔腰截斷。所以 log_line_prefix 里有沒有 %l直接決定報告能不能拼全語句。這也是為什么很多人換了 log_line_prefix 之后報告突然“少了一半數(shù)據(jù)”的根本原因。2.3 單遍流式解析快在哪和自寫腳本的差距標(biāo)題里“為提高速度而構(gòu)建”不是宣傳話術(shù)是它的實現(xiàn)方式?jīng)Q定的。pgBadger 處理日志是單遍流式一行一行讀正則提取出時間、進(jìn)程號、數(shù)據(jù)庫、用戶、語句耗時在內(nèi)存里做累加全程不把日志導(dǎo)入數(shù)據(jù)庫也不需要二次 ETL。這樣做最大的收益是內(nèi)存可控處理 10GB 級別的日志時內(nèi)存占用通常維持在幾百 MB 以內(nèi)而不是像導(dǎo)入數(shù)據(jù)庫統(tǒng)計那樣先把數(shù)據(jù)搬一遍。對比一下常見的替代方案就能看出差別。用 grep 加 awk 自己統(tǒng)計grep 本身很快但你要自己處理多行消息、自己按分鐘聚合、自己做 Top 排序?qū)懗鰜砟苡镁S護(hù)成本不小把日志灌進(jìn) PostgreSQL 再 SQL 分析要先清洗格式再建表導(dǎo)入日志一多大半時間花在導(dǎo)入而不是分析上。pgBadger 把這幾步都省了一條命令出 HTML還能直接讀 .gz、.bz2、.xz 壓縮日志不用先解壓占磁盤。新版本還支持多線程并行解析不同日志文件適合日志被按天切成很多小文件的場景。有一點要提醒它快不代表它對日志格式不挑。輸入格式越規(guī)整解析越快如果 log_line_prefix 配得亂七八糟它會先花時間做格式猜測甚至直接拒絕。所以想享受速度紅利前提是第 3 章的配置一步都不能省。2.4 開源分發(fā)與版本差異從 GitHub 拿源碼還是走系統(tǒng)包pgBadger 是開源項目用的 PostgreSQL License屬于寬松類許可證改完再分發(fā)也沒有像 GPL 那樣強(qiáng)的傳染性公司內(nèi)部二次開發(fā)負(fù)擔(dān)小。你直接搜 GitHub 的 darold/pgbadger 就能看到倉庫和 release 包很多 postgresql 安裝教程的末尾也會順手提它一句。獲取方式取決于你的操作系統(tǒng)。Debian/Ubuntu 的 apt 倉庫、RHEL/CentOS 的 EPEL 倉庫里基本都有 pgbadger 包一條命令裝完好處是依賴有人管。但系統(tǒng)倉庫里的版本可能落后 GitHub 一個大版本而新版本往往意味著支持更新的 PostgreSQL 日志格式比如 PostgreSQL 15 之后新增的 jsonlog 日志格式老版本 pgBadger 就不認(rèn)。我的習(xí)慣是生產(chǎn)環(huán)境優(yōu)先用系統(tǒng)包遇到“日志格式識別不了”這類問題時再去 GitHub 拉新 release 裝源碼版。裝完先跑一句 pgbadger --version確認(rèn)版本再往下走。3. 從 PostgreSQL 開日志到跑出第一份 HTML完整配置與命令3.1 PostgreSQL 日志參數(shù)log_line_prefix 必須按這個格式配pgBadger 解析依賴兩個東西日志里有內(nèi)容格式它能認(rèn)。PostgreSQL 側(cè)需要改 postgresql.conf 里的這幾項改完執(zhí)行 SELECT pg_reload_conf(); 即可不用重啟實例logging_collector on log_destination stderr log_line_prefix %t [%p]: [%l-1] user%u,db%d,app%a,client%h log_min_duration_statement 1000 log_checkpoints on log_lock_waits on log_temp_files 0 log_autovacuum_min_duration 0log_line_prefix 是 pgBadger 最看重的格式。%t 是帶毫秒的時間戳%p 是進(jìn)程號%l 是會話行號前面說過它負(fù)責(zé)把跨行日志拼回同一事件%u、%d、%a、%h 分別是用戶、數(shù)據(jù)庫、應(yīng)用名、客戶端地址報告里按庫按用戶分組就靠它們。注意行尾我留了一個空格這是為了讓消息正文與前綴隔開pgBadger 匹配前綴時會少很多邊界問題。log_min_duration_statement 設(shè) 1000 表示只記錄執(zhí)行超過 1 秒的語句如果你懷疑慢查詢被漏了先往小調(diào)比如 100代價是日志文件明顯變大。log_temp_files 設(shè) 0 表示記錄所有落盤的臨時文件不設(shè)這個值報告里的 Temp files 區(qū)塊就是空的。改完在 psql 里驗證SHOW log_line_prefix; SELECT pg_reload_conf();SHOW 輸出的字符串要和配置文件完全一致如果這里帶轉(zhuǎn)義字符或者換行pgBadger 那邊大概率要踩坑。注意 reload 只對新產(chǎn)生的日志生效已經(jīng)寫出去的舊日志格式不會變所以改完配置最好等幾分鐘再跑分析或者直接把舊日志移走。我在 5.1 里講的那個翻車案例就是沒等新日志直接排了 cron。3.2 安裝 pgBadgerapt、yum、源碼三選一安裝這一步?jīng)]有難度三個常見渠道如下# Debian / Ubuntu sudo apt install pgbadger -y # RHEL / CentOS 需要先開 EPEL sudo dnf install epel-release -y sudo dnf install pgbadger -y # 從 GitHub release 拿源碼包安裝 tar xzf pgbadger-*.tar.gz cd pgbadger-* perl Makefile.PL make sudo make installapt 和 dnf 適合圖省事的場景裝完直接有 pgbadger 命令。源碼安裝的好處是版本新perl Makefile.PL 階段會提示缺哪些 Perl 模塊常見的有 Text::CSV_XS 這類純文本解析加速模塊缺什么用 cpan 裝上即可。裝完驗證一下pgbadger --version命令能輸出版本就說明可執(zhí)行文件在 PATH 里。如果日志文件是 postgres 用戶寫的而你用 root 跑 pgbadger記得文件要能讀、目錄要有執(zhí)行權(quán)限否則后面會遇到 Permission denied。還可以順手看一眼 pgbadger --help 里的支持列表確認(rèn)你本地的版本支持哪些日志格式尤其是 jsonlog。3.3 第一條命令與報告驗證最小命令就一行指定輸出文件再把日志文件或通配符丟進(jìn)去pgbadger -o /tmp/pg_report.html /var/log/postgresql/postgresql-*.log-o 指定 HTML 輸出路徑。stderr 是最常見的日志格式pgBadger 會自動識別所以不用顯式寫 -f stderr如果你用的是 csvlog 或 jsonlog才需要在 -f 參數(shù)里指定。日志多、內(nèi)存少時可以加 -q 關(guān)閉進(jìn)度條輸出。跑完屏幕上會出現(xiàn)一行類似 “Html report written to /tmp/pg_report.html” 的提示然后用瀏覽器打開該文件。這里有個新手常踩的點日志文件名帶不帶日期后綴取決于你部署 PostgreSQL 時是否開了日志輪轉(zhuǎn)通配符寫得不對就會“找不到文件”。先 ls /var/log/postgresql/ 看真實文件名再寫命令比盲猜靠譜。如果命令報 “Wrong log_line_prefix” 或者解析完報告里全是 0回到 3.1 檢查 SHOW log_line_prefix 的輸出。第一次打開報告先看總請求量有沒有數(shù)字再翻到 Top Queries 看有沒有語句這兩處都有內(nèi)容才說明日志喂對了。3.4 新報告先看哪五個區(qū)塊第一次打開 HTML 報告很多人會被滿屏圖表晃到我建議只看五個區(qū)塊它們信息密度最高報告區(qū)塊能看出什么對應(yīng)日志開關(guān)General Statistics總請求數(shù)、每分鐘請求數(shù)、平均耗時先看量級是否異常log_min_duration_statementTop Queries慢語句排行按總耗時、平均耗時、最大耗時排序log_min_duration_statementCheckpoints檢查點頻率和耗時看是否寫盤壓力大log_checkpointsLock Waits鎖等待次數(shù)、等待時間定位鎖競爭log_lock_waitsTemp Files每次查詢落盤的臨時文件大小判斷 work_mem 夠不夠log_temp_filesTop Queries 里的語句是做了參數(shù)歸一化的同一條 SQL 不同參數(shù)值會被聚合成一類字面量被替換成 ?所以排名更公平不會出現(xiàn)同一邏輯的 SQL 因為參數(shù)不同被拆成幾百行。看的時候先按“總耗時”排再按“平均耗時”排前者找總量兇手后者找單次異常。另外報告里有按數(shù)據(jù)庫、按用戶的篩選器排查某個業(yè)務(wù)模塊的問題時先把范圍縮到一個庫再看 Top比全局列表直觀得多。4. 把 pgBadger 變成日常巡檢時間窗、增量解析與定時任務(wù)4.1 常用參數(shù)怎么設(shè)-b、-e、-t、-d 的組合用法單次跑報告只是開始要把 pgBadger 用成日常巡檢工具必須學(xué)會限定時間窗。下面幾個參數(shù)是我每次寫腳本都要用到的參數(shù)作用我的常用值-b / --begin只解析該時間之后的行“2024-06-01 00:00:00”-e / --end只解析該時間之前的行“2024-06-02 00:00:00”-t / --topTop 查詢顯示條數(shù)30-d / --dbname只看某個數(shù)據(jù)庫業(yè)務(wù)庫名-s / --size最多讀取多少日志量視日志大小而定組合起來是這樣pgbadger -b 2024-06-01 00:00:00 -e 2024-06-02 00:00:00 \ -t 30 -o /tmp/report_day.html /var/log/postgresql/postgresql-*.log-b 和 -e 解析的是日志里的時間戳不是文件修改時間所以即使日志文件混著好幾天的內(nèi)容也能精確切出一天。時間格式要帶空格命令行里必須加引號這個細(xì)節(jié)在 cron 里最容易翻車少一對引號 shell 就把時間拆成了兩個參數(shù)。如果你只要最近一小時-b 也可以用 date 命令動態(tài)生成但注意時區(qū)和第 5 章那個坑。-s我一般用在探測場景不確定日志有多大、機(jī)器內(nèi)存緊的時候先限制只讀最后 2GB 跑一份小報告觀察資源消耗再決定要不要全量。4.2 增量分析不要讓報告一次比一次慢全量日志只有幾 GB 時多久跑一次無所謂跑了一個月后還每次從頭解析就是在浪費時間。增量分析的目的很直接只處理上次跑完之后新產(chǎn)生的日志。常見做法有兩種。第一種是時間窗法配合日志輪轉(zhuǎn)每天用 -b 限定昨天零點、-e 限定今天零點只解析前一天。第二種是偏移記錄法pgBadger 支持記錄上次解析到的日志偏移下次從偏移處繼續(xù)參數(shù)名在不同版本里略有差別裝好后先跑一下 pgbadger --help 確認(rèn)你本地版本的寫法。我自己的生產(chǎn)環(huán)境更常用時間窗法因為邏輯直白、排障容易偏移法省解析時間但日志被輪轉(zhuǎn)刪除后會丟失中間段反而不適合日志保留期短的環(huán)境。# 每天只解析 24 小時內(nèi)的日志 pgbadger -b $(date -d yesterday 00:00 %Y-%m-%d %H:%M:%S) \ -e $(date %Y-%m-%d %H:%M:%S) \ -o /var/www/pgbadger/daily.html \ /var/log/postgresql/postgresql-*.log這段腳本用 date 動態(tài)生成起止時間配合 crontab 每天執(zhí)行就是一套最樸素的增量日報。注意 date -d 語法在 Linux 和 macOS 上不一樣Linux 用 -dmacOS 要寫 -v-1d服務(wù)器場景基本都是 Linux不會有歧義。切換增量方式或者日志目錄變化之后先跑一次全量報告作為新基線免得新舊報告口徑對不上。4.3 用 cron 定時生成日報并自動清理舊報告定時任務(wù)我放在 /opt/scripts/pgbadger_daily.sh內(nèi)容比單條命令多兩件事輸出目錄按日期命名、超過 90 天的舊報告自動刪除。日志權(quán)限記得給執(zhí)行用戶可讀權(quán)限我是用一個專門的 postgres 系統(tǒng)賬戶跑的避免和業(yè)務(wù)權(quán)限攪在一起。#!/bin/bash LOG_DIR/var/log/postgresql OUT_DIR/var/www/pgbadger YESTERDAY$(date -d yesterday %Y-%m-%d) TODAY$(date %Y-%m-%d) pgbadger -b $YESTERDAY 00:00:00 -e $TODAY 00:00:00 \ -o $OUT_DIR/report-$YESTERDAY.html \ $LOG_DIR/postgresql-*.log /dev/null find $OUT_DIR -name report-*.html -mtime 90 -deletecrontab 里加一行30 2 * * * /opt/scripts/pgbadger_daily.sh /var/log/pgbadger_cron.log 21每天凌晨 2 點半執(zhí)行正好避開業(yè)務(wù)高峰早上上班打開瀏覽器就能看到昨天全天的報告。重定向到日志文件是為了排障腳本里 date、通配符出錯時能看到痕跡。跑失敗了別只盯著 pgbadger 報錯先看這個日志文件血淚經(jīng)驗是八成問題出在引號或文件權(quán)限而不是 pgBadger 本身。4.4 巡檢閾值哪些數(shù)字一報警就該處理報告生成只是第一步會讀才有效果。我按踩過坑的經(jīng)驗給一檔初始閾值你可以根據(jù)業(yè)務(wù)調(diào)整指標(biāo)注意閾值說明每分鐘請求數(shù)較前一日驟降 50% 以上連接可能被鎖或連接池耗盡慢查詢最大耗時超過 5 秒單語句異常重點看 Top Queries鎖等待次數(shù)大于 0 且平均等待超 1 秒業(yè)務(wù)側(cè)要查鎖來源臨時文件總量單日累計超 1GB優(yōu)先調(diào)大 work_mem 再觀察Checkpoint 間隔頻繁且耗時高檢查 max_wal_size 和磁盤寫入這些閾值不是真理是一份讓你有據(jù)可依的起點。每種業(yè)務(wù)對耗時的容忍度不同運行一個月后把報告里的數(shù)字和線上故障時間對上再回改閾值比拍腦袋準(zhǔn)得多。特別是臨時文件這個指標(biāo)它和你業(yè)務(wù)里報表查詢的頻度強(qiáng)相關(guān)同一套閾值放到 OLTP 和 OLAP 集群上完全是兩個世界。5. 避坑pgBadger 出真報告前最容易翻車的五個地方5.1 log_line_prefix 不匹配一上來就報錯現(xiàn)象命令執(zhí)行后立刻報 “Wrong log_line_prefix” 或 “cant parse”報告文件沒生成。原因postgresql.conf 里的 log_line_prefix 不是 pgBadger 認(rèn)識的格式常見是少了 %t 或 %l或者手寫的格式和實際配置有出入。解決先在 psql 里執(zhí)行 SHOW log_line_prefix;拿真實輸出檢查。最簡單的做法是把 3.1 的配置原樣粘貼并 reload再等新日志產(chǎn)生后重跑。如果你的前綴必須帶業(yè)務(wù)標(biāo)識把 SHOW 輸出的字符串原樣用 -p 參數(shù)傳給 pgBadger兩邊對齊就不再報錯。這屬于格式對不上就老老實實改配置的問題沒有玄學(xué)空間。5.2 報告空白但日志明明有內(nèi)容現(xiàn)象報告生成成功打開 General 頁面也有連接數(shù)但 Top Queries 和慢查詢區(qū)塊是空的。原因日志里只有連接、斷開的記錄沒有語句執(zhí)行時長。log_min_duration_statement 沒開或者設(shè)得太大示例里設(shè) 1000 意味著只有超過 1 秒的語句才帶 duration 字段小于 1 秒的語句完全不進(jìn)日志。解決SHOW log_min_duration_statement; 確認(rèn)值。想分析所有語句臨時設(shè)成 0日志量和報告體積會明顯變大不要一直開著想找相對慢的設(shè) 100 到 300 更實用。另外注意 log_statement 和 log_min_duration_statement 不要同時開兩者疊加會產(chǎn)生重復(fù)記錄報告里的數(shù)字是虛胖的。5.3 報告時間和本地時間對不上現(xiàn)象報告的橫軸是 UTC 時間和業(yè)務(wù)日志、告警平臺差 8 小時對不上號。原因PostgreSQL 的 log_timezone 參數(shù)控制日志時間戳?xí)r區(qū)默認(rèn)可能跟服務(wù)器本地時區(qū)不一致pgBadger 按日志內(nèi)的 %t 解析不換算所以報告時間和日志本身一致但和你 date 看到的本地時間不一致。解決在 postgresql.conf 里把 log_timezone 設(shè)成業(yè)務(wù)所在時區(qū)比如log_timezone Asia/Shanghaireload 后重新生成的日志就對齊了。歷史日志沒法補(bǔ)救只能按差值換算。寫 -b/-e 時也帶上時區(qū)偏移比如 “2024-06-01 00:00:0008”讓 pgBadger 明確邊界避免整點對不上。5.4 增量數(shù)字重復(fù)越堆越大現(xiàn)象每天的日報里某個慢查詢的總耗時比昨天翻倍明明線上沒有新慢查詢。原因時間窗沒生效cron 命令里的引號丟了date 命令實際執(zhí)行成了兩個參數(shù)-b 被 shell 拆掉pgBadger 退化成解析全部日志或者日志文件沒輪轉(zhuǎn)天天解析同一批文件。解決先手動跑一遍 4.3 的腳本看生成報告的 General 頁時間范圍是不是只有昨天一天再把日志輪轉(zhuǎn)配好建議 PostgreSQL 側(cè)按天產(chǎn)生新文件已歸檔的壓縮移走。清理一次全量報告作為新基線之后增量才會準(zhǔn)。增量功能依賴穩(wěn)定的文件列表日志文件改個名、目錄換位置都會打破它變更后先跑一次全量。5.5 日志太大把磁盤和內(nèi)存打爆現(xiàn)象解析 30GB 日志時/tmp 寫滿或內(nèi)存飆升機(jī)器卡死。原因pgBadger 雖然流式讀日志但最后生成 HTML 需要把所有聚合結(jié)果寫進(jìn)一個文件報告本身可能幾百 MB開啟多線程并行解析時每個線程都有自己的緩沖內(nèi)存占用成倍上漲輸出路徑默認(rèn)在 /tmp小分區(qū)很快被撐爆。解決先用 -s 限制日志讀取量探測性能比如 pgbadger -s 2G -o /tmp/test.html 先跑一小段把 -O 指向有足夠空間的目錄別用 /tmp日志按天拆開、分批解析成多個報告再配合歸檔。壓縮日志能減少 I/OpgBadger 直接支持 .gz 文件建議輪轉(zhuǎn)時順手 gzip既省磁盤又省命令行通配符的長度。6. 接進(jìn)告警與抽查驗證用 pg_stat_statements 給報告背書pgBadger 報告的價值在于快速定位但別把唯一一份報告當(dāng)真相。我現(xiàn)在的習(xí)慣是報告出了 Top 慢查詢先去數(shù)據(jù)庫里用 pg_stat_statements 交叉驗證一遍。SELECT query, calls, total_exec_time, mean_exec_time FROM pg_stat_statements ORDER BY total_exec_time DESC LIMIT 5;注意 PostgreSQL 11 之前的字段叫 total_time之后改成了 total_exec_time版本不同查詢也要跟著改。對照方式很簡單報告里的 Top 語句應(yīng)該能在上面結(jié)果里找到同款數(shù)值量級大致一致。如果報告里某條語句總耗時很高、pg_stat_statements 里卻幾乎沒有先別急著下結(jié)論檢查是不是日志采樣窗口和統(tǒng)計窗口不一致或者語句在日志里被拆成了多行沒拼全。報告負(fù)責(zé)“懷疑”pg_stat_statements 負(fù)責(zé)“確認(rèn)”兩個工具對著看就不會被單個視角帶偏。關(guān)于歸檔我還會把每天的 HTML 報告按周打包保留 90 天方便追溯“上周五那次抖動是不是同一批慢查詢”。打包用 tar 就行不展開。真要接告警我會在 cron 腳本里加一行 grep從當(dāng)天日志里撈出耗時最大的那條語句拼成一行文本告警不要直接解析 HTML那東西改版一次壞一次。最后分享一個血淚教訓(xùn)我剛開始用 pgBadger 時改完配置直接排了 cron結(jié)果第二天報告全空查了一圈發(fā)現(xiàn)是 reload 之后忘記等新日志產(chǎn)生歷史日志又是舊前綴白白浪費一天?,F(xiàn)在我的固定動作是改完配置先手動跑一條 10 分鐘的小日志確認(rèn)報告有數(shù)據(jù)、時間正確再上 cron。先小后大、先時間窗后全量、先單文件后通配符這三條順序能擋住絕大部分翻車。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天婷婷综合网| 丰满人妻一区二区三区| 99精品自拍| 五月天婷婷综合网| 五月婷婷六月开心| 99操不停| 色色五月天激情| 激情五月深爱五月| 久久免费试看120秒| 五月天天天天天天天天天天天婷婷婷| 91艹人| 婷婷综合色| 色噜噜狠狠色综合AV兰草影视| 国产日韩欧美| 久久精品9| 激情校园 亚洲| 2021日韩无码| 韩国中文字幕91| 五月天六月婷婷| www.久久久.com| 国产精品人成A片一区二区| 无码四色色色| 非洲一级AV| 五月综合色| 丁香色五月婷婷17C| 91黄色五月天视频| 五月天婷婷激情六月久久| www.狠狠| 99超超碰| 99热老司机| 久久这里99| 色五月婷婷操逼| 国产精品A成V人在线播放| 久久综合激情五月天| www.玖玖婷婷在线| 色婷婷伊人激情在线观看| 夜夜资源站| 亚洲成人乱码av网站| 丁香九月综合激情| 久热超碰91| 久久人妻少妇嫩草AV| 97操碰在线视频| 密乳视频| 狠狠色情婷婷| 婷色成人| 色五月久久成人婷婷| 碰97久久| 久9精品视频| 色丁香五月婷婷综合久久| 色色五月婷| 婷婷五月天网| 五月天淫乱视频| 婷婷夜夜夜夜| 婷婷六月丁香激情| 六月99天天婷婷激情综合| 久久九九99.www| 日本精品人妻无码77777| 在线日韩视频| 色久综合| 新97人人上人人| 天天影院色| 热久久99视频| 日本久久爱| 26uuu在线观看| 亚洲国产精品VA在线看黑人| 五月天国产| 久久激情五月| 97人碰人操| 久久婷婷六月综合国际| 91九色 婷婷| 9 99免费视频| 好吊操这里只有精品| 成人片久久网站| 丁香五月狠狠综合欧美| 天天色噜| 国产亚洲99| 午夜丁香婷婷| 亚洲色情网站| 五月婷婷激情综合| 人人操人人看97干| 五月天婷婷三级黄| 99热国产免费| 荫道BBWBBB高潮潮喷| 五月婷婷丁香91| 天堂在线婷婷| 99re思思在线视频| 亚洲综合另类| 五月婷三级片| 激情五月深爱五月| 五月丁香久久| 三日本无码| 97色97干| 亚洲亚洲人成综合网络| 欧美日韩成人免费在线| 丁香5月婷婷| 67194中文字幕| 久久五月天综合| 成人综合视频网址| 影音先锋按摩| 影音先锋天天日| 婷婷五月激情综合| 97香蕉久久超级碰碰高清版| 婷婷五月天成人综合网| 五月天激情国产综合婷婷婷| 九九色综合网| 五月天婷婷无码| 久久婷婷亚洲| 五月丁香自拍| 六月激情婷婷| 狠狠色色色| 丁香五月91| 五月丁香六月情婷婷久久| 久久3p| 麻豆WWWCOM内射软件| 丁香综合久久| 99热人人操人人操| 国产精品蜜臀99| 香蕉综合在线| 久久人人九| 俺五月| 五月丁香免费视频| 97在线/亚洲| 99热这里只是精品| wwwav大香蕉| 超碰免费人人| 丁香激情久久| 色婷| 久久婷婷网站| 日韩在线视频网站| 日本三久久| 亚洲综合色激情色五月| 日韩爱操视频| 97超碰9久热婷婷热| 五月丁香激情综合网官网| www.97碰碰com| 日噜噜色| 丁香五月偷拍| 99视频网址| 色噜噜婷婷| 极品人妻VIDEOSSS人妻| 99色1| 日韩人妻无码专区| 激情五月激情综合网一级丸片 | 国产精品电| 天天开心天天色| 99热国产精品| 丁香五月天在线视频| 日本精品99| 2017狠狠干| 天天透天天干| 99热主页日本| Av性爱网| 日本色超碰| 丁香五月亚洲天堂| 97碰成超视频免费视频| 在线中文av| 14色综合婷婷| 激情五月天网| 四色五月婷婷在线观看| 激情六月丁香| 国产日韩欧美| 色综合色综合色综合| 日逼影音先锋AV男人资源站| 五月婷婷啪啪| 日韩欧美颜射| 超碰v| 伍月婷丁香婷| 丁香婷婷久久综合在线| 亚洲99综合| 色色婷婷五月天| 五月丁香婷婷综合网| 婷婷五月在线免费| 高清免费在线视频| 日韩成人av在线| 夜夜 操无码| 99精品网| 五月丁香六月婷婷在线观看| www.超碰在线| www,setingting| 丁香五月天成人网站| 玖玖婷婷五月| www.wuyuetian啪啪| WWW五月| 亚洲成人AV在线观看| 99热一区| www天天色天天射| 99re视频在线播放| 精品热青草| 另类视频五月天| 久久9久| 国产AV一区二区三区最新精品| 9999色色色色| 久久草大香蕉| 色月丁| 狠狠干综合| 久久这里只有精品无码| 人人操插| 99热很操老逼| 91se视频| 激情综合网五月| 五月色情网| 99五月婷| 91精选国| 五月天丁香| 婷婷五月天在线一区| 五月婷婷丁香综合| 亚洲AV永久无码影院黑人 | 99热精品在线播放| 丁香激情四射| 玖玖资源在线视频| 五月天久久www| 大香蕉99| 9热久久| 天天干天天干天天干| 色视频五月天| 五月婷婷五月天亚洲无码| 国产精品视频免费看| 成人做爰A片免费看视频| 欧美成人色婷婷| 深爱五月激情网| 91|九色|动漫| 射琪琪| 亚洲色无码A片一区二区麻豆| 免费视频无码| 激情丁香五月| 天天天天操| 性小说五月天| 色五月婷婷久久爱| 亭亭五月丁香综合欧美| 97碰在线视频| 另类激情综合| 婷婷五月色色| 婷婷五月天成人小说| VA婷婷| 亚洲日比视频| 99福利视频导航| 狼人久草| 天天爽人人综合免费7799| 五月丁香成人网| 五月丁香欧美| 婷婷五月天电影在线| 五月婷婷与六月丁香图片激情| ady狠狠入| 日本一級黃色一級片| 99re这里| 日本乱子人伦在线视频| 中文字幕免费高清电视剧| 天天色色天天| 91色婷婷综合久久中文字幕二区| 99久久综合网| 国产精品久久久久久久久久久久 | 久热只有这里有精品| 爱狠射| 婷婷视频在线碰| 亚洲乱码精品久久久久..| 精品久热| 嫩BBB搡BBBB榛BBBB| 狠狠色综合网| 91人妻人人操| 久一网站| 丁香亭亭久久| 俺去也在线www色官网| 另类图片五月天婷婷| 色综合夜夜| 久久综合九九| 色五月天激情| 婷婷色操| 婷婷五月天av| 久9热视频在线| 色色草97| 91要啪| 日本婷婷在线| site:minyis.com| 天天操夜夜夜夜爽| 噜噜色婷婷| 这里只有精彩视频| 色婷婷丁香五月| WWW、日本色丁香、co m| 99热20| 五月激情丁香| 97干视频| 久草热8精品视频在线观看| 五月婷婷亚洲天堂97色婷婷| 五月丁香在线观看99| 99自拍视频在线| 综合激情啪啪| 狠狠操狠狠干综合| 日韩成人无码人妻| 日本操B视频在线观看| 超碰97在线观看免费| av在线不卡播放| 九九热精品99| 5月婷婷性视频| 欧州色色| 99在线精品视频| 超碰色热| 五月天激情小说婷婷| 婷婷六月丁香久| 天天五月情| 久久综合影院| 99操九九网| 久久久ww| 蜜桃五月天| 色婷婷9| 无码G高清天| 五月丁香无码视频| 91色久| 五月天久久小说| 99久久婷婷国产综合| 青草视频在线蜜臀| 五月丁香香蕉| 91一道本| 婷婷五月深深爱| 久久久久久激情| 亚洲字幕AV一区二区三区四区| 婷婷激情四射五月天| 五月丁香久人妻中文| 婷婷五月天综合小说网| 国产肥白大熟妇BBBB视频| 色九九九九| 天天激情夜夜干| 五月婷婷六月丁香玖玖玫瑰91| 五月婷婷六月丁香| 九九视频免费| 久热9| 超级碰91| 欧美激情综合色丁香婷婷五月天| 97碰碰碰免费公开在线视频| 丁香激情久久| 久久婷婷综合网| 色综啪啪啪啪啪啪| 99在线精品免费视频| 久久3p| 国语精品探花| 在线中文AV| 婷婷五月天堂| 中美日韩成人在线| 色色狼人综合| 无码人妻激情| 91人人操人人| 爱射综合| 大功率国产在线| 成人精品人妻| 婷婷综合色图| 夜夜爽天天干| 噜噜噜噜噜久| 五月天婷婷综合网| 婷婷五月影院| 国产99美少妇| 亚洲视频在线观看| 五月色婷婷AV| 婷婷酒色网| 日日狠夜夜狠| 人妻在线观看视频| 丁香美女五月天婷婷| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月亭亭激情综合| 久久五月婷6 9| 天天色爽| 九九操屄| 婷婷五月天精品| 碰久久精品w| 婷婷瑟瑟五月天| 91九九九九九九| 操你av| 亚洲亚洲人成综合网络| 五月丁香婷庭在线| 五月婷婷六月丁香首页| 婷婷色网站| 91久久久久久| 成人免费120分钟啪啪| 久久五月天激情婷婷| 欧美成人va| 台湾综合丁香五月蜜桃| 久久婷婷五月综合啪| 草草色情综合网| 五月丁香色狠狠干大屄| 色吊丝av中文字幕| 大香蕉婷婷五月天| 色99亚洲| 亚洲人人艹| 5五月综合网亚洲| 婷婷激情人妻| 少妇性按摩无码中文A片| 婷婷六月丁香1| 亚洲无码影片| 欧美日综合| 日日操夜夜爽白洁| 3DAV亚洲香蕉久久 一区二区| 日本五月婷婷| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 天堂久久婷婷| 99久久国产宗和精品1上映| 操一操| 光棍影院日韩精品| 99久久婷婷国产综合精品草原| 乱抡小BB| 色色色区| 77799热| 两性婷婷丁香五月| 91超级碰| 丁香九月婷婷色| 亚洲色五月婷婷| 97人人射| 色婷婷五月视频| 东京热伊人| 日本少妇裸体做爰高潮片 | 午夜丁香婷婷| 91se在线观看| 五月天五月色| 久热大香蕉| 婷婷无五月无码视频| 精品99视频| 综合色天天| 五月丁香综合中文| 九九色插| 青青草免费公开视频| 五月丁香婷婷视频| 1010日日无码| 久久人人妻| 激情激情激情网| av在线观看网站| 五月天sesese| av九九| 夜夜爱伊人| 99热精品综合| 婷婷欧美色| 二级黄色毛片| 九九热青青草| 99九九这里有免费视频| 99色色网| www.99视频| 色五月婷婷色五月婷婷色五月婷婷| 激情宗合哪里能看| 爆乳熟妇一区二区三区爆乳照片| 日韩精品无码AV| 被强行糟蹋的女人A片| 婷婷五月天激情综合| 婷婷五月激情在线| 天天色综合色| 激情5月婷婷狠狠干| 91超级碰| 九九人人操| 色综合香蕉| 国内精品免费一区二区2009| 一区二区成人电影免费播放| 成人美女网| www99热| 色婷婷9| 亭亭五月丁香五月天激情| 亚洲综合在线视频| 婷婷综合网| 97视频.干com| 91在线日| 99热官网精品在线| 思思热99热| 五月婷婷av| 超碰com| 久久久久人妻网址| 丁香五月偷拍| 狠狠五月激情丁香六月| 人人摸人人澡人人| 国产免费一区二区三区三州老师F1F1.CC | 99热都是精品| 99精品视频偷拍| 99热这里都是精品| 综合网啪| 99人妻碰碰碰久久久久禁片| 久热伊人| 婷婷热婷婷色| 99.色| 日逼免费视频 | 婷婷五月天综合久久| 六月婷婷视频| 99只有精品| 色五月婷婷久久| 99色热| 国产偷人爽久久久久久老妇APP| 无码免费人妻A片AAA毛片西瓜| 亚洲精品又粗又大又爽A片| 北京熟妇搡BBBB搡BBBB| 色图亚洲91| 超级97碰碰| 丝袜激情网| 99热在线中文字幕| 人人舔人人色人人高潮| 日日操天天| 日本爆乳片手机在线播放| 五月综合丁香婷婷| 亚洲人人96@| 五月婷婷久久内射| 婷婷六月丁| 色色色婷| 日日影院 | 亭亭丁香97| 日本天堂免费99| 99爱爱| 69五月天视频| 夜夜撸夜夜骑| 亚洲九九夜夜| 性爱五月婷| 人人综合久| 丁香香五月激情免费视频| 国产va在线视频| 久久成人人妻| 亚洲六月婷婷| 久人人操| 色播五月丁香婷婷| 91ncm视频| 日韩精品AV一区二区三区| 五月婷护士| 五月婷婷99热| 久久丁香五月婷| 九月色婷婷| 婷婷五月色播天| 91丨九色丨熟女| 九九草热在线观看| 国产成人综合网| www99精品日韩| 超碰九九热| 91免费啪视频| 26uuu青青| 思思re99视频在线观看| 色九月婷婷| av成人在线播放| 五月天婷婷爱丁香中文字幕| 激情综合无码| 久99精品视频| 五月综合婷婷久久在线| 五月婷婷丁香六月| 久久伊人大香蕉| 99热无码| 五月天丁香啪啪网| 天天摸,天天爽| 97视频91| 91丨九色|PRNY熟妇| 日日噜狠狠色综合久久| 色五月欧美| 九九色院| 天天色噜| 夫妻超碰在线| 操啊操av| 天天综合亚洲综合| 五月丁香狠狠爱| 踪合专区啪啪| 亚亚州久久高潮| 人妻丰满精品一区二区A片| 影音先锋噜一噜| 亚洲国产99| 性生生活大片又黄又| 丁香六月婷婷久久综合| 五月色婷| 欧美日本国产欧美日本韩国99| 五月婷婷丁香综合| 五月婷婷性爱网| 激情综合五月.....| 色色色无码| 色五月婷婷自拍| 另类五月激情| 99热免费18| 久久久久久丁香五月| 久久AAAA片一区二区| 日本片日本片祼观看网站在线看中文版网页在线看 | 超碰资源在线| 伊人婷婷大香蕉| 九九热婷婷| 久久五月丁香| 99热在线观看精品| 婷婷五月天小说网| 26UUU成人网| 五月婷婷激情综合| 婷婷六月婷婷| 清纯唯美 激情四射| 五月婷婷m| 丁香六月天婷婷色| 久久美女五月天| 91好好热日本在线| 日本精品99| 丝袜大香蕉| 丁香婷婷啪啪| 久久婷婷操| 五月丁香六月欧美| 激情av网| 五月丁香久久网| 婷婷激情五月| 青青久在线视频免费观看| 天天插夜夜爽| 美腿丝袜AV天堂网| 99精品在线播放| wwW天天干| 丁香五月天成人| 99无吗| 91干视频| 免费观看全黄做爰的视频| 五月天性色| 人人97操| 五月天综合久久| 婷婷六月丁香色| 大香蕉婷婷婷| 人人澡玖玖一| 色婷婷丁香特级性爱视频| 色婷婷久久9.com| 9有码中文| 色五月婷婷五月丁香五月激情五月视频| 成人无码精品1区2区3区免费看| 麻豆五月丁香婷婷| 婷婷丁香九月| 99在线精品免费视频| 天天插天天插天天插天天插| 九九色热| 婷婷香蕉视频| 日韩成人网址| 色综合久久88色综合天天99| 婷婷五月中文在线| 人妻Av在线| 天天插天天爽| 夜夜爱网站| 密黄站| 情趣视频66| 色五月婷婷中文字幕| 天堂成人A片永久免费网站| 欧美精品18| 亚洲激情无码久久| 色婷婷国产精品综合在线观看| 色播播五月天| 99.N在线视频| 大陆肏屄视频| 婷婷5月色| 色射7856五月天激情四射| 婷婷激情综合| 色婷婷综合影院| 日日干日日s| AV色婷婷| 天综合日日夜综合7799| 国产精品日本一区二区在线播放| 亚洲综合色色| 久色资源| 淫荡综合网| 九九综合色| 人人叉久| 在线不卡的视频| 午夜性做爰电影| 九九综合色| 婷婷综合在线网| 深爱激情五月天| 丁香五月色网| 亚洲热视频| 久热只有这里精品| 色香五月天| 五月天色播网| 久操操| 五月婷婷偷拍| 天天综合 99久久婷婷| 久久综合站| 人妻熟人中文字幕一区二区| 玖玖色综合| 噜噜噜狠狠色综合| 色婷婷综合久久久久| 丁香综合婷婷五月天| 国产婷婷五月天| 婷婷五月天性| 9这里只有精品| 久久五月天黄色五月天色网址| 婷婷五月天免费小说| 五月婷婷色| 激情九九综合网| 色噜噜狠狠色综合日日免费| 影音先锋xfplay资源男人网| 丁香五月天激情婷婷丁香六月| 六月久久婷婷| 天堂久久精品| 亚洲色婷婷| 狠狠干综合| 级情九色| 色色五月婷婷| 亚洲日韩人妻操逼| 另类激情五月| 天天日夜夜帕| 久久玖玖综合| 人妻无码精品一区| 久久性爱视频| 五月丁小婷婷激情四射| 丁香五月色激情| 欲求不满的人妻| 97精品综合久久内射| 91人人操人人看| 久热AA| 五月丁香六月色婷婷综合五月天| 色五月开心婷婷| 538久久| 99久久免费精品| 天天综合网在线| 香蕉网久久| 欧美色色色色色色色色色色| 五月天社区| 激情99热| 另类综合国产| 99视频只有精品| 日本一道久久| 丰满女老板BD高清A片| 成人龟情网丁香五月| 九九美女视频| 噜噜噜噜噜在线| 六月色色婷婷| 超碰爱爱爱| 天天干夜晚夜操| 婷婷香草网| 五月丁香趴趴| 人人亚洲| 婷婷亚洲色| 久久92| 中国丰满熟女A片免费观| 色播色丁香五月| 五月丁香啪啪网| 亚洲、热| 人人人操| 99秘 在线| 丝袜激情网| 亚洲婷婷五月天| 狠狠色噜噜色狠狠狠综合色 | 丁香六月啪| 久久婷婷青青草| 九热免费视频| 婷婷丁香五月天亚洲| 亚洲在线操| 丁香香蕉射射射| 婷婷五月综合久久中文字幕| 天天操天天日天天爽| 伊人网碰碰| 色狠狠色综合久久久绯色aⅴ影视| 久久天堂精品| 夜夜夜叫天天天做| 超碰在线看| 在线不卡的视频| 五月丁香六月婷婷啪啪综合| 丁香五月天色婷婷| 国产精产国品一二三在观看| 五月婷婷欧美| www夜夜操| www久久久久久久久久久| 婷婷视频网| 亚洲综合视频八| 秋霞黄色一级久久| 97在线刺激| 欧在线一区| 日日干综合| 91碰碰视频| 9999热在线| 色色婷五月天| 激情六月婷婷| 超碰人人草| 成人色图情色成人网 www.5b5b5bcom 五月天| 日本欧美成人片AAAA| 狠狠香蕉| 色情久久久| 94干大香蕉| 婷婷五月天干干| 精品国产乱码久久久久久免费| 九九精品热| 亚洲操逼片| 色婷婷情片| 国产日日操夜夜操的肉棒视频| 国产做爰视频免费播放| 《诡秘之主》在线观看| 99人妻碰碰碰久久久久禁片| 欧美性爱一区| 99国产精品久久久久久久久久久| 五月色激情综合网| 五月丁香啪啪伦理电影| 久久久久久9热不雅视频| 99热这里有精品24| 老美AA片| 婷婷色丁香五月| 黄色视频网站在线播放| 日韩激情人伦人| 一本道在线电影| 五月婷婷久久开心网| 超碰在线看| 五月婷婷激情四季| 亚洲五月婷婷| 蜘蛛女免费观看完整版高清电影| 婷婷视频网| 中字幕视频在线永久在线观看免费| 91碰碰| 激情网五月天| 五月激情精品视频| 色婷婷网大全在线| 五月婷婷开心丁香| 综合激情sV| 综合狠狠干| 92久久| 色色色综合网| 婷婷六月网| 激情网 久久| 色久五月天| 婷婷五月网图片区| 久99| 色五月天综合| 九久九精品| 丁香五月在线播放| 丁香婷婷啪啪| 蜜桃成语时李时珍 免费| 五月婷婷乱| 日韩小视频在线99| 97干综合网| 99re6热在线精品视频播放速度| 欧美日韩91| av人人操| 好看的国产精品| 大香蕉婷婷| 天天天天做夜夜夜夜做| 噜噜狠狠色综合久| 激情综合五月婷婷| 丁香社区婷婷五月| 五月天婷婷色情| 久久这里只有精品99| 亭亭色天香| www,色综合| 五月丁香六月激情| 婷婷亚洲色| 天天搡日日搡aaaaⅩ| 欧美成人精品A片免费一区99| 日韩在线aaa| 中美日韩成人在线| 极品精品一区二区三区在线| 亚洲秘 无码一区二区三区妃光/1| 狠狠综合| 丁香五月婷婷激情蜜桃| 亚州操人在线视频| 五月天色裸体视频| 996热| 日本美女97在线视频| 伊人婷婷大香蕉| 九九亚洲小视频| 五月婷婷婷综合网| 天天日天天久久青青| 97欧美在线| 色 五月婷婷基地| 美女黄频aⅴ视频| 男人大jjc女人免费视频| 99视频在线播放大全| AV美美午夜| 日本一级一片免费视频| 五月桃花网综合| 久久九九热视频| 色综合色色| 日本人妻伦在线中文字幕| 五月天婷婷色色网| 五月天黄色激情小说| 天天久久66xxx| www.五月婷| 国产乱子轮XXX农村| av在线中文| 久久婷婷五月综合色丁香| 伊人久久艹| 久草丁香婷婷五月天婷| 610018岁成人视频| 五月激情站| 激情综合色婷婷啪啪六月天| www国产亚洲色婷婷com| 5月婷婷视频网站综合| 国产激情在线| 欲色人妻| 久久44| 日本熟妇乱妇熟色A片蜜桃| 婷婷久月| 丁香五月色五月| 久久久久丁香婷婷五月天| 成人网丁香五月| 亚洲美女婷婷五月天| 97碰碰视频在线观看免费| 精品一区二区三区三区| 五月天婷婷Av| 色欲AVV| 久在线88综合| 狠狠CAO日日穞夜夜穞AV| 99色在线| 丁香婷婷深情五月亚洲| 丁香九月综合| 久久99精品久久久久久噜噜| 99热这里只有精品1| 色五月婷婷丁香凹凸| 久/久精品99看9| 激情五月天婷婷| 九九热超碰| 99ri在线视频| 1024日韩| 这里只有精彩视频| 99亚洲视频| 五月色网| 色婷婷狠狠| a在线观看| 九九人人操| 夜夜操狠狠操| 国产精品国产成人国产三级| 色色色网站| 农村熟妇高潮精品A片| 国产精品第一国产精品| 99精品偷自拍| 老妇六区| 九九中文色色| 婷婷综合一二三| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 日韩情色在线观看| www.射伊蕉婷婷| 亚洲美女高潮久久久久久69| 久久婷婷精品| 日韩抽插操逼| 婷婷六月激情丁香| 99免费视频在线观看爱| www夜夜操com| 香蕉婷婷色五月| 91综合在线| 婷婷丁香六月五月天| 26UUU| 五月天激情婷婷五月天久久| 六月丁香好婷婷| 色婷婷狠狠| 99色中文| 99只有精品| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色综合丁香婷婷| www激情| 精品国产乱码久久久久久免费| 亚洲无码 图片区| 五月丁香偷拍| 婷婷色五月丁香六月欧美啪| 五月天 综合 在线| 日韩在线五月天婷婷| 九九大香视频| 五月婷婷大香蕉| 五月丁香激情综合网官网| 久久影视婷婷五月| 狠狠做六月爱婷婷综合aⅴ| 涩涩婷婷五月| 9l视频自拍9l视频自拍九色学生| 操骚货在线| AA片在线观看视频在线播放| 国产婷婷久久| 2050人人操免费工开爱| 久久偷拍综合五月天| 色色色色综合网| 亚洲最大五月六月丁香婷婷| 欧洲一区二区| 熟惀91九色在线| 超碰成人av| 色婷婷六月综合| 丁香六月婷| 国产成人精品一区二三区熟女在线| 色yeye色综合| peg 2区三区四区的| 色五月婷婷九月| 色色五月天婷婷| 欧美在线视频9| 99热精品少| 亚洲无码yw| 五月婷婷综合激情小说| 超碰九九热| 五月婷六月婷婷| 99热在线观看| 欧美VA视频| 精品怡红九九九| 丁香色五月天| 99视频91| 人人做人人看人人摸| 日本在线视频播放91| 狠狠婷婷色综合| 人妻爽爽爽久久久久久久久| 中文AV网| 色五月丁香A欧美com| 黄色99视频| 中文字幕综合| 91啦丨九色丨刺激中文| 99在线免费视| 级情九色| 超碰不卡在线| 99热6色| 国产XXXX搡XXXXX搡麻豆| 婷婷五月天色色| 丰满人妻一区二区三区| 五月婷婷综合天天操| 五月激情综合网| 五月婷婷久久大香蕉| 26uuu精品国产| 婷婷久久色五月婷婷久久久| 亚洲性爱干干| 色五月在线播放| 影视av久久久噜噜噜噜噜三级| 色色哒五月婷婷六月丁香| a久久| 亚洲丁香婷婷五月天综合色| 五月婷婷色情| 激情亚洲婷婷| 97碰碰在线观看视频| 日本在线观看91| 五月天激情无码专区| 五月婷三级片| 婷婷六月插屄激情| 婷婷五月花| ,99视频久久| 九九热九九| 婷婷色亚洲| 婷婷五月天久久| 丁香五月天婷婷在线视频| 97操操操| www.久久| 99热这里只有精品1| 激情综合色网| 激情丁香婷婷| 激情九月婷婷| 67194国产| 久久新地址| 超碰99热| 无码色色色色色| 99视频久久| 狠狠香婷婷五月| BBWCUCKOLD精品熟妇| 婷婷丁香六月激情综合| www.超碰97| 中文字幕色色色| 色在线免费观看| 久机视频这只有精品| 哇嘎成人久久| 97色天堂| 婷婷99狠狠躁天天躁| 久操热线| 色五月丁香婷婷综合| 九九99精品视品| 综合激情视频| 成人丁香色| 国产午夜一区二区三区| 激情五月丁香综合蜜桃| 色婷婷丁香花五月天| 激情五月,色播五月| 五月丁香在线观看99| 五月花激情| 亚洲五月丁| 丁香五月成人自拍| yellow视频在线观看91| 99热这| 亚洲综合视频天天精品| 99热个人在线| 丁香色婷婷| 九久9精品| 图片区 小说区 区 亚洲五月| 婷婷五月精品中文字幕| 99九九热视频| 久久xxxx| 激情婷婷五月社区| 色色五月丁香| 久久艹 五月天| 五月丁香婷婷婷激情爱爱| 丁香婷婷人妻| 亚洲av另类在线观看| 操操自拍| 激情丁香淫荡婷婷| 久久大香免费| 五月综合色| www激情| 综合久久婷婷五月丁香| 另类国产欧美视频| 久久婷婷六月综合| 思思精品热在线| 大香蕉手机视频| 中文不卡av| 99re思思热久久| 六月丁香婷婷六月激情综合| 亚洲最大在线| 日韩人妻AV在线| 超碰97人人操| 99色在线观看视频| 婷婷亚洲天堂| 婷婷五月天大香蕉在线视频观看| 另类视频在线| 亚洲热久久| av在线超清中文| 五月天停婷基地| 国产午夜精品一区二区三区四区| 五夜丁香| 婷婷射图五月天| 九九激情网| 狠狠综合区| 99燥99日| 婷婷五月天色播| 国内外色色色色色成人视频| 激情五月网站| 国产成人网站在线观看| 操逼五月天| 97在线观视频免费观看| 成人国产综合| 激情五月天婷婷丁香 | 91凹凸在线| 在线五月婷| 99九九精品| 综合久久97| 五月丁香免费看| 26uuu国产精品| 中文精品久久久久人妻不| 超碰不卡在线| 欧美激情-区二区三区| 99色6爱9热| 人人爽欧美婷婷久久久五月丁香| 精品国产一区二区三区四区阿崩| 色婷婷中文在线| 亚洲va在线∨a天堂va欧美va| 2025最新亚洲激情在线| 伊人干综合| 黑人熟妇一区二区三区| 91怕怕网| 97色射| 日韩久久成人| 少妇做爰免费视看片| 五月丁香婷婷综合网| 久久综合干| 成人综合AV| 五月天丁香成人社| 色 色 色综合com| 丁香久久久| 久久婷婷五月天激情唯美| 777.色色| 热无码A∨| 五月天婷婷久久日| 99爱视频精品| 婷婷九月激情| 九九综合| 丁香六月综合激情| 99久久99九九九99九他书对| 另类激情五月| 婷婷九月激情| 另类视频一区| 久久婷婷五月综合97色一本| 色色婷婷五月天| 久久狠狠欧美| 99婷婷五月天| 久久er九九| 六月伊人婷婷| 丁香五月激情视频在线| 26UUU精品一区二区c〇m| 青青草护士中出内射-欧美电影在线天堂新版| 日韩好吊操| 色五月丁香激情视频| 久久精品小视频| 伊人狠狠干| 橾逼网| 123草逼网| 婷婷久久综合| 婷婷丁香久久| 国产又色又爽又黄又免费| wwwav大香蕉| 国产精品 的国产| 97五月天婷婷综合激情网| 激情婷婷在线中文字幕| AV九九| 天天操天天操综合| 思思热国产在线| 国产精品色| 日韩色色视频| 中文字幕网伦射乱中文| 91碰免费视频| 免费亚洲成人电影AV| 男女99免费视频| 管管補管管紱| 青青草激情网| 激情色色| 丁香香蕉射射射| 婷婷五月天丁香成人社区| av网址在线| 亚洲天堂AAA| 热久久99热欧美国产亚洲| 成人婷99最新| 欧美经典片免费观看大全| 老司机视频lsj爱就色| 性热视频99精品| 五月丁香日本一抹本| 五月丁香六月婷婷久久久综合| 色五月天电影| 婷婷五月天久久久| 婷婷天堂综合网| 午夜天堂啪啪| 色偷偷狠狠| 91操片| 亚洲午夜成人av电影网| 亚洲无aV在线中文字幕 | 精品国产一区二区三区四区阿崩| 日本在线wwww| 丁香五月天导航| 丁香五月五婷| 丁香婷婷深情五月亚洲| 婷婷色资源| 超碰成人免费| 欧美日韩AAAA| 激情AV| 丁香五月777| 激情五月婷婷伊人| 性视频久久| 五月天丁香婷婷网| 五月丁香婷婷色色| 色综合天天天天做夜夜| 天天色天天| 日韩无码系列| 五月丁香花伦理电影| 97久久精品| 91人人人人人人人| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 操逼棍操逼| 丁香色婷婷五月天| 亚洲九九九九| www.99热最新视频8| 51国精产品自偷自偷综合| 国产亚洲精品AAAAAAA片 | 综合啪啪| 五月婷婷在线综合| 99色热| 棕合影院色色| www,婷婷| av国产精品| 六月婷婷天天操夜夜爽视频| 欧美色婷婷| 久久综合五月天激情小说网站| 亚洲婷婷视频| 久久人人九| 色五月色情| 婷婷五月天亚洲综合网| 99操视频| 五夜婷婷| 91成人电影| 99日视频在线| 天天干天天叉| 日日躁夜夜躁狠狠久久AV| 狠狠色丁香| 国产熟女一区二区三区五月婷| 婷婷色基地在线看 | 九九热re99re6在线精品| 丁香五月六月婷婷殴美综合| 黄桃AV无码免费一区二区三区 | 人人爱操| 天天插天天玩天天干| 婷婷99狠狠躁天天| 97se视频在线| 丁香五月天狠狠| 亚洲中文AV网站| 婷婷视频在线| 偷拍九九热| 久久性爱网站| 丁香久久| 久久久久久草黄色片AV在线观看| 婷婷伊人五月天| 99自拍视频在线| 超碰在线观看99| 色色色国产| 无码激情| 91狠狠色丁香婷婷综合久久精品| 影音先锋四区| 亚欧州精品视频| 国产在线黄色| 五月婷婷欧美| 久久机热/这里只有精品| 97人人操人人干| 婷色五月| 欧美狠狠草| 国产午夜精品AV一区二区麻豆| 亚洲天堂AV免费片| 亚洲电影在线观看| 狠狠五月天激情| av在线不卡播放| 91人人操人人爱|