99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Redis生產(chǎn)實戰(zhàn):內(nèi)存模型、數(shù)據(jù)結構與緩存異常排查

Redis生產(chǎn)實戰(zhàn):內(nèi)存模型、數(shù)據(jù)結構與緩存異常排查 第一次在項目里被 Redis 救場是好幾年前一個商品詳情頁的接口。那時候數(shù)據(jù)庫的 QPS 已經(jīng)被壓到貼著地板走頁面每次刷新都要連表查十幾張表高峰期接口響應時間直接干到三秒以上。后來把詳情頁那份聚合數(shù)據(jù)整成一份 JSON 塞進 Redis超時率當天就掉下來了。從那以后我對這個中間件的態(tài)度就變了——它不是加個緩存這么簡單而是一套需要認真理解內(nèi)存模型、數(shù)據(jù)結構、持久化策略和淘汰機制的基礎設施。這篇內(nèi)容面向的是準備把 Redis 用進生產(chǎn)環(huán)境、或者已經(jīng)用了但心里沒底的同學從它到底解決什么問題、單線程為什么還能扛住高并發(fā)到五種基礎數(shù)據(jù)結構的落地選型、安裝配置、緩存三大異常的應對再到線上排查的實操手法我會按我自己踩過的順序講一遍??赐昴阒辽倌茏龅絻杉轮朗裁磾?shù)據(jù)該往 Redis 里放、什么數(shù)據(jù)不該放以及在它出問題的時候知道從哪幾個命令開始查。1. 先搞清楚 Redis 到底在項目里補的是哪塊短板很多人對 Redis 的第一印象是內(nèi)存數(shù)據(jù)庫讀得快這個描述沒錯但太淺。真把它放進架構里你得先明白它替代的是哪一段鏈路否則用著用著就會出現(xiàn)緩存加了一堆接口還是慢或者數(shù)據(jù)對不上這類問題。1.1 從一次接口超時反推它解決的問題回到開頭那個詳情頁的例子。當時那條鏈路的耗時分布大致是這樣的數(shù)據(jù)庫連接池等待、多表 JOIN、結果集序列化、網(wǎng)絡傳輸。真正壓死駱駝的是 JOIN 和連接池爭搶因為詳情頁的讀請求量是寫請求的幾十倍每次讀都要重新拼裝一遍數(shù)據(jù)數(shù)據(jù)庫的 buffer pool 命中率再高也頂不住這種重復勞動。Redis 在這里的價值不是快而是把一次復雜的計算或查詢結果變成一次 O(1) 的內(nèi)存讀取。這兩者的差別在于數(shù)據(jù)庫快是因為索引和數(shù)據(jù)局部性Redis 快是因為它壓根不做計算直接返回你之前存好的字節(jié)。理解這一點很關鍵因為它決定了你該緩存什么——緩存的是重復計算的結果而不是所有查詢。我在實際項目里見過反例有人把用戶表整表緩存成 Hash每次查單個用戶還要 HGET 一次看著是走了 Redis實際上把關系型數(shù)據(jù)庫的查詢能力全丟了后來要做按手機號模糊搜索、按注冊時間排序全得在應用層手寫最后又灰溜溜地加回數(shù)據(jù)庫查詢。所以第一件事要先劃清邊界。1.2 Redis 與關系型數(shù)據(jù)庫的職責分工我的劃分原則很簡單數(shù)據(jù)庫負責真相Redis 負責效率。具體到落地下面這幾類數(shù)據(jù)適合放進去讀多寫少、且允許短暫不一致的熱點數(shù)據(jù)比如商品詳情、配置項、字典表。有明確過期語義的數(shù)據(jù)比如登錄態(tài)、驗證碼、短信頻控計數(shù)。需要原子性計數(shù)的場景比如庫存扣減的預扣、接口限流、文章閱讀數(shù)。需要跨進程共享的臨時狀態(tài)比如分布式鎖、任務隊列、秒殺排隊。反過來下面這些我基本不往 Redis 里塞需要復雜條件查詢、聚合統(tǒng)計的業(yè)務主數(shù)據(jù)。單條體積超過幾十 KB 的大對象尤其是列表頁會批量取的。需要強事務保證的跨實體寫操作。生命周期極短且無復用價值的臨時數(shù)據(jù)。這里有個判斷口訣如果這份數(shù)據(jù)丟了業(yè)務能不能靠數(shù)據(jù)庫重建能重建的才適合放進緩存層不能重建的說明它是真相的一部分應該留在數(shù)據(jù)庫。還有一點容易被忽略Redis 的內(nèi)存這個屬性意味著成本和容量都是硬約束。一臺 16G 內(nèi)存的機器實際能給 Redis 用的可能只有 10G 出頭剩下要留給操作系統(tǒng)、fork 時的寫時復制、以及內(nèi)存碎片。所以在設計階段就該估算數(shù)據(jù)量而不是等 OOM 了再反過來刪 key。1.3 什么規(guī)模的項目才真正需要它經(jīng)常有人問小項目要不要上 Redis。我的看法是看兩個指標單表數(shù)據(jù)量是否已經(jīng)讓查詢變慢以及是否出現(xiàn)了跨請求共享狀態(tài)的需求。如果只是幾千條數(shù)據(jù)的后臺管理系統(tǒng)查詢走索引完全夠用引入 Redis 只是多了一個需要運維的組件。但只要出現(xiàn)下面任意一種情況它就值得上了同一份數(shù)據(jù)一秒內(nèi)被讀幾十次以上需要給接口做頻率限制需要給多個服務實例共享會話需要做排行榜、延時任務這類數(shù)據(jù)庫不擅長的結構。這些都是硬需求跟項目規(guī)模無關。2. 單線程還能這么快底層到底做了什么Redis 是單線程的這句話流傳太廣以至于很多人第一次聽到會懷疑它扛不住并發(fā)。實際情況是Redis 的命令執(zhí)行確實是單線程的但它的快不是因為線程少而是因為沒有線程切換開銷 純內(nèi)存操作 精心設計的數(shù)據(jù)結構 IO 多路復用這幾件事疊加在一起。2.1 單線程模型的真實含義與版本演進早期版本里Redis 從接收連接、讀取命令、執(zhí)行命令到寫回結果全部在一個主線程里完成靠的是 epollLinux、kqueuemacOS這類多路復用機制一個線程輪詢處理成千上萬個連接。這帶來的好處非常直接不需要加鎖不存在競態(tài)任何一條命令執(zhí)行期間數(shù)據(jù)狀態(tài)都是確定的。像 INCR 這種操作天然就是原子的你不用操心并發(fā)問題。但網(wǎng)絡讀寫本身是有開銷的。Redis 6.0 之后引入了 IO 多線程注意是只把 socket 的讀寫和協(xié)議解析分給多個線程命令執(zhí)行仍然在主線程串行。這個改動對高吞吐場景比如大 value 的批量讀寫提升明顯因為瓶頸從 CPU 計算轉移到了網(wǎng)絡拷貝上。配置上對應的是這兩項# redis.conf io-threads 4 io-threads-do-reads yes提示io-threads 的設置經(jīng)驗值是 CPU 核數(shù)的 3/4 左右且不建議超過 8 個。開太多反而會因為線程調(diào)度拖慢我在一臺 32 核機器上試過開到 16吞吐量相比 8 個還降了一點。2.2 內(nèi)存存儲與底層數(shù)據(jù)結構的取舍純內(nèi)存這件事本身就是數(shù)量級的差距。一次內(nèi)存隨機訪問大概在 100 納秒量級而一次機械硬盤尋道是毫秒級SSD 也是幾十微秒級差距在四到五個數(shù)量級。但光快還不夠Redis 在數(shù)據(jù)結構上做了很多省內(nèi)存的文章這部分決定了你的實例能裝多少數(shù)據(jù)。舉個具體例子一個普通的 String 并不是簡單地 malloc 一塊內(nèi)存而是用 SDS簡單動態(tài)字符串來實現(xiàn)頭部記錄了長度和剩余空間好處是獲取長度是 O(1)、拼接時可以做預分配、并且二進制安全可以存圖片、序列化對象。再比如小規(guī)模的 Hash底層不會一上來就用哈希表而是用 listpack老版本叫 ziplist這種緊湊的連續(xù)內(nèi)存結構元素少的時候省下大量指針開銷。這些細節(jié)平時不用關心但有兩個配置項跟它直接相關值得記住hash-max-listpack-entries 128 hash-max-listpack-value 64 zset-max-listpack-entries 128意思是當 Hash 的字段數(shù)不超過 128、且每個字段值不超過 64 字節(jié)時用緊湊結構存儲一旦超過就轉成真正的哈希表。轉過去之后內(nèi)存占用可能翻好幾倍而且這個過程是不可逆的——即使你后來把字段刪到只剩 3 個它也不會變回緊湊結構。我在一個存用戶標簽的 Hash 上踩過這個坑前期測試時每個用戶 20 來個標簽內(nèi)存很漂亮上線后運營批量打標某些用戶標簽數(shù)沖到 200整個實例內(nèi)存直接漲了 40%。2.3 持久化RDB 與 AOF 的選擇邏輯內(nèi)存數(shù)據(jù)庫最怕的是斷電所以持久化機制必須搞清楚。Redis 給了兩種方式理解它們的關鍵是搞明白各自犧牲了什么。RDB是某一時刻的全量快照通過 fork 子進程 寫時復制來完成。優(yōu)點是文件緊湊、恢復速度快適合做備份和災備。缺點是兩次快照之間的數(shù)據(jù)會丟而且 fork 的瞬間如果數(shù)據(jù)量大會有明顯的內(nèi)存膨脹和短暫卡頓。AOF是追加寫命令日志按 fsync 策略分三檔策略行為數(shù)據(jù)安全性能影響always每條命令都刷盤最高最多丟一條最差QPS 掉一個數(shù)量級everysec每秒刷一次最多丟一秒可接受生產(chǎn)常用no交給操作系統(tǒng)可能丟較多最好不建議生產(chǎn)用AOF 的問題是文件會越來越大所以需要重寫rewrite本質(zhì)上也是 fork 子進程根據(jù)當前內(nèi)存狀態(tài)生成一份精簡的命令集。實際生產(chǎn)里我基本都用混合持久化Redis 4.0 之后支持配置是這樣appendonly yes appendfsync everysec aof-use-rdb-preamble yes開了混合模式之后AOF 重寫時前半段用 RDB 格式存全量后半段追加增量命令?;謴蜁r先加載 RDB 部分再重放命令兼顧了速度和完整性。這個配置我在這幾年幾個項目里都用恢復時間和數(shù)據(jù)安全性都比較平衡。注意如果實例內(nèi)存超過 10Gfork 時的寫時復制可能帶來額外的內(nèi)存峰值。建議預留至少 50% 的空閑內(nèi)存或者把vm.overcommit_memory設為 1避免 fork 失敗。3. 五種基礎數(shù)據(jù)結構對應五類真實業(yè)務場景Redis 常被叫做數(shù)據(jù)結構服務器這個定位很準確。它的價值不在于能存 key-value而在于它把常用的幾種數(shù)據(jù)結構做成了服務端原語你在應用層不用自己實現(xiàn)加鎖和并發(fā)控制。3.1 String 與 Hash緩存對象時的兩種打法String 是最基礎的能存字符串、數(shù)字、二進制。最典型的用法是緩存整個對象序列化后的 JSONSET product:1001 {id:1001,name:某商品,price:99.00} EX 3600 GET product:1001EX 3600 表示一小時后過期。這種整存整取的方式適合讀多寫少、且每次都要完整對象的場景比如詳情頁。Hash 則適合需要部分讀寫、或者字段會獨立變化的場景HSET user:2001 name A同學 level 3 lastLogin 2024-05-01 HGET user:2001 level HINCRBY user:2001 level 1用 Hash 的好處是可以只更新某個字段不用把整個對象讀出來改完再寫回去減少了網(wǎng)絡傳輸和序列化開銷。缺點是過期時間只能加在整個 key 上沒法給單個字段設 TTL。選型上我的經(jīng)驗是對象字段少、整體讀寫就 String對象字段多、經(jīng)常單獨更新某個字段就 Hash。但要注意 2.2 里提到的結構轉換問題字段數(shù)別讓它無限增長。有個容易忽略的細節(jié)String 存數(shù)字時可以直接用 INCR/DECR 做原子計數(shù)這是做限流、庫存預扣的基礎。像接口頻控這種場景我是這么寫的# 一分鐘內(nèi)同一用戶最多 60 次 INCR rate:limit:user:2001:202405011200 EXPIRE rate:limit:user:2001:202405011200 60兩次命令不是原子的嚴格場景需要用 Lua 腳本或者SET key 1 EX 60 NX配合 INCR 的組合來處理。3.2 List 與 Set隊列、去重與關系判斷List 是雙向鏈表底層實際是 quicklist由多個緊湊節(jié)點串起來支持兩端插入彈出天然適合做隊列LPUSH queue:task job-001 BRPOP queue:task 5BRPOP 是阻塞版本隊列空的時候會掛起等待超時返回 nil。用這個做簡單的任務隊列是可行的但要注意它沒有 ACK 機制——消費者取走消息后如果進程崩了這條消息就丟了。要可靠投遞得上 Stream 類型或者專業(yè)的消息隊列。Set 是無序集合最大的價值是去重和集合運算SADD article:1001:liked user:2001 SADD article:1001:liked user:2002 SCARD article:1001:liked SINTER user:2001:follow user:2002:followSINTER 求交集這個能力在做共同關注共同好友時特別省事一行命令解決不用把兩個列表拉到應用層做雙層循環(huán)。但要注意大集合求交集的復雜度是 O(N*M)幾萬規(guī)模的集合還行上百萬就要考慮用別的方式了。3.3 ZSet排行榜與延時任務的核心有序集合是我個人認為 Redis 最有價值的結構。它每個元素帶一個 score按 score 排序底層用跳表實現(xiàn)插入和范圍查詢都是 O(logN)。排行榜是最經(jīng)典的應用ZINCRBY rank:20240501 1 user:2001 ZREVRANGE rank:20240501 0 9 WITHSCORES第一行給用戶加分第二行取分數(shù)最高的前十名含分數(shù)。ZREVRANGE 是倒序正序用 ZRANGE。另一個用法是延時任務。把任務的執(zhí)行時間戳作為 score然后用 ZRANGEBYSCORE 按時間范圍取到期任務ZADD delay:queue 1714560000 order-close:3001 ZRANGEBYSCORE delay:queue 0 1714560000 LIMIT 0 100配合定時輪詢就實現(xiàn)了一個輕量的延時隊列。我在幾個項目里用它做過訂單超時關閉比引入完整消息隊列輕量得多精度控制在秒級完全夠用。3.4 結構選型速查業(yè)務需求推薦結構關鍵命令注意事項對象緩存StringSET/GET體積控制在 10KB 內(nèi)局部字段更新HashHSET/HGET字段數(shù)別超 128簡單隊列ListLPUSH/BRPOP無 ACK謹慎用于關鍵任務去重計數(shù)SetSADD/SCARD大集合注意內(nèi)存共同關系SetSINTER規(guī)模別上百萬排行榜ZSetZINCRBY/ZREVRANGEscore 用 double注意精度延時任務ZSetZADD/ZRANGEBYSCORE需要輪詢進程配合頻控計數(shù)StringINCR/EXPIRE建議用 Lua 保證原子4. 從零裝一套能用的 Redis理論講完落到手上。這部分我按裝、配、驗三步走配置部分會把幾個真正影響生產(chǎn)穩(wěn)定性的項挑出來講。4.1 安裝方式的選擇與取舍三種常見方式包管理器安裝、源碼編譯、容器運行。包管理器最省事apt install redis-server或者yum install redis但版本往往偏舊有些新特性用不上。源碼編譯能拿到最新穩(wěn)定版代價是要自己處理依賴wget https://download.redis.io/releases/redis-7.2.4.tar.gz tar -zxvf redis-7.2.4.tar.gz cd redis-7.2.4 make make install PREFIX/usr/local/redis容器方式適合本地開發(fā)和快速驗證docker run -d -p 6379:6379 redis:7.2。但生產(chǎn)環(huán)境用容器要額外注意數(shù)據(jù)卷掛載和內(nèi)存限制容器內(nèi)的 maxmemory 和宿主機的 cgroup 限制不一致時容易出現(xiàn) OOM Kill 而不是正常的淘汰。提示編譯前確認 gcc 版本7.x 之后要求 gcc 5.3 以上。另外make失敗最常見的原因是 jemalloc 編譯不過可以加MALLOClibc參數(shù)繞過。4.2 生產(chǎn)環(huán)境必須改的配置項默認配置是給開發(fā)用的直接上生產(chǎn)會出事。下面這幾項我每次部署都會過一遍# 網(wǎng)絡與安全 bind 0.0.0.0 protected-mode yes port 6379 requirepass 你的強密碼 # 運行方式 daemonize yes maxclients 10000 # 內(nèi)存 maxmemory 8gb maxmemory-policy allkeys-lru # 持久化 appendonly yes appendfsync everysecmaxmemory一定要設不設的話 Redis 會一直吃內(nèi)存直到被系統(tǒng)殺掉那時候就不是淘汰幾個 key 的問題了而是整個實例掛掉。maxmemory-policy的選擇取決于你的數(shù)據(jù)性質(zhì)noeviction內(nèi)存滿了直接報錯適合數(shù)據(jù)不能丟的場景。allkeys-lru所有 key 里淘汰最近最少使用的純緩存場景首選。volatile-lru只淘汰設了過期時間的 key適合緩存和持久數(shù)據(jù)混存的實例。allkeys-lfu按訪問頻率淘汰熱點數(shù)據(jù)保護更好4.0 之后支持。我個人在純緩存實例上一律用allkeys-lru在混合實例上用volatile-lru并且嚴格要求持久數(shù)據(jù)不設 TTL靠這個約定來保證它們不會被誤淘汰。4.3 連通性驗證與基礎命令實測裝完之后別急著寫代碼先手工驗一遍redis-cli -h 127.0.0.1 -p 6379 -a 你的密碼 127.0.0.1:6379 PING PONG 127.0.0.1:6379 INFO serverPING 返回 PONG 說明連通。INFO 里重點看幾個字段redis_version版本、uptime_in_days運行天數(shù)、connected_clients當前連接數(shù)。再跑一組讀寫驗證127.0.0.1:6379 SET test:key hello EX 60 OK 127.0.0.1:6379 TTL test:key (integer) 59 127.0.0.1:6379 GET test:key helloTTL 返回 59 而不是 60是因為命令執(zhí)行有極小的耗時屬于正?,F(xiàn)象。如果 TTL 返回 -1 說明沒設過期返回 -2 說明 key 不存在——這兩個返回值經(jīng)常被混淆寫監(jiān)控腳本時要注意區(qū)分。5. 緩存三大異常每個都有對應的打法緩存用起來之后真正讓人睡不著覺的不是性能而是數(shù)據(jù)一致性和異常流量。所謂穿透、擊穿、雪崩這三個詞說的是三種不同的失效模式應對手段也完全不同必須分清楚。5.1 三種失效模式的成因對比異常類型觸發(fā)條件現(xiàn)象影響范圍緩存穿透查詢根本不存在的數(shù)據(jù)每次都打到數(shù)據(jù)庫可能被惡意利用緩存擊穿熱點 key 過期瞬間大量請求同時打庫單個熱點緩存雪崩大量 key 同時過期或實例宕機數(shù)據(jù)庫瞬間承壓全局性穿透的本質(zhì)是緩存里沒有數(shù)據(jù)庫里也沒有查詢永遠落空緩存形同虛設。擊穿是緩存里本來有剛好過期了一瞬間所有請求涌向數(shù)據(jù)庫。雪崩則是更大范圍的集體失效。這三者的共同點是把數(shù)據(jù)庫當成了兜底所以核心思路都是在緩存層就把請求擋住或者分流。5.2 穿透與擊穿的落地實現(xiàn)對付穿透最直接的辦法是緩存空值。查數(shù)據(jù)庫沒查到也往 Redis 里塞一個特殊標記TTL 設短一點比如 60 秒def get_user(user_id): key fuser:{user_id} cached redis.get(key) if cached is not None: if cached __NULL__: return None return json.loads(cached) user db.query_user(user_id) if user is None: redis.set(key, __NULL__, ex60) return None redis.set(key, json.dumps(user), ex3600) return user這個做法的隱患是如果攻擊者用隨機 ID 瘋狂請求會往 Redis 里塞大量空值 key所以通常要配合布隆過濾器在入口先做一層攔截。布隆過濾器判斷一定不存在是準確的判斷存在有誤判率剛好適合放在緩存前面。擊穿的解法是加互斥鎖保證同一時刻只有一個請求去回源def get_hot_data(key): data redis.get(key) if data: return data lock_key flock:{key} if redis.set(lock_key, 1, nxTrue, ex10): try: data db.query(key) redis.set(key, data, ex300) return data finally: redis.delete(lock_key) else: time.sleep(0.05) return get_hot_data(key)注意nxTrue這個參數(shù)等價于 SETNX只有 key 不存在時才設置成功這是拿鎖的關鍵。鎖的過期時間要設否則持有者崩了會死鎖。5.3 雪崩的預防與兜底策略雪崩的預防核心是打散過期時間。給 TTL 加一個隨機偏移量是最簡單有效的做法ttl 3600 random.randint(0, 600) redis.set(key, value, exttl)這樣即使批量預熱過期時間也會分散在十分鐘的窗口里不會同時失效。除了打散還要做幾層兜底本地緩存比如 Caffeine作為二級緩存擋第一波流量數(shù)據(jù)庫連接池限流避免被打死關鍵接口做熔斷降級返回兜底數(shù)據(jù)而不是直接報錯。我的實際經(jīng)驗有一次批量導入商品后統(tǒng)一預熱緩存所有 key 的 TTL 都是 7200 秒結果兩小時后整批同時失效數(shù)據(jù)庫 CPU 直接打滿。后來改成預熱時按7200 random(0, 1200)設置再沒出現(xiàn)過集體失效。5.4 雙寫一致性該怎么做緩存和數(shù)據(jù)庫同時寫一定有短暫不一致關鍵是控制窗口和最終一致。業(yè)界主流是 Cache Aside 模式讀的時候先讀緩存沒有再讀庫并回填寫的時候先更新數(shù)據(jù)庫再刪除緩存。為什么是刪緩存而不是更新緩存因為并發(fā)更新時兩個請求的更新順序可能和寫庫順序不一致導致緩存里存了舊值。刪除操作更安全下次讀的時候自然回填最新值。但先寫庫再刪緩存仍有極小概率出問題讀請求在寫庫之后、刪緩存之前讀到舊值并回填。常用的補救是延遲雙刪——寫完庫刪一次隔幾百毫秒再刪一次。更徹底的方案是訂閱數(shù)據(jù)庫的 binlog異步刪除緩存把一致性保障從業(yè)務代碼里剝離出來。6. 線上出問題時我一般從這幾個命令開始查Redis 的問題看起來五花八門實際上集中在幾類內(nèi)存漲了、變慢了、連接不上了、數(shù)據(jù)不對了。每一類都有對應的排查入口。6.1 內(nèi)存類問題的定位路徑第一步看整體redis-cli -a 密碼 INFO memory重點看三個值used_memory_human實際使用、used_memory_rss_human操作系統(tǒng)看到的內(nèi)存、mem_fragmentation_ratio碎片率。碎片率在 1.0 到 1.5 之間算正常超過 1.5 說明碎片較多可以考慮開啟activedefrag yes做在線碎片整理或者在低峰期重啟。第二步找大 keyredis-cli -a 密碼 --bigkeys這個命令會掃描全庫并列出每種類型最大的 key。注意它會遍歷所有鍵在數(shù)據(jù)量大的實例上會明顯增加負載建議在從節(jié)點或者低峰期執(zhí)行。找到大 key 之后單個 key 的內(nèi)存占用可以用MEMORY USAGE user:2001如果確認是某個大 Hash 或者大 List 占了幾百兆刪除時千萬別用 DEL會阻塞主線程。改用UNLINK它在后臺線程異步釋放內(nèi)存UNLINK big:hash:key6.2 變慢的常見原因與排查手法Redis 變慢無非幾個方向慢命令、大 key 操作、網(wǎng)絡問題、持久化阻塞。先用慢查詢?nèi)罩径ㄎ籆ONFIG SET slowlog-log-slower-than 10000 SLOWLOG GET 1010000 微秒就是 10 毫秒超過這個閾值的命令會被記錄。SLOWLOG GET 返回最近的慢命令包含執(zhí)行時間、命令內(nèi)容、客戶端地址。常見的慢命令有KEYS *全庫掃描生產(chǎn)禁用、FLUSHALL清庫、大集合的SMEMBERS、大 ZSet 的ZRANGE全量取。這些都在主線程執(zhí)行一次就能把整個實例卡住。另一個隱蔽的原因是持久化。開著 AOF everysec 的情況下如果磁盤 IO 跟不上fsync 會阻塞寫入??梢酝ㄟ^INFO persistence看aof_delayed_fsync這個指標如果它一直增長說明磁盤扛不住了要么換 SSD要么改配置。6.3 連接與命中率類問題連接數(shù)打滿是很常見的線上故障先用這個看CLIENT LIST INFO clientsconnected_clients接近maxclients時新連接會被拒絕。原因通常是應用側連接池配置過大或者連接沒正確釋放。檢查連接池的maxTotal和maxIdle一般建議單實例連接池控制在 50 以內(nèi)多個應用實例加起來別超過 maxclients 的 80%。命中率同樣重要INFO stats看keyspace_hits和keyspace_misses兩者相除就是命中率。低于 80% 就要反思緩存策略了可能是 TTL 太短、緩存的數(shù)據(jù)根本沒人訪問、或者 key 設計有問題導致查不到。6.4 排查速查表現(xiàn)象首選命令常見原因處理方式內(nèi)存持續(xù)上漲INFO memory大 key、無 TTL、碎片找大 key、補 TTL、開碎片整理響應變慢SLOWLOG GET慢命令、大 key 操作替換命令、拆分 key連接被拒INFO clients連接池過大、未釋放調(diào)小池子、查泄漏命中率低INFO statsTTL 過短、key 設計差調(diào)整策略、重新設計持久化卡頓INFO persistence磁盤 IO 不足換盤、調(diào) fsync 策略數(shù)據(jù)不一致業(yè)務側日志雙寫順序錯、刪除失敗延遲雙刪、訂閱 binlog一個容易忽略的點INFO命令在高版本里可以帶 section 參數(shù)比如INFO memory只返回內(nèi)存相關字段比全量 INFO 快很多。寫監(jiān)控腳本時用分節(jié)查詢能減少對主線程的影響。最后分享一個我在實際運維里養(yǎng)成的小習慣給每個業(yè)務線的 key 加上統(tǒng)一的命名前綴比如order:、user:、cfg:配合SCAN命令按前綴遍歷千萬別用 KEYS。這樣做的好處是排查時能快速圈定范圍做容量評估時也能按業(yè)務線統(tǒng)計。我一般是這么掃的redis-cli -a 密碼 --scan --pattern order:* | head -100另外新實例上線前我都會跑一輪壓測用 redis-benchmark 把基線摸清楚redis-benchmark -h 127.0.0.1 -p 6379 -a 密碼 -n 100000 -c 50 -t set,get -q這個基線數(shù)據(jù)的價值在于線上出現(xiàn)性能問題時你有個對照系——是整體變慢了還是某類命令變慢了一眼就能判斷。沒有基線的排查基本靠猜有了基線排查效率完全是另一個層次。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香狠狠爱| 久久草大香蕉| 久久九九爽| 丁香五月婷婷五月天在线| 国产AV国片偷人妻麻豆| 色婷婷婷婷| 操国产人妻| 香蕉五月婷婷| 国产麻豆视频| AA片在线观看视频在线播放| 99在线资源| 色月视频| 激情丁香久久| 五月开心婷婷极品激情| 丝袜激情网| 国产精品人人做人人爽人人添| 国产这里只有精品| 久久精品亚洲一级牲爱综合 | 少妇性按摩无码中文A片| 精品人妻久久久久久| 九九国产精视频| 五月婷婷玖玖综合玖玖爱| 99日韩| 亚洲视频在线观看| 年轻的妺妺伦理HD中文| 亚洲操操操| 五月丁香六月婷婷啪啪| 日韩aaa| 日本人妻丁香婷婷久久寝取熟女五月| 天天骑日日爽| 天天摸天天舔在线视频| 噜一噜免费视频| caopeng97人人| 665566 无码| 99性视频| 天天插天天插| 成人综合网站| 蜜乳久AV| 日韩久操婷婷| 五月亭亭欧美女人| 久热AA| 亚洲激情免费视频| 韩国天天婷婷| 91狠狠色丁香| 在线婷婷| www激情| 亚洲这里只有精品| 性一交一乱一交A片久| 99热免费| 狠狠一日| 97色色综合| 七月激情六月婷婷综合在线播放| 97热久久五月婷婷| 日本va欧美va欧美va精品| 国内一级精品| 婷婷五月黄色激情在线| 人妻尝试久久久久久久久久久久| 免费五月婷婷网| 99色看| 色婷婷六月精品| 色五月激情五月丁香五月婷婷啪啪综合 | 欧美狠狠一在草| 色V狠狠的干| 九九色中文| 婷婷丁香五月综合| 激情五月色综合国产精品| 久久成人性爱| 五月丁香激情综合网| 婷婷婷婷婷婷婷婷| 激情五月天婷婷| 深爱五月天| 婷婷丁香六月天| 国产毛片精品一区二区色欲黄A片| 国产麻豆视频| 激情综合国产| 99精彩视频在线观看| 丁香婷婷伊人| www超碰| 丁香五月婷婷基地| 色色色五月| 91丁香五月| 中文字幕在线日亚洲9| 就要爱综合| 丁香五月激情婷婷激情| 99riAV国产精品视频| 可以直接看的AV| 免费视频WWW在线观看网站| 香蕉AV777XXX色综合一区| se色婷婷视频| 99久久久免费| 色五月丁香五月天| 五月丁香啪| 91人人爱| 永久思思热在线| 五月色丁香激情| 人妻久久久久久| 五月天色综合| 色婷婷免费视频| 国产乱码久久| 日韩另类在线观看| 婷婷色综合网日韩国产| 婷婷五月 丁香六月| 色9999综合久久| 欧美VA视频| 亚洲人成网亚洲欧洲无码久久| 婷婷五月天com| 婷婷五月天精品| 五月伊人网| 中文字幕成人网站| 婷婷丁香五| 五月天久久婷婷| 婷婷激情五月| 九热视频| 久久婷网| 色婷婷四色| 亚洲五月婷婷在线| 丁香五月天激情综合| 久久密臀婷婷| 九九色99| 99热久久这里只有精品| 最新日本A片| 狠狠干婷婷| 少妇高潮呻吟A片免费看软件| 九月综合| 婷婷色在线播放| 国产亚洲精品久久久久久久久动漫| 超碰在线中文字幕| 五月丁香六月婷婷激情网| 99ER热精品视频| 色色婷| 五月婷婷激情综合网 | 99热日韩这里只有精品| 99操视频| 色5月婷婷| 怡红院视频| 精品无码久久久久久久久| 先锋资源91| 五月亭亭六月天| 国产AV一区二区三区最新精品 | 婷婷六月天亚州| 激情五月天婷婷| 色欲天天综合网| 夜夜谢天天干| 天堂爱啪啪| 亚洲丁香五月| 久久综合五月| 色婷婷久久综合| 9l视频自拍九色9l视频在线观看| 久久伊人9| 婷婷综合五月| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 激情五月天激情小说| 一本色道久久88综合日韩精品| 久热超碰| 成人中文网| 天天草天天舔| 九九九九热99超碰| 人妻精品一区二区三区| 婷婷午夜精品久久久| 久热69| 操九色| 婷婷99丁香| 第四色首页| 日韩在线视频9色| 五月丁香激情综合欧美| 亚洲 欧洲 国产 伦综合| 天天做天天爱天天玩| 色五月婷婷自拍| 五月婷婷亚洲色视频| 香蕉网久久| 丁香五月影视| 五月www| 色婷婷五月天av在线| 2025年最新亚洲在线欧美| 91在线视频观看午夜福利| site:ornaments52.com| 婷婷五月天情色| 99亚洲视频| 五月婷在线影院| 久久网日本| 久99| 骚逼视频一区2区| 激情五月,激情综合网| 人人草碰| 欧美久热| 五月丁香六月婷婷欧美综合| 99热精品在线在线| 伊人久久五月天| 亚洲天堂制| 色综合五月| 激情四射网| 婷婷六月色| 日操五月婷| 久草婷妨| 91日韩在线| 我要射综合| 精品操逼一区二区| 丁香啪啪| www久久艹| site:hcxsz888.com| 欧美槡BBBB槡BBB少妇| 婷婷丁香激情| 九九精品这里只有| 99热丁香| 奇米色大香蕉| 亚洲熟妇AV乱码在线观看| 色五月激情婷婷| 久久人人九九| 综合亚洲AV| 99热| 久九色| 超碰AAAAAAV| 久久多色| 综合玖玖偷拍| 91国产精品视频播放| 五月丁香免费看| 久久人妻在线| 日韩六十路91性交电影| 综合激情五月丁香9999久久精| 久久久香港| 五月花婷婷| 亚洲VA口| 天天操天天操天天操天天操天天操天天操| 五月婷无码| 丁香五月在线自慰| 久操97| 在线中文AV| 天天爽夜夜操| 九九99久久| 开心深爱激情网| 婷婷免费成人视频| 天堂爱爱| 日韩砖区| 99er免费在线观看| 六月婷伊人| 高清无码.com| 色婷婷婷av | www.婷婷| 六月婷婷五月天| 97丁香五月| 综合五月天完整| 99re思思热这里| 六月色婷婷色| 就99这里只有精品| 丁香五月婷婷六月婷| 亚洲操人| 亚洲夜五月| 久久久久亚洲AV无码网影音先锋| 亚洲成人高清在线| 日本99热| 久久五月激情网| sS丁香五月婷婷| 五月婷婷色| 五月天啪啪视频| 五月丁香亭亭操逼| 无码地址| 丁香五月综合在线| 79色色色色| 婷婷丁香五月噜噜噜| 狠狠干2007| 天堂爱爱| 米奇影视五月天| 色色日韩无码| 久久爱婷婷| 婷婷成人五月天成人文学小说| 99热99热99热99热| 午夜婷婷久久| 天天玩夜夜操| 九九视频在线观看视频6| 婷婷在线精品| 婷婷久综合| 五月天堂六月丁香亚州中文字幕久久| 天堂网色色| 9 1在线视频| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 91色吧网| 婷婷色五月婷婷姐妹| 丁香五月天在线视频| 一本久久亚洲五月婷婷| 九九热99热| 天天综合网在线| 色欲婷婷五月天丁香| 99热大香蕉| 久99热| 激情五月深爱五月观看| 一本综合丁香日日狠狠色| 色性五月天| 婷婷五月天播播| 九九亚洲综合| 激情小说色五月| 97AV人人插人人操| 日韩成人五月天| 亚洲色 视频| 五月丁香花视频| www.夜夜| 美腿丝袜AV天堂网| 色欲日日躁| 妻久久人久久| 九九AV| 亚洲久热无码| 色五月综合在线| 无码激情AAAAA片-区区| 九九re精品视频在线观看| 精品九九在线观看视频| 色综合色色色| 操操操97| 亚洲综合字幕色色| 日韩aaaaa| 五月丁香在线观看| 狠干综合| 99色热视频| 天天摸天天做天天爱天天爽| 久久成人精品视频| 狠狠色婷婷| 97人碰人操| 操97| 99无码精品| 六月婷婷激情| 激情综合网址| www.激情五月| 99热99日天天干| 女性自慰系列第五页| 九九热99热| www.婷婷六月天| 91色干| 婷婷丁香五月天小说| 亚洲永久免费| 婷婷六月天天| 天天摸天天舔天天天天爽| 久久婷婷六月综合| 96丁香六月婷婷蜜桃综合久久| 婷婷五月六月丁香综合| 日本乱子人伦在线视频| 这里只有精品热| 另类视频五月天| 婷婷五月天99综合网站| 屁股翘好撅高迎合跪趴| 婷婷成人网五月天| 五月天com| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 色五月色五天色情网| 玖玖色综合| 婷婷丁香综合| 色狠狠婷婷| 99免费超碰在线| 丁香五月婷婷激情小说| 激情久久久久久| 国产女生爱爱AA| 综合色色婷婷| 操精品9| 婷婷五月开心中文字幕色| 亚洲中文乱字字幕在线永久| 熟女色专区| 粉嫩av懂色av蜜臀av熟妇| 1999天天操夜夜操| 91凹凸在线| Www.狠狠| 久久婷婷色色| 色欲色香,www,com| 激情五月色播五月| 日本久久人| 人人视频人人干人人做| 九九综合伊人| 伊人久久艹| 91偷拍视频| 色哟哟性爱av| 婷婷五月天奸女| 色热久| 久久综合性| 九九视频这里只有精品| 亚洲精品色| 丁香五月天色| 国产精品天天狠天天看| 九月丁香五月婷婷| 五月婷婷|欧美| 97色操| 久久 婷婷 五月天| 精品国产AV色一区二区深夜久久| 99亚洲综合| 国内外色色色色色成人视频| 精品亚洲国产成AV人片传媒| 国产精品香蕉| 丁香色成人| 久久五月激情综合| 婷丁香五月天| 91精品刘玥| 婷婷 月 丁香| 二级黄色毛片| 色婷婷亚洲婷婷| 久久五月婷婷电影| 久久久91精品| 五月天啪啪视频| 亚洲丁香花色| 伊人爱爱日本| 在线网黄| Av性爱网站| 丁香五月婷中字在线| 五月婷婷六月开心| 最新色色五月天| 日日干天天| 五月婷婷激情色情网| 十二区无码| 激情图片婷婷丁香五月| 久久久久久激情| 99er这里只有精品| 香蕉色色网| 久久婷婷综| 婷婷五月在线综合| 中文字幕欧美精品久久| 色婷婷五月在线| wwxx日本| 日韩一级A片黄色| 国产古装妇女野外A片| 丁香六月激情网C0W| 99热天堂| 九九香蕉网| 欧美久久婷婷| 色墦五月丁香| 欧美99视频| 天天人人天天爽| 久久五月天丁香花| 欧美激情综合五月色丁香| 激情久久丁香| 99热这里只有精品在线播放 | 五月婷婷开心爱| 色色色婷婷| 久久视频在线视频| 久99热| 久久少妇视频| 亚洲综合婷婷五月天| 综合久久97| 久操香蕉| 午夜精品久久久久久久爽| 超碰在线免费9| 26uuu另类| 久久在线视频只有这里有精品| 第五婷婷伊人丁香| 99九九99九九九视频精品| 色色99| 色婷婷9| 99久久免费精品| 激情五月天婷婷激情| 噜噜狠狠色综合久| 中文字幕婷婷在线| 丁香五月婷婷激情中文| 婷婷五月天 丁香五月天 裸体 | 99婷五月| wwwav大香蕉| 天天干天天拍| 成人在线99| 欧美在线视频免费播放| 日本99色| 欧美日韩国产日本精品四虎网网站物| 九九色网| 色开心五月婷婷丁香HD| 色综合9| 无码人妻丰满熟妇奶水区码| 午夜天堂一区人妻| 内射在线CHINESE| 婷婷色播婷婷| 日本欧美成人片AAAA| 久久激情五月婷婷| 九月丁香| 91人在线观看| 狠狠色综合久久久久| 天堂在线观看视频| 五月激情久久| 婷婷婷久久久| 色婷婷97| 天天日夜夜高潮| 少妇丁香婷婷 | 六月伊人婷婷| 国产片色| 婷婷精品性视频| 天天日日综合| 97碰人人操| 99狠狠| 九九re精品视频在线观看| 国产色网站| 色婷婷狠狠爱| 天天插天天射| 丁香五月婷婷影视先锋| 丁香五月AV| 91色噜噜狠狠狠狠色综合| 色吧五月婷婷| 日韩一66精品| 伊人大香久久| 婷婷激情人妻| 激情五月婷婷丁香六月| 婷婷丁香六月影视| 欧美激情综合五月色丁香| 少妇性按摩无码中文A片| 婷婷五月色色| 亚洲第一综合| 亚洲精品成人片在线播| 伊人99热| 色五月成人在线| 丁香六月欧美| 开心激情婷婷| 午夜激情久久| 久久视这里只有精品| 狠狠干2007| 99综合成人视频在线观看| 久操干| 涩涩五月天综合| 五月天激情日色在线| 色婷婷五月天在线观看| 五月丁香综合网| 国内精品免费一区二区2009| 天天操无码| 亚洲 激情 中文| 日日操夜夜骑| 九九热在线99| av在线不卡播放| 综合久久97| 啪啪啪五月天| 97色在线| 综合激情在线观看| 五五月五月| 狠狠狠狠狠狠| 中文字幕视频色婷婷| 99在线热视频| 99热精品在线观看| 五月婷婷丁香啪啪| 亚洲小说欧美激情| 99热这里有精品| 大香蕉视频99| 玖玖在线资源视频| 狠狠综合网| 激情五月婷婷视频| 色色日韩| 婷婷综合97| 超碰在线观看三级片| 99re在线视频| 天天爱天天做天天| 婷婷五月天成人视频| 色色操| 婷婷五月丁香综合激情| 丁香激情六月天婷婷| www99在线观看视频| 黄网在线免费观| 婷婷久久网| 五月婷婷开心五月| 亚韩精品视频1区| 日本综合久久| 国产精品色婷婷99久久精品| 色五月婷婷91在线| 天天爽天天草| 爆乳熟妇一区二区三区四区| 激情综合网,婷婷| 久久新地址| www.com亚洲网站在线免费| 涩涩涩.com| 亚洲综合五月天| 婷婷丁香在线| 丁香九月婷| xx久久| 狠狠高潮精品亚洲1| 大香蕉久久视频久久视频| 2015好吊操| 五月天堂色| 成人电影AV在线观看| 亚洲第一综合| 超碰资源在线| 站长推荐无码播放| 婷婷永久在线| 色久天| 久久婷婷影院| 这里只有精品视频免费在线观看| 久久这里都是精品免费| 九九色热| 六月婷婷七月丁香| 97五月婷| 噜噜色婷婷| 99热大| 99热久| 91疯狂操操操操| 久99热在线观看| 91免费看片| 99综合在线| 丁香五月天激情| 99亚州综合精品成人网| 狠狠色婷婷7| 国产人妻人伦精品一区二区| www.五月天。com| 色婷婷av综合网| 久久人妻久久| 99色网站| 国产毛多水多女人A片| xxx日本东京热| tingtingcaobi| 色99在线视频| 日本三级中国三级99人妇网站| 色婷婷小说网| 五月天深爱激情网| 超碰日日操| 激情丁香五月| 五月天婷婷中文字幕在线播放| 色色综合热| 午夜成人AV在线| 天天爽天天日人人爱| 91在线操逼视频| 五月叮香啪| 99综合久久| 人妻丰满精品一区二区A片| 思思久热6| 五月天天综合| 国外亚洲成AV人片在线观看| 第五色婷婷| 丁香五月天啪啪| 变态 另类 在线| 五月天激情综合| site:xiongshengzz.com| 婷婷五月欧美综合| 超碰人人操人人干| site:publishdd.com| 99人人操人人爱久久久| 免费视频WWW在线观看网站| 五月婷婷中文| 亚洲精品乱码久久久久久综合| 婷婷色综合中心站| 六月婷婷色综合| 五月天色裸体视频| 丁香五月激情六月欧亚激情综合导航| 中文字幕91,综合| 另类图片五月天| 99热6精品| 九九视频这里是精品五月| 热婷婷久| 国产FREESEXVIDEOS性中国| 丁香五月欧美| 能直接看的AV网站| 99思思在线视频| 五月天婷婷激情网| 五月天操逼激情| 成人日韩欧美| 舔色婷婷| 日本激情综合| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | WWW色色色COm| 性爱五月婷| http:色情日本com| 天天草天天爽| 欧洲综合视频| 天天弄天天操| 99热这里只有精品在线播放| 深爱五月中文字幕| 九九热这里只有精品556| 日韩美女羞羞网站在线观看| 玖玖婷婷色欲| 风流少妇A片一区二区蜜桃| 九九热av| 激情綜合網址| 色婷婷精品视频| 色九九中文字幕| 狠狠色婷婷| 99re思思久久| 五月丁香婷婷综合网| 99热精品免费| 天天干天天干天天操| 丁香五月第四色88| 日日操日日射| 五月婷婷激情中心| 三十路磁力链接| 天天日日人| 五月婷婷基地| jiqingtaose五月天| 狠狠久久婷五月| 日韩在线观看亚洲| 久久精品99久久久久久| 狠狠99| 色五月偷偷| 九热久| 丁香婷婷91在线观看视频| caopeng97人人| 九九激情| 99热久97| 伊人www22综合色| 五月激情婷婷综合| 激情丁香五月天综合| 色丁香久久| 开心五月婷婷激情| 思思视频久久| 99精品视频在线| 激情激情激情网| 99热这里只有精品一区| 婷婷亚洲欧美丁香五月| 婷婷深爱五月天| 欧美日韩成人在线网| 999精品乱码77777| www.五月天婷婷| 99视频在线| 97碰碰碰免费公开在线视频| 内射 无码 伊人| 嫩草哈哈操| 国产44页| 操碰97| 激情综合五月激情| 爱婷婷久久视频| 天天玩夜夜操| 99久在线精品99re8热| 91欧美| 婷婷中合| www.婷婷.com| 99热精品在线播放观看| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 五月综合激情视频在线| 激情综合五月| 国产肥白大熟妇BBBB视频| 内射 无码 伊人| 日本99色| 激情丁香淫荡婷婷| 激情综合五月婷婷| 色五月激情综合网| 大香久久综合网| 丁香婷婷五月激情| 五月丁香婷婷人体| 九色七七| 国语对白性爱视频播放| 五月婷亚洲精品| 五月婷婷婷| 久久婷婷一级片| 日本不卡中文字幕| 五月婷婷伊人久久| 天天肏视频| 狠狠干.com| 五月久久婷婷| 天天爽夜夜爽天天爽夜夜爽| 久久香蕉影院| 国产伊人大香蕉| 丁香六月天AV| 少妇人妻人伦A片| www.夜夜| 五月天综合激情网| 丁香五月综合在线视频| 99热自拍| 九九热10| 色婷婷婷婷五月天| 国产又粗又大又爽又黄| 欧美婷婷日本| 婷婷色影音天| 亚洲国产婷婷色五月| 99这里只有精品|v| 亚洲日韩一页精品发布| 99热老网站| 日日夜夜天天爽| 久久怡红院| 99碰网站| 人人草开心五月天| 丁香香蕉射射射| 九月激情网| 激情五月天在线视频| 三年高清大片免费观看国语| 色情五月婷婷| 五月婷婷丁香俺日污视频| 亚洲经典三级| 色综合爽| 天天色综网| 婷婷色片| 天天综合中文| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 变天就操逼婷婷五月| 亚洲一色色色色色色色色| 亚卅毛片| 午夜九九九九九九| 一级操逼内射在线视频| 色婷婷成人做爰A片免费看网站| 久久XX| www久久久久久久97| 丁香五月www| 婷婷色五月色妇| a久久| 天天搞夜夜叫| 亚洲成人综合在线| 9久精品视频| 婷婷九月激情| 五月婷婷狠狠干| 五月天丁香婷婷社区| 91九色无码内射| 中文不卡一二区| 夜夜嗨一区二区三区直播内容 | 99久久国产宗和精品1上映| 丁香五月婷婷黑人妻黄色电影院| 久久色亭亭五月天| 97黑人精品区| 五月天桃色深爱网| 精品人妻在线| 黄色五月婷婷| jiujiu热在线视频| 五月丁香综合| 99极品视频| 风流少妇A片一区二区蜜桃| 婷婷五日b| seav天堂| 人人摸人人搞| 99玖玖在线视频| www久| 六月婷婷五月丁香首页| 国产乱子轮XXX农村| 欧美激情2025| 亚洲4区国产欧美| 婷婷色片| 免费成人va| 三人荫蒂添的好舒服A片| 色五月成人在线| 中文字幕婷婷在线| 超碰在线人妻| 亚洲亚洲激情| 超级碰碰碰久久网站视频| 婷婷开心五月| 色综合久久天天综合网| 九九av| www.五月瑟| 激情人妻综合| 婷婷导航| 九九免费视频| 九九色色网| 97精品人人A片免费看| 婷婷五月天电影区小说区| 久超超碰| 在线看的免费网站| 色综合五月| 影音先锋色色色资源色资源色| 亚洲网综合在线| 五月丁香六月婷婷成人电影| 91在线日| 色五月亚洲| 婷婷久久丁香五月| 无码激情精品色婷婷久久久久| 婷婷丁香婷婷97| 99自拍视频| 日韩久久这里只有精品| 99精品视频偷拍| 成人精品视频99在线观看免费| 久久久久er热| 开心婷婷五| 影音先锋91资源站| 99色综合| 色玖玖综合| 欧美精品中文字幕亚洲专区| 日日干天天| 噜噜综合网| www.综合久久.com| 淫五月停停| 九九99免费视频| 99热在线观看免费| 丁香五月综合久久八| 99久久精品亚洲综合| 亚洲无AV在线中文字幕| 99久久婷婷五月综合| 日本熟妇人妻在线| 久久综合爱| 色爱综合五月| 色五天综合| 永久精品| 亚洲欧美婷婷五月色综合| 国产精品国产VA片国产| 久久综合99| 五月婷婷激情日本| 中文字幕丰满乱孑伦无码专区 | 激情视频91| 丁香五月天堂亚洲社区| 日本天天操| 99啪啪视频| 大香久久伊人网| 大香伊人久色| 中文字幕无码人妻少妇免费视频| 综合网色| 七七九色| 五月天激情国产综合婷婷婷| 天天色综合网吨吧| 99热这里只有精品2016| 99爱欧美| 激情小说婷婷小说| 婷婷中文字幕| 99爽视频| 国产avapp 网| 99热丁香五月| 少妇婷婷五月天| 亭亭丁香97| 五月丁香亭亭激情操逼网| 极品少妇XXXX精品少妇偷拍| 成年人丁香五月| 久久色情| 成人精品在线观看| 99视频内射三四| 97干网站| 丁香5月激情网| 五月亭亭开心网| 亚洲永久免费| 色99日韩| 黄色AV日韩| 人妻熟妇国产精品| 99热国产| 日韩九九| 国产67194| 激情五月天婷婷| 五月丁香综合| 色99视频| 国产精品成人AV在线观看春天| 99这里有精品| 少妇水多A片太爽了| 全部老头和老太XXXXX| 国产亚洲精品久久久久久久久动漫| 99久久国产宗和精品1上映| 在线观看国产高清视频免费网站| 国产成人精品123区免费视频 | 丁香色五月天| 丁香五月久久| 精品久久久久成人码免费动漫 | 99色精品| 丁香婷婷基地| 深爱五月综合网| 综合热无码| 亚洲成人va| 六月丁香综合| 色婷| 丁香五月婷婷五月| 在线观看免费观看在线9久| 国产av天天插天天操天天爽| 九九热99精品| 婷婷欧美综合| 亚州激情在线视频| 色综合射婷婷| 國語久久婷| 婷婷99狠狠| 五月天丁香色色| 久久码久久无清| 人人操99| 99热只有精品在线观看| 婷婷色综合| 九九视频这里只有精品| 欧美综合激情| 色天使色婷婷| 精品视频99看在线视频| 新伍月婷婷| 免费国产视频| 青草视频在线观看视频| 亚洲另类av| 丁香六月婷婷五月天| 婷婷五月天干干| 欧美日朝成人| 日韩久久成人| 日韩 中文 欧美| 五月天成人综合| 亚洲岛国电影| 久久多色| 久久这里只有精品22| 97色天堂| 国产黄大片在线观看画质优化| 涩涩婷婷五月| 91视屏在线观看com.wwwvv| 中文av网| 99精品视频在线观看| 99男人的天堂| 久热这里只有精品视频6| 婷婷五月大香蕉| 色婷婷8| 99熟女| 精品久久艹| CHINESE熟女老女人HD视频| 麻豆精品| 热久久视频99| 色色色网站| 任你干嘛免费视频播放| 一本道综合网| www99热| 99热全是精品| 久久婷婷婷婷伊人| 丁香在线视频| 欧美超级视频97| 天天射天天射一道本日本社区 | 天天操天天操| 日本片日本片祼观看网站在线看中文版网页在线看 | 五月天婷婷久久| 182TV亚洲| 欧美爆乳一区二区三区| 色色色综合网| 丁香五月久久| 成人在线综合| 色婷婷亚洲在线观看| 色婷婷丁香AV综合| 六月丁香网| 色婷婷9| 99这里| 99久久户外勾搭| 色色自拍视频网站| 人妻激情综合| 第四色大香蕉| 欧州色色| 在线五月婷| 操逼在线视频| 四LLL少妇BBBB槡BBBB| 天天做天天要天天爱| 久久婷婷色色| 9999热在线免费观看| 综合超碰熟| 懂色AⅤ| 婷婷5月久久综合网站| 色婷婷4| 99在线免费视频| 色婷婷狠狠干| 99这里只有精品| 97人人草| 99久视频| 人人玩人人橾| 久热91| 天天色天天爽| 久久五月丁香| 26uuu色噜噜精品一区| 婷婷五月激情中文字幕| 九九精品在线视频观看| 91热在线| www九九热| 色情五月婷婷| 激情综合五月婷| 亚洲婷婷五月天| 久久五月人人摸| 男妓跪趴把舌头伸进我的嘴巴| 激情99热| 少妇出轨做爰高潮A片| 五月婷婷中文网| 999热在线观看视频| 色偷偷狠狠| 丁香五夜激情四射夜夜夜| 亚洲免费婷婷| 五月天操逼网| 六月婷婷五月天| 99精品在线| 五月丁香在线国产 | 4399精品一区二区| 久久九九热视频| 五月丁香少妇| 亚洲人妻AV| 久久视屏这里只有久久| 色色国产| 色婷婷五月天综合网| 久久日曰| 在线视频另类| 安息电影在线观看完整版| 久久性爱99国产| 伊人五月天在线| 99热爱爱干干日| 99久在线精品99re8热| 九九热这里只有精品一| 五月丁香婷婷综合网色欲| 伊人婷婷五月天| 99色在线视频| 欧美大片免费观看| 九九这里都是精品| 97操在线视频| 99精品国产在热久久| 日日操夜夜骑| 色婷婷狠狠| 丁香五月亚洲综合丝袜| 色五月激情综合| 七七九九色色| 丁香9月婷婷| 六月婷婷天天操夜夜爽视频| 青青草视频免费观看| 久色婷婷200| 好好干Av| 色综啪啪啪啪啪啪| 99爱在线精品视频免费观看| 色婷婷香蕉丁丁网| 综合激情在线视频| 五月婷婷爽爽爽| 亚洲av日韩无码| www.com操| 91大神操美女| 色.五月综合网| 性爱网五月天| 色色色欧美色色| 色五月天堂| 1024成人免费看| 成人丁香五月天| 噜噜噜久久亚洲精品国产品91| 91成人品| 婷婷狠狠爱| 天天色播| 香蕉视频91| 五月色俺婷婷| 五月激情丁香五月| 最新久久99视频网站| 99只有精品| 综合久久久| 激情五月天www| 久久最新色色色| 成人在线视频一区| 婷婷D区| 99精品性爱| 天天爱综合网| 五月久久亚洲| 五月欧美色播| 色婷婷五月在线| 亚洲视频在线观看区| 伊人综合网站| 久久丁香| 亚洲激情综| 五月婷婷丁香瑟瑟视频| 天天综合天天做天天综合| 久久久WWW| 91人人操人人看| 9久9久9久女女女九九九一九| 天天干天天拍| 色婷婷狠狠爱| 天天做天天爱天天玩| 丁香五月综合网亚洲综合欧美狠狠| 九九精品片一| 欧美天天草人人草| 碰碰女| 久久99综合网| 日本97久久久精品| 婷婷五月综合免费在线| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 激情五月天色网站| 伊人色综合久久久| 激情骚五月| 婷婷日本在线| 天天干天天av天天射| 中字幕视频在线永久在线观看免费| 丁香婷婷五月| 国产日比| 91超碰在线观看| 日本三久久| 激情综合五月婷婷丁香| 天天爽天天摸天天爱| 另类综合婷婷五月天欧美视频| 开心色播色五月婷婷| 操逼福利视频| 色视五月天婷婷| 久热这里精品免费| 亚洲无码成人性爰网| 嫩草综合网| 亚洲一区先锋影音| 丁香涩涩五月天| 99福利视频| 美英法精品无码免费视频| 思思热在线视频99| 成人丁香婷婷五月天| 五月丁香六月婷婷亚洲视频| 天天色综合综合| 五月天久久网站| 婷婷五月天激情在线| 丁香五月成人社区| 五月天天天天天天天天天天天婷婷婷| 蜜臀99精品| 成人五月天丁香| 五月婷婷香| 国产伦亲子伦亲子视频观看| 国外亚洲成AV人片在线观看| 丁香狠狠干| 婷婷五月综合网激情| 亚洲无aV在线中文字幕| 大香蕉网站,大香蕉综合| 色~性~乱~伦~噜| 亚洲丁香婷婷五月天综合色| 色五月aV| 五月天精品视频| WWW,五月| av在线资源| 狠狠噪| 97五月天婷婷综合激情网| 天天摸天天肏| 开心久久爱五月天| www.色色色色| 97婷婷狠狠| 天天综合色| 婷婷五月天大香蕉在线视频观看| 一本色道久久88加勒比—| 玖玖国产视频一区| 伊人丁香花综合影院| 亚洲激情网| 深爱婷婷网| 久久综合66| 久久久久亚洲AV成人无码电影| 99在线免费视| 人人爱国产| 丁香婷婷基地| 99精品视频播放| 九热精品| 色婷丨日丨天丨综合久久| 久久久免费精彩视频| 六月丁香啪啪啪| 99久久婷婷国产综合亚洲| 五月天综合在线| 婷婷五月图片小说视频| 婷婷婷久久久| AA片在线观看视频在线播放| 免费日本aⅴ中文字幕| AV在线大香蕉| 亭亭五月天黑人2014| 丁香九月婷婷综合| 伊人久久丁香狠狠婷婷综合香蕉 | 99资源人人| 色五月丁香六月资源站| 91色情播放| 丁香婷婷社区| 成人VAV视频在线观看| 无码一区二区三区四区五区| 夜夜操天天干| 丁香五月久久| 金品在线视频99| 五月天婷婷青青| 97在线综合| 狠狠色婷婷综合开心影视| 九九热超碰| 99爱在线精品视频免费观看| 1024人妻| 精品成人在线观看| 色综合综合网| 人人爱操| 九色91美女| 久久人妻久久| 成人国产欧美大片一区| 手机在线日韩视频中文字幕| VA婷婷亚洲| 天天操夜夜操| 日韩 中文 欧美| 中文乱子伦视频| 日韩精品AV一区二区三区| 99精品视频偷拍| 婷婷六月情| 国产精品天天狠天天看| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 九九热精品| 中文字幕操比影片| 婷婷综合五月天激情| 爱射综合| 色五月天综合网| 野战J办公桌椅H| 99久久久国产大片区| 五月丁香性爱| 丁香激情五月少妇| 五月丁香婷在线| 精品国产乱码久久久久夜深人妻| 无码激情| 日韩高清成人| 综合超碰熟| 亚洲天堂aaa| 以及AA大片看看| 国产热精品| 三年高清大片免费观看国语| 婷婷五月天色丁香| 色婷婷www| 99久在线精品99re8| 五月婷婷丁香综合| 色九月婷婷丁香| 天天爱综合网| 超级碰碰视频无码| 六月丁AV| 五月丁香花激情啪啪网| 丁香五月婷婷激情中文| 日韩久久系列| 天天日天天干天天插天天射| 婷婷五月丁香基| 婷婷激情5月| 七月丁香婷婷 色色| 五月丁香激情婷婷综合| 久久R激情| 婷婷五月天成人综合网| 久久婷婷一级片| 五月婷婷综合久久| 伊人久久大香线蕉综合网站| 99色在线视频| 97碰久久|