99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Redis生產(chǎn)實戰(zhàn):內(nèi)存模型、數(shù)據(jù)結構與緩存異常排查

Redis生產(chǎn)實戰(zhàn):內(nèi)存模型、數(shù)據(jù)結構與緩存異常排查 第一次在項目里被 Redis 救場是好幾年前一個商品詳情頁的接口。那時候數(shù)據(jù)庫的 QPS 已經(jīng)被壓到貼著地板走頁面每次刷新都要連表查十幾張表高峰期接口響應時間直接干到三秒以上。后來把詳情頁那份聚合數(shù)據(jù)整成一份 JSON 塞進 Redis超時率當天就掉下來了。從那以后我對這個中間件的態(tài)度就變了——它不是加個緩存這么簡單而是一套需要認真理解內(nèi)存模型、數(shù)據(jù)結構、持久化策略和淘汰機制的基礎設施。這篇內(nèi)容面向的是準備把 Redis 用進生產(chǎn)環(huán)境、或者已經(jīng)用了但心里沒底的同學從它到底解決什么問題、單線程為什么還能扛住高并發(fā)到五種基礎數(shù)據(jù)結構的落地選型、安裝配置、緩存三大異常的應對再到線上排查的實操手法我會按我自己踩過的順序講一遍??赐昴阒辽倌茏龅絻杉轮朗裁磾?shù)據(jù)該往 Redis 里放、什么數(shù)據(jù)不該放以及在它出問題的時候知道從哪幾個命令開始查。1. 先搞清楚 Redis 到底在項目里補的是哪塊短板很多人對 Redis 的第一印象是內(nèi)存數(shù)據(jù)庫讀得快這個描述沒錯但太淺。真把它放進架構里你得先明白它替代的是哪一段鏈路否則用著用著就會出現(xiàn)緩存加了一堆接口還是慢或者數(shù)據(jù)對不上這類問題。1.1 從一次接口超時反推它解決的問題回到開頭那個詳情頁的例子。當時那條鏈路的耗時分布大致是這樣的數(shù)據(jù)庫連接池等待、多表 JOIN、結果集序列化、網(wǎng)絡傳輸。真正壓死駱駝的是 JOIN 和連接池爭搶因為詳情頁的讀請求量是寫請求的幾十倍每次讀都要重新拼裝一遍數(shù)據(jù)數(shù)據(jù)庫的 buffer pool 命中率再高也頂不住這種重復勞動。Redis 在這里的價值不是快而是把一次復雜的計算或查詢結果變成一次 O(1) 的內(nèi)存讀取。這兩者的差別在于數(shù)據(jù)庫快是因為索引和數(shù)據(jù)局部性Redis 快是因為它壓根不做計算直接返回你之前存好的字節(jié)。理解這一點很關鍵因為它決定了你該緩存什么——緩存的是重復計算的結果而不是所有查詢。我在實際項目里見過反例有人把用戶表整表緩存成 Hash每次查單個用戶還要 HGET 一次看著是走了 Redis實際上把關系型數(shù)據(jù)庫的查詢能力全丟了后來要做按手機號模糊搜索、按注冊時間排序全得在應用層手寫最后又灰溜溜地加回數(shù)據(jù)庫查詢。所以第一件事要先劃清邊界。1.2 Redis 與關系型數(shù)據(jù)庫的職責分工我的劃分原則很簡單數(shù)據(jù)庫負責真相Redis 負責效率。具體到落地下面這幾類數(shù)據(jù)適合放進去讀多寫少、且允許短暫不一致的熱點數(shù)據(jù)比如商品詳情、配置項、字典表。有明確過期語義的數(shù)據(jù)比如登錄態(tài)、驗證碼、短信頻控計數(shù)。需要原子性計數(shù)的場景比如庫存扣減的預扣、接口限流、文章閱讀數(shù)。需要跨進程共享的臨時狀態(tài)比如分布式鎖、任務隊列、秒殺排隊。反過來下面這些我基本不往 Redis 里塞需要復雜條件查詢、聚合統(tǒng)計的業(yè)務主數(shù)據(jù)。單條體積超過幾十 KB 的大對象尤其是列表頁會批量取的。需要強事務保證的跨實體寫操作。生命周期極短且無復用價值的臨時數(shù)據(jù)。這里有個判斷口訣如果這份數(shù)據(jù)丟了業(yè)務能不能靠數(shù)據(jù)庫重建能重建的才適合放進緩存層不能重建的說明它是真相的一部分應該留在數(shù)據(jù)庫。還有一點容易被忽略Redis 的內(nèi)存這個屬性意味著成本和容量都是硬約束。一臺 16G 內(nèi)存的機器實際能給 Redis 用的可能只有 10G 出頭剩下要留給操作系統(tǒng)、fork 時的寫時復制、以及內(nèi)存碎片。所以在設計階段就該估算數(shù)據(jù)量而不是等 OOM 了再反過來刪 key。1.3 什么規(guī)模的項目才真正需要它經(jīng)常有人問小項目要不要上 Redis。我的看法是看兩個指標單表數(shù)據(jù)量是否已經(jīng)讓查詢變慢以及是否出現(xiàn)了跨請求共享狀態(tài)的需求。如果只是幾千條數(shù)據(jù)的后臺管理系統(tǒng)查詢走索引完全夠用引入 Redis 只是多了一個需要運維的組件。但只要出現(xiàn)下面任意一種情況它就值得上了同一份數(shù)據(jù)一秒內(nèi)被讀幾十次以上需要給接口做頻率限制需要給多個服務實例共享會話需要做排行榜、延時任務這類數(shù)據(jù)庫不擅長的結構。這些都是硬需求跟項目規(guī)模無關。2. 單線程還能這么快底層到底做了什么Redis 是單線程的這句話流傳太廣以至于很多人第一次聽到會懷疑它扛不住并發(fā)。實際情況是Redis 的命令執(zhí)行確實是單線程的但它的快不是因為線程少而是因為沒有線程切換開銷 純內(nèi)存操作 精心設計的數(shù)據(jù)結構 IO 多路復用這幾件事疊加在一起。2.1 單線程模型的真實含義與版本演進早期版本里Redis 從接收連接、讀取命令、執(zhí)行命令到寫回結果全部在一個主線程里完成靠的是 epollLinux、kqueuemacOS這類多路復用機制一個線程輪詢處理成千上萬個連接。這帶來的好處非常直接不需要加鎖不存在競態(tài)任何一條命令執(zhí)行期間數(shù)據(jù)狀態(tài)都是確定的。像 INCR 這種操作天然就是原子的你不用操心并發(fā)問題。但網(wǎng)絡讀寫本身是有開銷的。Redis 6.0 之后引入了 IO 多線程注意是只把 socket 的讀寫和協(xié)議解析分給多個線程命令執(zhí)行仍然在主線程串行。這個改動對高吞吐場景比如大 value 的批量讀寫提升明顯因為瓶頸從 CPU 計算轉移到了網(wǎng)絡拷貝上。配置上對應的是這兩項# redis.conf io-threads 4 io-threads-do-reads yes提示io-threads 的設置經(jīng)驗值是 CPU 核數(shù)的 3/4 左右且不建議超過 8 個。開太多反而會因為線程調(diào)度拖慢我在一臺 32 核機器上試過開到 16吞吐量相比 8 個還降了一點。2.2 內(nèi)存存儲與底層數(shù)據(jù)結構的取舍純內(nèi)存這件事本身就是數(shù)量級的差距。一次內(nèi)存隨機訪問大概在 100 納秒量級而一次機械硬盤尋道是毫秒級SSD 也是幾十微秒級差距在四到五個數(shù)量級。但光快還不夠Redis 在數(shù)據(jù)結構上做了很多省內(nèi)存的文章這部分決定了你的實例能裝多少數(shù)據(jù)。舉個具體例子一個普通的 String 并不是簡單地 malloc 一塊內(nèi)存而是用 SDS簡單動態(tài)字符串來實現(xiàn)頭部記錄了長度和剩余空間好處是獲取長度是 O(1)、拼接時可以做預分配、并且二進制安全可以存圖片、序列化對象。再比如小規(guī)模的 Hash底層不會一上來就用哈希表而是用 listpack老版本叫 ziplist這種緊湊的連續(xù)內(nèi)存結構元素少的時候省下大量指針開銷。這些細節(jié)平時不用關心但有兩個配置項跟它直接相關值得記住hash-max-listpack-entries 128 hash-max-listpack-value 64 zset-max-listpack-entries 128意思是當 Hash 的字段數(shù)不超過 128、且每個字段值不超過 64 字節(jié)時用緊湊結構存儲一旦超過就轉成真正的哈希表。轉過去之后內(nèi)存占用可能翻好幾倍而且這個過程是不可逆的——即使你后來把字段刪到只剩 3 個它也不會變回緊湊結構。我在一個存用戶標簽的 Hash 上踩過這個坑前期測試時每個用戶 20 來個標簽內(nèi)存很漂亮上線后運營批量打標某些用戶標簽數(shù)沖到 200整個實例內(nèi)存直接漲了 40%。2.3 持久化RDB 與 AOF 的選擇邏輯內(nèi)存數(shù)據(jù)庫最怕的是斷電所以持久化機制必須搞清楚。Redis 給了兩種方式理解它們的關鍵是搞明白各自犧牲了什么。RDB是某一時刻的全量快照通過 fork 子進程 寫時復制來完成。優(yōu)點是文件緊湊、恢復速度快適合做備份和災備。缺點是兩次快照之間的數(shù)據(jù)會丟而且 fork 的瞬間如果數(shù)據(jù)量大會有明顯的內(nèi)存膨脹和短暫卡頓。AOF是追加寫命令日志按 fsync 策略分三檔策略行為數(shù)據(jù)安全性能影響always每條命令都刷盤最高最多丟一條最差QPS 掉一個數(shù)量級everysec每秒刷一次最多丟一秒可接受生產(chǎn)常用no交給操作系統(tǒng)可能丟較多最好不建議生產(chǎn)用AOF 的問題是文件會越來越大所以需要重寫rewrite本質(zhì)上也是 fork 子進程根據(jù)當前內(nèi)存狀態(tài)生成一份精簡的命令集。實際生產(chǎn)里我基本都用混合持久化Redis 4.0 之后支持配置是這樣appendonly yes appendfsync everysec aof-use-rdb-preamble yes開了混合模式之后AOF 重寫時前半段用 RDB 格式存全量后半段追加增量命令?;謴蜁r先加載 RDB 部分再重放命令兼顧了速度和完整性。這個配置我在這幾年幾個項目里都用恢復時間和數(shù)據(jù)安全性都比較平衡。注意如果實例內(nèi)存超過 10Gfork 時的寫時復制可能帶來額外的內(nèi)存峰值。建議預留至少 50% 的空閑內(nèi)存或者把vm.overcommit_memory設為 1避免 fork 失敗。3. 五種基礎數(shù)據(jù)結構對應五類真實業(yè)務場景Redis 常被叫做數(shù)據(jù)結構服務器這個定位很準確。它的價值不在于能存 key-value而在于它把常用的幾種數(shù)據(jù)結構做成了服務端原語你在應用層不用自己實現(xiàn)加鎖和并發(fā)控制。3.1 String 與 Hash緩存對象時的兩種打法String 是最基礎的能存字符串、數(shù)字、二進制。最典型的用法是緩存整個對象序列化后的 JSONSET product:1001 {id:1001,name:某商品,price:99.00} EX 3600 GET product:1001EX 3600 表示一小時后過期。這種整存整取的方式適合讀多寫少、且每次都要完整對象的場景比如詳情頁。Hash 則適合需要部分讀寫、或者字段會獨立變化的場景HSET user:2001 name A同學 level 3 lastLogin 2024-05-01 HGET user:2001 level HINCRBY user:2001 level 1用 Hash 的好處是可以只更新某個字段不用把整個對象讀出來改完再寫回去減少了網(wǎng)絡傳輸和序列化開銷。缺點是過期時間只能加在整個 key 上沒法給單個字段設 TTL。選型上我的經(jīng)驗是對象字段少、整體讀寫就 String對象字段多、經(jīng)常單獨更新某個字段就 Hash。但要注意 2.2 里提到的結構轉換問題字段數(shù)別讓它無限增長。有個容易忽略的細節(jié)String 存數(shù)字時可以直接用 INCR/DECR 做原子計數(shù)這是做限流、庫存預扣的基礎。像接口頻控這種場景我是這么寫的# 一分鐘內(nèi)同一用戶最多 60 次 INCR rate:limit:user:2001:202405011200 EXPIRE rate:limit:user:2001:202405011200 60兩次命令不是原子的嚴格場景需要用 Lua 腳本或者SET key 1 EX 60 NX配合 INCR 的組合來處理。3.2 List 與 Set隊列、去重與關系判斷List 是雙向鏈表底層實際是 quicklist由多個緊湊節(jié)點串起來支持兩端插入彈出天然適合做隊列LPUSH queue:task job-001 BRPOP queue:task 5BRPOP 是阻塞版本隊列空的時候會掛起等待超時返回 nil。用這個做簡單的任務隊列是可行的但要注意它沒有 ACK 機制——消費者取走消息后如果進程崩了這條消息就丟了。要可靠投遞得上 Stream 類型或者專業(yè)的消息隊列。Set 是無序集合最大的價值是去重和集合運算SADD article:1001:liked user:2001 SADD article:1001:liked user:2002 SCARD article:1001:liked SINTER user:2001:follow user:2002:followSINTER 求交集這個能力在做共同關注共同好友時特別省事一行命令解決不用把兩個列表拉到應用層做雙層循環(huán)。但要注意大集合求交集的復雜度是 O(N*M)幾萬規(guī)模的集合還行上百萬就要考慮用別的方式了。3.3 ZSet排行榜與延時任務的核心有序集合是我個人認為 Redis 最有價值的結構。它每個元素帶一個 score按 score 排序底層用跳表實現(xiàn)插入和范圍查詢都是 O(logN)。排行榜是最經(jīng)典的應用ZINCRBY rank:20240501 1 user:2001 ZREVRANGE rank:20240501 0 9 WITHSCORES第一行給用戶加分第二行取分數(shù)最高的前十名含分數(shù)。ZREVRANGE 是倒序正序用 ZRANGE。另一個用法是延時任務。把任務的執(zhí)行時間戳作為 score然后用 ZRANGEBYSCORE 按時間范圍取到期任務ZADD delay:queue 1714560000 order-close:3001 ZRANGEBYSCORE delay:queue 0 1714560000 LIMIT 0 100配合定時輪詢就實現(xiàn)了一個輕量的延時隊列。我在幾個項目里用它做過訂單超時關閉比引入完整消息隊列輕量得多精度控制在秒級完全夠用。3.4 結構選型速查業(yè)務需求推薦結構關鍵命令注意事項對象緩存StringSET/GET體積控制在 10KB 內(nèi)局部字段更新HashHSET/HGET字段數(shù)別超 128簡單隊列ListLPUSH/BRPOP無 ACK謹慎用于關鍵任務去重計數(shù)SetSADD/SCARD大集合注意內(nèi)存共同關系SetSINTER規(guī)模別上百萬排行榜ZSetZINCRBY/ZREVRANGEscore 用 double注意精度延時任務ZSetZADD/ZRANGEBYSCORE需要輪詢進程配合頻控計數(shù)StringINCR/EXPIRE建議用 Lua 保證原子4. 從零裝一套能用的 Redis理論講完落到手上。這部分我按裝、配、驗三步走配置部分會把幾個真正影響生產(chǎn)穩(wěn)定性的項挑出來講。4.1 安裝方式的選擇與取舍三種常見方式包管理器安裝、源碼編譯、容器運行。包管理器最省事apt install redis-server或者yum install redis但版本往往偏舊有些新特性用不上。源碼編譯能拿到最新穩(wěn)定版代價是要自己處理依賴wget https://download.redis.io/releases/redis-7.2.4.tar.gz tar -zxvf redis-7.2.4.tar.gz cd redis-7.2.4 make make install PREFIX/usr/local/redis容器方式適合本地開發(fā)和快速驗證docker run -d -p 6379:6379 redis:7.2。但生產(chǎn)環(huán)境用容器要額外注意數(shù)據(jù)卷掛載和內(nèi)存限制容器內(nèi)的 maxmemory 和宿主機的 cgroup 限制不一致時容易出現(xiàn) OOM Kill 而不是正常的淘汰。提示編譯前確認 gcc 版本7.x 之后要求 gcc 5.3 以上。另外make失敗最常見的原因是 jemalloc 編譯不過可以加MALLOClibc參數(shù)繞過。4.2 生產(chǎn)環(huán)境必須改的配置項默認配置是給開發(fā)用的直接上生產(chǎn)會出事。下面這幾項我每次部署都會過一遍# 網(wǎng)絡與安全 bind 0.0.0.0 protected-mode yes port 6379 requirepass 你的強密碼 # 運行方式 daemonize yes maxclients 10000 # 內(nèi)存 maxmemory 8gb maxmemory-policy allkeys-lru # 持久化 appendonly yes appendfsync everysecmaxmemory一定要設不設的話 Redis 會一直吃內(nèi)存直到被系統(tǒng)殺掉那時候就不是淘汰幾個 key 的問題了而是整個實例掛掉。maxmemory-policy的選擇取決于你的數(shù)據(jù)性質(zhì)noeviction內(nèi)存滿了直接報錯適合數(shù)據(jù)不能丟的場景。allkeys-lru所有 key 里淘汰最近最少使用的純緩存場景首選。volatile-lru只淘汰設了過期時間的 key適合緩存和持久數(shù)據(jù)混存的實例。allkeys-lfu按訪問頻率淘汰熱點數(shù)據(jù)保護更好4.0 之后支持。我個人在純緩存實例上一律用allkeys-lru在混合實例上用volatile-lru并且嚴格要求持久數(shù)據(jù)不設 TTL靠這個約定來保證它們不會被誤淘汰。4.3 連通性驗證與基礎命令實測裝完之后別急著寫代碼先手工驗一遍redis-cli -h 127.0.0.1 -p 6379 -a 你的密碼 127.0.0.1:6379 PING PONG 127.0.0.1:6379 INFO serverPING 返回 PONG 說明連通。INFO 里重點看幾個字段redis_version版本、uptime_in_days運行天數(shù)、connected_clients當前連接數(shù)。再跑一組讀寫驗證127.0.0.1:6379 SET test:key hello EX 60 OK 127.0.0.1:6379 TTL test:key (integer) 59 127.0.0.1:6379 GET test:key helloTTL 返回 59 而不是 60是因為命令執(zhí)行有極小的耗時屬于正?,F(xiàn)象。如果 TTL 返回 -1 說明沒設過期返回 -2 說明 key 不存在——這兩個返回值經(jīng)常被混淆寫監(jiān)控腳本時要注意區(qū)分。5. 緩存三大異常每個都有對應的打法緩存用起來之后真正讓人睡不著覺的不是性能而是數(shù)據(jù)一致性和異常流量。所謂穿透、擊穿、雪崩這三個詞說的是三種不同的失效模式應對手段也完全不同必須分清楚。5.1 三種失效模式的成因對比異常類型觸發(fā)條件現(xiàn)象影響范圍緩存穿透查詢根本不存在的數(shù)據(jù)每次都打到數(shù)據(jù)庫可能被惡意利用緩存擊穿熱點 key 過期瞬間大量請求同時打庫單個熱點緩存雪崩大量 key 同時過期或實例宕機數(shù)據(jù)庫瞬間承壓全局性穿透的本質(zhì)是緩存里沒有數(shù)據(jù)庫里也沒有查詢永遠落空緩存形同虛設。擊穿是緩存里本來有剛好過期了一瞬間所有請求涌向數(shù)據(jù)庫。雪崩則是更大范圍的集體失效。這三者的共同點是把數(shù)據(jù)庫當成了兜底所以核心思路都是在緩存層就把請求擋住或者分流。5.2 穿透與擊穿的落地實現(xiàn)對付穿透最直接的辦法是緩存空值。查數(shù)據(jù)庫沒查到也往 Redis 里塞一個特殊標記TTL 設短一點比如 60 秒def get_user(user_id): key fuser:{user_id} cached redis.get(key) if cached is not None: if cached __NULL__: return None return json.loads(cached) user db.query_user(user_id) if user is None: redis.set(key, __NULL__, ex60) return None redis.set(key, json.dumps(user), ex3600) return user這個做法的隱患是如果攻擊者用隨機 ID 瘋狂請求會往 Redis 里塞大量空值 key所以通常要配合布隆過濾器在入口先做一層攔截。布隆過濾器判斷一定不存在是準確的判斷存在有誤判率剛好適合放在緩存前面。擊穿的解法是加互斥鎖保證同一時刻只有一個請求去回源def get_hot_data(key): data redis.get(key) if data: return data lock_key flock:{key} if redis.set(lock_key, 1, nxTrue, ex10): try: data db.query(key) redis.set(key, data, ex300) return data finally: redis.delete(lock_key) else: time.sleep(0.05) return get_hot_data(key)注意nxTrue這個參數(shù)等價于 SETNX只有 key 不存在時才設置成功這是拿鎖的關鍵。鎖的過期時間要設否則持有者崩了會死鎖。5.3 雪崩的預防與兜底策略雪崩的預防核心是打散過期時間。給 TTL 加一個隨機偏移量是最簡單有效的做法ttl 3600 random.randint(0, 600) redis.set(key, value, exttl)這樣即使批量預熱過期時間也會分散在十分鐘的窗口里不會同時失效。除了打散還要做幾層兜底本地緩存比如 Caffeine作為二級緩存擋第一波流量數(shù)據(jù)庫連接池限流避免被打死關鍵接口做熔斷降級返回兜底數(shù)據(jù)而不是直接報錯。我的實際經(jīng)驗有一次批量導入商品后統(tǒng)一預熱緩存所有 key 的 TTL 都是 7200 秒結果兩小時后整批同時失效數(shù)據(jù)庫 CPU 直接打滿。后來改成預熱時按7200 random(0, 1200)設置再沒出現(xiàn)過集體失效。5.4 雙寫一致性該怎么做緩存和數(shù)據(jù)庫同時寫一定有短暫不一致關鍵是控制窗口和最終一致。業(yè)界主流是 Cache Aside 模式讀的時候先讀緩存沒有再讀庫并回填寫的時候先更新數(shù)據(jù)庫再刪除緩存。為什么是刪緩存而不是更新緩存因為并發(fā)更新時兩個請求的更新順序可能和寫庫順序不一致導致緩存里存了舊值。刪除操作更安全下次讀的時候自然回填最新值。但先寫庫再刪緩存仍有極小概率出問題讀請求在寫庫之后、刪緩存之前讀到舊值并回填。常用的補救是延遲雙刪——寫完庫刪一次隔幾百毫秒再刪一次。更徹底的方案是訂閱數(shù)據(jù)庫的 binlog異步刪除緩存把一致性保障從業(yè)務代碼里剝離出來。6. 線上出問題時我一般從這幾個命令開始查Redis 的問題看起來五花八門實際上集中在幾類內(nèi)存漲了、變慢了、連接不上了、數(shù)據(jù)不對了。每一類都有對應的排查入口。6.1 內(nèi)存類問題的定位路徑第一步看整體redis-cli -a 密碼 INFO memory重點看三個值used_memory_human實際使用、used_memory_rss_human操作系統(tǒng)看到的內(nèi)存、mem_fragmentation_ratio碎片率。碎片率在 1.0 到 1.5 之間算正常超過 1.5 說明碎片較多可以考慮開啟activedefrag yes做在線碎片整理或者在低峰期重啟。第二步找大 keyredis-cli -a 密碼 --bigkeys這個命令會掃描全庫并列出每種類型最大的 key。注意它會遍歷所有鍵在數(shù)據(jù)量大的實例上會明顯增加負載建議在從節(jié)點或者低峰期執(zhí)行。找到大 key 之后單個 key 的內(nèi)存占用可以用MEMORY USAGE user:2001如果確認是某個大 Hash 或者大 List 占了幾百兆刪除時千萬別用 DEL會阻塞主線程。改用UNLINK它在后臺線程異步釋放內(nèi)存UNLINK big:hash:key6.2 變慢的常見原因與排查手法Redis 變慢無非幾個方向慢命令、大 key 操作、網(wǎng)絡問題、持久化阻塞。先用慢查詢?nèi)罩径ㄎ籆ONFIG SET slowlog-log-slower-than 10000 SLOWLOG GET 1010000 微秒就是 10 毫秒超過這個閾值的命令會被記錄。SLOWLOG GET 返回最近的慢命令包含執(zhí)行時間、命令內(nèi)容、客戶端地址。常見的慢命令有KEYS *全庫掃描生產(chǎn)禁用、FLUSHALL清庫、大集合的SMEMBERS、大 ZSet 的ZRANGE全量取。這些都在主線程執(zhí)行一次就能把整個實例卡住。另一個隱蔽的原因是持久化。開著 AOF everysec 的情況下如果磁盤 IO 跟不上fsync 會阻塞寫入??梢酝ㄟ^INFO persistence看aof_delayed_fsync這個指標如果它一直增長說明磁盤扛不住了要么換 SSD要么改配置。6.3 連接與命中率類問題連接數(shù)打滿是很常見的線上故障先用這個看CLIENT LIST INFO clientsconnected_clients接近maxclients時新連接會被拒絕。原因通常是應用側連接池配置過大或者連接沒正確釋放。檢查連接池的maxTotal和maxIdle一般建議單實例連接池控制在 50 以內(nèi)多個應用實例加起來別超過 maxclients 的 80%。命中率同樣重要INFO stats看keyspace_hits和keyspace_misses兩者相除就是命中率。低于 80% 就要反思緩存策略了可能是 TTL 太短、緩存的數(shù)據(jù)根本沒人訪問、或者 key 設計有問題導致查不到。6.4 排查速查表現(xiàn)象首選命令常見原因處理方式內(nèi)存持續(xù)上漲INFO memory大 key、無 TTL、碎片找大 key、補 TTL、開碎片整理響應變慢SLOWLOG GET慢命令、大 key 操作替換命令、拆分 key連接被拒INFO clients連接池過大、未釋放調(diào)小池子、查泄漏命中率低INFO statsTTL 過短、key 設計差調(diào)整策略、重新設計持久化卡頓INFO persistence磁盤 IO 不足換盤、調(diào) fsync 策略數(shù)據(jù)不一致業(yè)務側日志雙寫順序錯、刪除失敗延遲雙刪、訂閱 binlog一個容易忽略的點INFO命令在高版本里可以帶 section 參數(shù)比如INFO memory只返回內(nèi)存相關字段比全量 INFO 快很多。寫監(jiān)控腳本時用分節(jié)查詢能減少對主線程的影響。最后分享一個我在實際運維里養(yǎng)成的小習慣給每個業(yè)務線的 key 加上統(tǒng)一的命名前綴比如order:、user:、cfg:配合SCAN命令按前綴遍歷千萬別用 KEYS。這樣做的好處是排查時能快速圈定范圍做容量評估時也能按業(yè)務線統(tǒng)計。我一般是這么掃的redis-cli -a 密碼 --scan --pattern order:* | head -100另外新實例上線前我都會跑一輪壓測用 redis-benchmark 把基線摸清楚redis-benchmark -h 127.0.0.1 -p 6379 -a 密碼 -n 100000 -c 50 -t set,get -q這個基線數(shù)據(jù)的價值在于線上出現(xiàn)性能問題時你有個對照系——是整體變慢了還是某類命令變慢了一眼就能判斷。沒有基線的排查基本靠猜有了基線排查效率完全是另一個層次。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热视频网站| 色播五月天激情| 婷婷六月综合基地| 日韩一区二区A片免费观看| 就爱射中文字幕资源网| 情欲综合网| 欧美激情伊人| 婷婷亚洲在线| 国产国产乱老熟女视频网站97| 5月婷婷激情在线| 99色婷婷视频| 在线成人网站| 婷婷色啪| 六月丁香中文字幕| 婷婷五月综合免费在线| 99综合色色色| 99丁香五月| 97操操操| 一月婷婷色色| 9月色婷婷| 久久午夜理论| 天天操夜夜夜拍拍拍| 东京热免费视频网站| 色婷婷影视| 丁香五月偷拍| 狠狠狠狠狠狠| 五月丁香六月婷婷激情视频在线观看免费| 99热99干| 五月丁香婷婷激情视频| 99re视频精品| 婷婷性色| 99热色精品| 噜噜噜噜噜日本视频| 亚洲视频操| 1024成人免费看| 99精品成人无码A片观看金桔| 色五月婷婷综合| 99热6这里只有精品| 色婷婷中文字母五月丁香| 欧美啪啪五月天| 色婷婷精| 久久综合色情网站| 日韩综合天堂| 五月丁香手机在线| 日韩av大全| 激情欧美婷婷| 丁香五月激情月| 色五月xxx| 久久综合这里只有精品1| 欧洲综合视频| 婷婷五月天综合蜜桃| 伊人影音无码一区二区三区| 日日干综合| 欧美天天干五月丁香| www.xtbsty.cn.com蜜乳AV| 久久婷婷五月天激情四射| 国产永久一黄| 99在线资源| 日韩视频女神99| 99免费在线视频| 激情九九九九| 91人人网| 久热最新视频| 丁香久月| 被强行糟蹋的女人A片| 国产精品久久久久久久久久| jiujiuxiangjiaowang| www.cao.com久久| 久久婷综| 综合久久综合| 色性日本| 伊人久久大香网| 天天草天天爽| 五月停亭久久电影| 丁香五月天AV在线| 五月天婷婷中文字幕在线播放| 五月激情婷婷在线| 26uuu国产| 九九成人电影婷婷| 九九色图| 婷婷综合精品视频97| 99色视频在线| 五月花婷婷| 超碰99热精品在线| 六月婷婷激情| 综合色激情| 天天爱天天狠天天透| 久久精品4| 久久免片| 亚洲AV无码成人精品区电影网| 久久婷婷五月天激情四射| 色噜噜狠狠色综合日日| 无码任你操| 精品成人久久久久久久_一二三四视| 色色丁香| 一区二区三区XXXXXX| 五月丁香婷中文| 天天插天天很| 日本欧美在线| 9999热在线观看| 99久久免费性爱视频`| 亚洲色五月天在线| 亚洲综合色婷婷| 亚洲五月天激情| 日韩激情网站| 天天日天天做天天操| 99成人| 天天操婷婷| 日本色超碰| 91丨九色丨东北熟女| 五月丁香在线婷婷美女| 内射人妻视频国内| 五月丁香在线视频观看| 亚洲丁香花色| 激情综合网五月| 亚洲色婷婷激情| 色色a| 极品少妇XXXX精品少妇偷拍| 99无码视频| 五月丁香六月婷婷亚洲视频| 熟女强人妻一区二区三区四区无| 五月色婷婷亚洲| 性爱视频99| 久久性爱视频| 天天爱天天做天天舔| 狠狠爱婷婷丁香| 婷婷丁香红五月91C| 97操碰碰无码视频| 激情婷婷丁香五月天| 99网址在线观看| 亚洲中文无码成人| 五月综合久久| 五月婷婷激情四季| 人人摸人人干| 久久99这里只有精品| 色色热| 91av传媒高清在线视频网| 97碰超级人人看| 色色色色综合| 狠狠色大香蕉| 五月丁香 啪啪| 日日夜夜亚洲一区| 九九亚洲视频| 国产精品丝| 人妻久久久久久久久久| 五月婷婷久久爱| 色播色丁香五月| 人妻操逼视频| 久久亭亭电影| 日婷婷久久开心| 五月丁香久久综合91| 亚洲综合新99视频| 亚洲成人日韩无码精品| 婷婷激情小说| 久久婷婷热| 啪啪婷婷五月天激情| 大香蕉娱乐| 亚洲视色| 色五月综合激情| 爆乳熟妇一区二区三区爆乳| 国产99热在线看| 26uuu最新地址| 色婷婷五月天中文字幕| 92久久精品一区二区| 欧美综合丁香网| 大战熟女丰满人妻AV| 丁香五月香蕉在线| 九月丁香八月婷婷加勒比| 久色中文| enecarbon-materials.com污K127封锁请涟系@wip1688 | 国产偷人爽久久久久久老妇APP| 激情综合五月激情| 五月婷婷av在线| 3www激情| 成人 在线 日韩| 丁香婷婷深情五月亚洲| 丁香六月爱综合| 99@久久@99精品视频| 99热只有这里才是精品| 色婷婷免费视频| 91超碰人人操| 艾小青av| 日韩九区| 奇米色大香蕉| 久久色情| 久久这里有精品| 第四色激情网| 男女av免费看| 婷婷丁香成人| 操骚货在线| 色情丁香五月婷婷精品| 玖玖91| 五月丁香六月婷婷综合网站| 影音先锋色色色资源色资源色| www.超碰| 六月婷婷综合激情| 都市激情小说婷婷| ,99视频久久| 婷五月天| 成人国产欧美大片一区| 热久久婷婷| 色婷婷偷拍| 五月欧美色播| 日本天堂免费99| 久久五月天婷婷| 精品,99| www.五月丁香| 婷婷丁香五月基地| 4399无码视频| 色婷婷久久| 综合五月丁香六月婷婷| 精品国产va久| 狠狠综合网| 丝雨一区二区| 午夜成人片400| 丁香六月综合激情| 开心五月深爱婷婷| 思思热再线视频| 色色五月天丁香| 另类丁香五月天区图| 午夜爱爱网站| 丁香五月在线播放| 六月合五月婷| 日本操逼九九九九58日本操逼| 激情综合亚洲| 色色色国产| 视频一区二区在线| 亚洲成人av中文| www.minyis.com【JT】实力收量可预付QQ2101460746 | 黄色精品五月婷婷| 综合激情四射一theav| 久热超碰| 久青草影院| 九九热在线视频| 色久综合天天做视频| 九九激情网| 欧美、日韩、中文、制服、人妻| 极品嫩草| 久久天堂色| 国产精产国品一二三在观看| 国产亚洲精品久久久久久久久动漫| 成人网站在线观看视频| 久久九九爽| 激情五月天激情五月天| 亚洲无码色色| 丁XX 成人| 99免费热视频| 五月天婷久精视频| 婷婷丁香六月天| 伊人五月成人| 国产婷婷五月色情综合| 天天拍天天操| 欧美色色色色色| 五月天激情视频| 91精品久久久久久综合五月天| 五月色欧美| 激情六月五月婷婷综合网| 黄网在线播放| 五月婷婷综合网在线播放| 六月丁香视频网站| 黄页大全十八禁| 天天日夜夜夜操操操操| 丁香六月婷婷激情| 丁香五月av| 这里只有精品视频在线| 久久99综合| 久久五月天婷婷| 色婷婷五月天| 丁香8月手机综合| 99久久九九视频| 中文成人在线| 91热久| 久久9热综合| 91日综合欧美| 日韩一级A片黄色| 1024手机在线观看看片_日韩精品| 激情AV在线| www.99婷婷| 久久香蕉影院| 男女激情久久| 亚洲啪啪啪啪| 婷婷色五月色妇| 亚洲精品性色| www.久久久久久久| 日本不卡一区二区三区| 4438国产免费看| 天天肏在线观看| 丁香五月综合高清在线| 丁香五月婷婷俺也要去| 99啪| 91人久| 九九色婷婷Av| 无码se| 就爱干 在线| 79精品视频| 欧美日比视频| 最新无毒无码AV| 青青草婷婷久久| 久久总和99| 这里只有精品视频国产| 婷婷午夜天| www.狠狠| 丁香五月很很肏| 天堂中文国产| 99爱免费视频| 狠狠色综合网| 久99久精品视频| 翔田千里aV中文字幕| 亚洲激情精品| 99熟女| 99久久高清视频| 91欧美| 日日日影院| www.99在线| 在线观看免费观看在线9久| 91视频综合网| 另类综合婷婷五月天欧美视频| 爱操人妻| 9 9 9色色| 全国最新疫情| 天天综合网站| 殴美激情综合网| 色婷五月天网站| 婷婷月综合| 婷婷六月激情综合| 久久亚洲色导航| 免费亚洲婷婷五月| 丁香伊人五月色婷婷五十路| 丁香综合伊人AV| 国产激情综合| 免费亚洲婷婷中文字幕| 99热在线看片| 色九九九九| 婷婷色Av| 性爱网五月婷婷| 丁香五月亚洲AV| 26uuu在线观看| 亚洲精品V天堂中文字幕| 91人妻人人做人碰人人爽九色| 日日狠狠久久偷偷四色综合免费 | 国产免费av在线| 九九热在这里只有精品| 欧美顶级少妇做爰HD| 色色吧综合| 亚洲色热| 久久超视频| 五月婷婷六月丁香色| 成人国产欧美大片一区| 国产寻花在线| 成人国产欧美大片一区| 日夜夜天天| 五月婷婷综合网| 久久激情五月| 91chinese在线| 婷婷六月色| 人妻久久婷婷| 亚洲婷婷在线播放十月| 婷婷中文字幕| 狠狠干激情五月| 香蕉久久国产AV一区二区| 久热这里只有精品3| 婷婷金品综合视频| 琪琪理论片| www.久久| 婷婷丁香综合成人| 99久久久精品| 991国产精选视频在线播放下载| 91九色超碰正在播放| 婷婷五月视屏| 亚洲精品成人| 青柠影视免费高清电视剧| 天天日狠狠| 538在线精品| Jh7Uf088VHafNm| 日木WWW视频| 五月丁香激情婷婷综合| 久久综合婷| 久色激情| 日本人妻丁香婷婷久久寝取熟女五月| www.婷婷com| 色五狠狠| 激情综合亚洲| 五月停视频天堂| 丁香婷婷婷五月| 免费成人网在线观看| 五月丁香亭亭| 激情久久四色| 五月丁香婷婷老司机| 丁香五月社区| 激情开心五月婷婷| 久久码久久无清| 日韩精品一品二区三区的使用体验| 狼人婷婷久久| 国产肥白大熟妇BBBB视频| 青青草原99热| 成人国产综合| 色婷婷狠狠久久综合五月| 五月丁香五月婷婷| 夜夜涩涩涩| 日韩不卡123| 少妇综合网| 丁香丁婷五月激情| 婷婷久久婷婷| 亚洲视频在线观看| 国产成人AV在线播放| 亚洲视99| 综合激情肏逼网| 思思热精品在线| 色欲资源网| AV操逼网| 婷婷综合伊人| 中字幕视频在线永久在线观看免费| 亚洲无码色色| 亚洲爱爱无码婷婷色五月| av在线不卡播放| 99成人| 五月婷婷免费看| 婷婷综合另类小说| 97热久久五月婷婷| 日韩三级高清无码| 天天插天天射| 久久综合性| 在热视频精品| 丁香开心深爱| 91人妻色色网| 大香蕉久久草| 综合九九日本| 五月天天丁香婷婷| 99视频内射三四| 亚洲五月停停| 99er久久| 五月婷婷综合色拍| 久久99热免费| www.天天色综合| 玖玖婷婷视频| 碰久久精品w| www.夜夜操| 玖玖爱资源站| 色吧五月婷婷| 丁香五月激情综合| 99色在线视频| 婷婷99狠狠| 色丁香久久久| 艹| 亚洲小视频免费播放| 九九色院| 九九九九九九综合| 午夜色丁香| 在线五月婷| 国精产品一区一区三区免费视频 | 天天操天天日天天操| 色五月涩涩婷婷蜜桃| 欧美伊人9| 免费看片在线观看| 狠狠色婷婷色| 狠狠色丁香婷婷五月| 日韩99无码| 国产AV影片| 嫩BBB槡BBBB搡BBBB| 美女五月天| 久操综合| 精品久久艹| 丁香五月婷婷色| 99热亚洲| 91精品综合久久久久久五月丁香| 丁香五月激情综合| 99色色网| 亚洲日韩乱码一区二区三区四区| 久久人妻熟女一区二区| 男人操女人高潮91视频| 久777| 两性婷婷丁香五月| 大香蕉丁香| www.五月婷| 丁香五月综合首页| 91超碰在线播放| 操一区| 激情AV| 色婷婷色五月另类综合| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 天天做天天爱天天爽| 狠狠干天天日| 婷婷五月色播天| 丁香婷婷激情四射五月| 99人人干人人| 激情五月深爱五月| 色五月婷婷天天操夜夜操| 婷婷五月天激情综合网| 丁香六月婷婷久久综合| 色色色色热| 风流少妇A片一区二区蜜桃| 国产AV一区二区三区最新精品| 2025超碰| 91凹凸在线| 综激情网| 啪啪干伊人婷婷| 丁香五月婷婷俺也要去| 26UUU欧美激情一区二区| 婷婷丁香五月亚洲| 香蕉网婷婷| 成人午夜在线视频| 久久久久久天天日天天爱| 色综合五月婷婷狠狠干| 五月色综合| 99热色精品| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | www久久久| 八戒青柠影视剧在线观看| 丁香五月玖玖| 99re66热这里只有精品| 夜夜操,天天撸| 狼人婷婷久久| 色欲AVV| 人人操人人干AV| 五月丁香激情综合啪| 婷婷综合色五月天| 五月天婷婷影院| 人人肏逼视频在线一区二区| 五月丁香婷婷啪啪| 色五月丁香网| 色五月情| 99自拍视频| 狠狠色综合五月| 99九色视频在线观看| av在线播放网站| 丁香激情四射| 色婷婷综合视频| 天天插天天日| 先锋资源婷婷| 狠狠插日日干撸| 五月丁香六月激情欧美综合| 激情综合网站| 色色色色色爱| 精品国产AV色一区二区深夜久久| www.久久爱.com| 涩涩网五月天| 色色网站| 激情婷婷五月社区| 99热日韩| 日韩一级片| 婷婷久久欧美| 丁香五月在线观看综合| 婷婷久久综合| 99ri久久| 色色亚洲| 国产AV不卡福利| 亚洲人妻一区二区 | 踪合专区啪啪| 五月丁香婷婷五月| 超级碰碰99| 综合狠狠干| 色噜噜狠狠色综合日日| 91丨九色丨熟女|新版| 丁香五月激情综合啪啪| 99riAV成人在线视频| 99精品视频在线6| 五月综合色| 久久婷网| 久久久8| 97婷婷丁香五月天激情图片| 狠狠xx| 成人精品免费在线观看| 色五月婷婷啪啪五月| 亚洲综合成人网| 色5月婷婷| 国产99久久久| www超碰| 五月色婷婷影院| 色欲久久久久久综合网综合网| 天天爽免费视频| 内射 无码 伊人| 99色在线观看| 超碰成人影视| 婷婷丁香十月| 色婷婷久久天天性爱| 五月丁香影院| 精品牛仔裤超碰| 婷婷综合色图| 色五月婷婷五月丁香五月激情五月视频| 六月婷婷激情图片| 久久精品性爱视频,| 啊v视频在线观看| 樱花99视频| 99碰碰| 五月六月激情婷婷| 97久久婷婷色| 五月天成人综合| 午夜爱爱网站| 婷婷久草| 天天干狠狠艹| 五月婷婷中文字幕| 99热.com| 五月婷婷免费视频| 丁香熟女乱| 五月丁香综合激情| 色色精品色| 欧美在线| 亚洲中文乱字字幕在线永久| 日韩综合天堂| 日本欧美成人片AAAA| 人人看人人摸人人| 色天堂A| 亭亭玉月丁香| 国产精品成人av在线观看春天| 婷婷五月超碰| 狠狠干婷婷| 精品无码人妻一区| 一起肏在线视频| 色久天| 99免费视频精品| 999久久久国产精品| 色欲婷婷五月天| 久久女婷| 婷婷丁香18| 青草网在线观看| 婷婷五月天国产传媒| 第四色五月天| 婷婷色无码| 天天综合色99| 一起草AV| www.婷婷,com| 另类小说五月天激情| 成人网站av免费网站推荐| 色五月在线播放| 99色爱| 超碰操网| 丁香97综合| 中文字幕成人| 91丨九色丨白浆| 丁香五月婷婷亚洲另类| 久久激情五月| 色五月婷婷青娱乐| 免费观看全黄做爰的视频| h亚洲| 国产精品蜜臀99| 色综合激情| 五月婷九月| 我爱大香蕉| 色情成人五月天| 久久机热这里只有| 激情综合网丁香| 97久久超级| 少妇被躁爽到高潮无码文| 99热| 99热在线只有精品| 少妇人妻凹凸视频| 思思热99er在线视频| 超碰在线观看9| 婷婷五月丁香99| 午夜性做爰电影| 婷婷精品在线| 五月 激情视频| 99热这里只有精品18| 五月激情网五月综合网| 色色热99| 亚洲综合字幕色色| 人人操人人操919999| 亚洲AV永久无码影院黑人| AA片在线观看视频在线播放| 开心五月网 | 涩涩五月天| 亚洲亚洲亚洲AAAAAA| 五月丁香拍拍激情综合| 久婷婷五月丁香在线观看| 五月婷精品| 成人在线综合| 吊色AV男人的天堂| 九九精品热播| 久久久A级视频| 操b视频在线观看一区二区| 色六月 婷婷| 日韩黄色中文字幕| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久久182| 日操夜操天天操不卡| 国产精产国品一二三在观看| 青草视频在线观看视频| 欧美丰满熟妇BBB久久久| 色五月亚洲| 五月综合激情婷婷六月色窝| 99re热视频这里只精品| 成人亚洲精品久久久久| 91无码一起草| 手机在线视频观看9| 超碰在线个人观看| 大香蕉啪啪啪啪啪啪| 超碰99成人在线| 亚洲欧洲小视频9| 欧美性久| 色五月首页| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 夜夜骑夜夜撸| 棕合影院色色| 99热久| 婷婷五月在线视频| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 26uuu国产| 婷婷中文字幕| 91精品刘玥| 色五月,婷婷大香蕉| 伊人综合色干| 去干网av| 韩国久久少妇视屏| 99热99极品观看| 色色五月婷婷| av在线播放网站| 婷婷五月色花丁香社区| 99久在线观看| 色综合爱综合| 五月天com| www超碰| 亚洲妇女熟BBW| 99re在线免费视频| 成人精品在线| 99爱免费在线视频| 五月天激情四射网站| 激情五月婷| 97碰碰叉| 啪啪一区| 玖玖资源站蜜臀| 99啪| 婷婷狠狠综合网入口| 日本女人久久| 色五月婷婷大| 色五月婷婷av| 精品久9| 日韩av在线电影| Va另类视频| 婷婷成人综合| 丁香五月激情啪啪综合| AV激情五月| 思思热在线播放| 丁香婷婷基地| 欧美超碰人人| 开心五月婷婷在线视频免费观看| 狠狠狠狠狠狠色| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久99热| 婷婷综合五月| 免费操超碰| 99精品这里只有免费视频 | 人碰人人人玩91| 婷婷五月天色色| 五月丁香六月婷婷欧美综合| 久久精品国产一区二区三区四区| 97干在线观看视频| 婷婷五月天黄色小说| 91狠狠综合久久久| 91成人视频| 欧美黄色AA片哗啦啦啦| 双性美人被调教到喷水A片| 五月丁香婷婷基地| 天天爽,夜夜爽| 日韩av一区二区在线/日产精品久久久| 婷婷午夜激情| 九九色色| 欧美日韩日韩成人| 九九热视频免费| 伊人91| 国产成人网址| 91精品久久久久久久| 97超碰欧美中文字幕| 亚洲性图一区二区| 日日影院 | 丁香五月婷婷少妇| 99热在线观看免费精品| 色综合久久88色综合天天99| 婷色五月天| 久碰久| 情婷婷五月天| 五月天婷婷激情六月久久| 色五月激情五月丁香五月婷婷啪啪综合 | 久久五月丁香婷婷| 九色91国产| 久久久久久久久99精品| 久久九精品| 六月婷婷视频| 色五月亚洲| 色五月婷婷激情基地| 五月丁香人妻| 婷婷丁香先锋资源网站| 蜘蛛女侠2003满天星免费观看| 97碰碰九九视频| 国产色五月婷婷| 色婷婷很很丝袜| 俺去也在线视频| 一级内射毛片| 五月婷视屏在线观看| 9l视频自拍九色9l黑人| 人人舔人人| 综合九九日本| 欧美啪啪9| 久久久久激情| 丁香五月偷拍| 天色综合网站| 色五月噜噜| 五月花在线观看视频| 97热久久五月婷婷| 午夜激情婷婷| 五月欧美色播| 国产熟妇乱子伦hd| 色丁香影院| 五月天丁香久久| 99色婷婷视频| 欧美色骚婷婷五月天| 91se视频| 久久久精品人妻| av在线免费播放| 大香蕉综合在线| 午夜不卡成人一区二区| 婷婷五月超碰| 久热九九| 97涩涩丁香五月天| 五月天婷婷色色首页| 国产性爱一级| 五月丁香六月婷婷,婷| 日本视频久久| 99视频精品在线| 五月婷色| 真实的国产乱XXXX在线91| 激情综合五月开心狠狠| 五月丁香美女视频| www.婷婷com| 男人的天堂五月丁香| 激情五月激情综合俺也去婷婷小说| 激情五月综合网| 五月亚洲| 九九综合视频在线观看| 丁香五月停停av| 婷婷五月激情网| 亚洲第精品| 成人综合视频在线| 三十熟女| 97碰| 久久人妻高清中文| 亚洲无码播放| 九九无毛| 五月婷婷激情网| 五月丁香另类图片| 91免费在线视频6| 啪精品| 强辱丰满人妻HD中文字幕| 亭亭玉月丁香| 色婷婷4| 操日视频| 欧美,日韩成人在线| 天天爽天天日| 亚洲六月婷婷| 婷婷色色网| 色综天天综合| 97热久久五月婷婷| 教师性爱毛片| 久久综合激情| 五月丁香六月成人| 九九九九这里只有精品| 色久在| 久久五月激情| 青青草婷婷久久| 亚洲V国产V欧美V久久久久久| 色婷婷六月天| 第四色五月天| 色婷婷九月| 狠狠88综合久久久久噜噜噜| 久久久久激情| 在线看黄色| 六月丁香AV| 日本操天堂| 六月丁香婷| 精品久热| 综合视频久久| 婷婷成年人免费视频| 久久久人人人妻丝丝丝| 亚洲激情图文小说| 婷婷综合网站| 五月丁香啪啪综合网| 九九综合五月欧美| 亚洲欧洲美女在线观| 嫩草AV久久伊人妇女超级A| 99精品热| 婷婷的99视频网站| 色色五月天婷婷丁香| 少妇激情五月天| 久久精品视频9| 5月丁香六月情| 亚洲五月天天| 日本五月婷婷久久久六月丁香| www色色com| 九九亚洲综合| 99热这里都是精品| 强伦轩人妻一区二区电影| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久午夜理论| 精品九九视频在线观看| 日日想日日夜日日操| 激情综合网婷婷久久| 色色网站观看| site:jszngf.com| 亚洲成色综合网站免费观看| 丁香女人五月天| 五月天婷婷色五月天| wWwCom夜操wwW| 丁香五月在线伊人| 久草久青福利| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 中文精品在| 婷婷五月丁香六月| 五月婷婷综合激情| 五月丁香色婷婷婷基地| 色婷婷在线视频久| 五月丁香六月停停| 性生活久久人妻| 亚洲五月花| www,com,五月色色| 大香蕉手机视频| 九九热九九| 成人午夜视频精品一区| 久久久91精品| 91精品啪| 97人妻碰碰碰久| 国产激情综合五月| 欧美综合五月丁香六月婷| 五月丁香婷婷激情视频| 婷婷色综合| 五月婷婷片| 免费观看18视频网站| 97日本在线播放| 久久精品99久久久久久久久| 亚洲综合久| 99热99日…..| 丁香五月六月婷婷综合激情| 婷婷丁香五月网| 九九Av| 国产美女无遮挡裸体毛片A片| 久久五月婷天天干| 99精品高潮| 色综天天综合| 天天爽夜夜爽夜爽精品| 极品另类| 色五月激情五月| 五月丁香婷婷99| 综合色播| 婷婷综合爱| 五月婷婷六月天| 人妻熟人中文字幕一区二区| 月色色综合婷婷网| 亚洲色色色色色| 五月婷婷说| 99色色网| AV操一操| 五月婷婷六月丁香免费| 婷婷五月天激情五月天| 婷婷午夜精品久久久| 亚洲无AV在线中文字幕| 91视频综合网| 五月婷婷久久爱| 超碰高清在线| 日逼AV影音先锋男人资源站| 五月丁香六月婷婷久久肏| 天天做天天双| 99九无网码| 婷婷五月欧美综合| 激情综合婷婷| 婷婷五月花丁香| 97人人操人人干| 亚洲操B视频| 色综合五月在线| 免费婷婷| 色婷婷aV四虎| 欧美美女国产日韩一区二区久| 十一月婷婷激情四射| 成人国产欧美大片一区| 婷婷五月综合久久中文字幕| 五月丁香另类网| 99视频在线精品| 伊人婷婷91| 婷婷五月天亚洲图片| 五月婷在线观看| 亚洲婷婷激情综合激情999精品| 婷婷五月免费观看| 久操大香蕉| 欧美啪啪五月天| 99aese| 色色色欧美| 91要啪| 天天狠狠夜夜狠狠2023| 精品二区| 狠狠久久婷五月综合色| 九九热在线99| 狠狠色丁香久久| 五月婷婷片| 1024操逼| 婷婷六月天精品| 久久性视频| 妇激情基地| 五月天丁香成人| 99色免费| 深爱激情婷| 久久精品熟女亚洲AV麻豆| 久久aaa| 这里只有精品视频在线| 99久.| 美女精品一级不卡视频| av在线免费网站| 99热这里只有精品在线观看| 色婷婷小视频| 婷婷亚洲色| 欧美日韩成人h| 99色热视频| 99视频这里有精品| 夜夜爽日日躁| 7EzOBIhNq85TO| 五月丁香六月婷婷色| 99国产精品白浆在线观看免费 | 亚洲精品国产精品乱码视99| 大香蕉太香蕉视频97| 婷婷激情六月天视频| 91人妻人人操| 99r这里| 丁香六月亚洲| 停婷丁五月在线| www.久久久久久| 综合激情在线视频| www.91久久| 久久大香蕉| 丁香无五月网| 亚洲中文字幕在线观看| 思思热在线视频99| 狠狠婷婷日韩| 五月亭亭狠狠| 五月丁香久人妻中文| 久久久久久久久久8888| 国产亚洲99久久精品| 久久9视频| 五月丁香六月婷婷综合免| AV片一区在线观看| 五月天俺去也| 六月丁香婷婷色狠狠久久| 成人电影AV在线观看| 久久伊人大香蕉| 99热免费| 五月天成人在线播放丁香| 日韩AV一区二区三区| 夜色综合网| 99综合视频一体| 青青草免费公开视频| 色色cOm| 91操在线观看| 色玖玖| 五月丁香六月欧美综合| 久久久91精品| 操操自拍| 久久久久亚洲A∨成人乱码电影| 99色爱| 日本美女五月天| 丁香婷婷六月激情文学| 婷婷丁香综合网| 五月天偷拍| 日韩五月婷婷| 五月婷婷之综合激情在线| 91Chinese在线| 狠狠999| 伊人九九热| 国产99热| 久久久这里有精品| 99在线精品视频观看免费下载| 播丁香五月婷婷欧美| 狠狠色噜噜狠狠| 婷婷区日本| 2017人人操| 欧美内射AAAAAAXXXXX| 亚洲九九视频| caopeng超碰| 青青草99热久久精品国| 色一情一乱一乱一区91Av| 狠狠草狠狠草| 日韩一区二区在线播放| 久热9热| 久9视频| 激情五月婷婷视频一区二区三区| 婷婷丁香六月五月天| 九 九九九AV| 99综合视频| 久久人妻乱| 99热6这里之有精品| 久久视频婷婷| 婷婷五月激情欧美大胆视频| 大香蕉久艹| 丁香五月六月婷婷怡红院| 人人玩人人橾| AV成人在线播放| 日B日潘金莲BB| 亚洲五月天婷婷| 99亚州综合精品成人网| 五月天成人伊人| 五月天堂婷婷| 五月婷综合激情| 精品香蕉99久久久久网站 | 欧美日韩五月婷婷| 成人 在线观看国产| 婷婷五月情| 五月婷婷婷丁香播| 久久久久久丁香五月| 五月丁香六月久久| 99日精品视频| www.激情五月天.com| 国产精品18久久久| www久久久| 丁香 久久| 99热无码首页| 思思热在线视频99| 六月丁香五月婷婷首页| YJLZZJLZZ亚洲乱熟无码| 色五月婷婷天堂| 在线不卡AC| 51精品国自产在线| 色五月婷婷中文字幕| 99色热| 五月婷婷五月天| 色婷婷电影网| 狠狠草狠狠草| 丁香五月五婷| 激情综合色| 白天AV月月| 六月色婷婷欧美| 激情小说婷婷小说| 激情文学 综合 色| 丁香五月天啪啪| av在线免费播放| 色五月琪琪| 狠狠久久婷五月| 五月丁香啪啪啪啪| AV操逼网| 激情婷婷丁香五月天| 色婷婷9| 国产综合婷婷| 日韩 中文 欧美| 亚洲AV综合网| 日本91在线| 综合97五月| 这里有精品99| 久久这里面只有精品视频| 国产资源91在线| 久久婷婷丁香| 97人人做| 97自拍视频在线| www,五月天com| 狠狠色五月激情| 99热久久这里只有精品| 天天操天天爽天天爱| 狠狠操天天日| 66精品成人免费网站在线观看| 热久久视频99| 亚洲六月色| 成人网在线视频| 99色色网| 五月天激情综合网| 精品二区| 吾爱AV导航| 99热爱爱干干日| 人人澡天天色天天做| 97色伦另类图片小说视频 | 日韩AV无码影片| 1级欧美日韩| 国产资源在线视频| 淫视馆aV二区一区| 丁香婷婷人妻综合网| 常久最新免费的色吊丝| 婷婷五月天狠狠色| 丁香六月啪啪| 精品9197碰| 久久 无毛。| www.粉嫩av.com| 狠狠色无码| 五月亭亭网成人在线视频| 婷婷色播婷婷| 在线观看国产高清视频免费网站| 超碰妻人人| 99re在线精品视频| 亚洲五月天天| 美女天天爽| 亚洲av骚货| 99视频免费播放 | 九九热在线视频观看| 久久久一级AAA| 草榴视频网| 熟女激情网| 伊人啪啪网| 久久伊人五月天| 操97在线观看| 久操大香蕉| 五月婷婷丁香色播网| 亚洲精品国产成人AV在线| 国产午夜伦鲁鲁| 任我鲁这里有精品视频| 天天日天天摸天天| 五月激情天| 国产成人精品一区二三区熟女在线| 丁香五月婷婷婷桃花影院| 99er这里只有精品视频| 激情内射p| 国产日比| 91视频五月丁香| 能看的AV网站| 色五月综合激情| 久久成人亚洲欧美电影| 婷婷丁香五月亚洲欧美| 夜丁香综合| 极品少妇高潮啪啪AV无码| 欧美 日韩 成人| 思思久久思思| 激情五月综合网| 操婷婷基地| 99视频精品8| 91久久婷婷| 99热精品网| 甈吧vv| 91精品久久久久久77777| 99热免费18| 五月丁香综合伦理片| 91精品久久久久久| 婷婷丁香五月天大香蕉| 久久有码| 亚洲综合五月天婷婷丁香| 超碰成人av| 久久视频婷婷视频| 涩丁香91| 六月丁香五月激情网| 五月天sesese| Aα在线免费观看| 噜噜操操| 天天摸天天舔天天爽| 97色色色色色色色色色色色色色| 五月天在线视频尤物视频在线看| 五月天激情无码| 国产熟女一区二区三区五月婷| 97综合在线| 98热精品| 国产亚洲精品人人| 欧美黑人巨大性生话| 丁香五月电影院在线观看| 激情婷婷五月天在线观看| 99操碰| 久久久久激情| 五月天婷婷乱论小说| 色色六月| 激情六月一二| 七月婷婷色香综合网| 色五月开心五月激情五月| 五月天另类小说| 五月天堂色| 九色视频91疯狂| 九九色播五月丁香| 国产欧美va| 天天射色五月天| 色五XX| 久久99网| 丁香五月六月婷婷殴美综合| 97操在线| 五月婷婷久草在线视频综合| 99欧美精品99日本精品| 丁香六月天色婷婷| 婷婷激情五月呦呦| 五月丁香六月情亚洲| 丁香六月成人| 99热无码| 婷婷丁香五月天大香蕉|