99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

前端錯(cuò)誤彈窗記錄方案:如何把用戶報(bào)錯(cuò)變成可復(fù)現(xiàn)線索

前端錯(cuò)誤彈窗記錄方案:如何把用戶報(bào)錯(cuò)變成可復(fù)現(xiàn)線索 做前端時(shí)間久了最怕聽到的其實(shí)不是“頁面崩了”而是“用戶那邊彈了個(gè)錯(cuò)我截了圖就這個(gè)”。這張截圖大概率只包含彈窗的半截標(biāo)題沒有觸發(fā)頁面、沒有請求參數(shù)、沒有操作步驟等你趕到現(xiàn)場那個(gè)錯(cuò)誤早就被刷新沖得干干凈凈。我一直在琢磨同一個(gè)問題錯(cuò)誤彈窗本身是產(chǎn)品最誠實(shí)的信息出口為什么我們在排查時(shí)卻一直把它當(dāng)成一次性廢料看待后來我在團(tuán)隊(duì)里陸續(xù)做了兩件事一是把所有錯(cuò)誤彈窗納入統(tǒng)一記錄二是把彈窗記錄和操作上下文關(guān)聯(lián)起來算是把“用戶又報(bào)錯(cuò)了”從一句口頭禪變成一個(gè)可檢索、可回放、可以反向推動修復(fù)的事實(shí)數(shù)據(jù)庫。這篇文章就把這套錯(cuò)誤彈窗記錄方案的完整思路、代碼邊界和踩坑過程拆開來講。1. 線上“點(diǎn)哪兒都報(bào)錯(cuò)”卻無法復(fù)現(xiàn)彈窗記錄缺的不只是截圖先說我在項(xiàng)目里最直接的一個(gè)觀察。我們的前端應(yīng)用是標(biāo)準(zhǔn)的中后臺系統(tǒng)用戶角色很多菜單權(quán)限不一樣二開改造也多。過去一年里工單系統(tǒng)里最常見的線上反饋大概有三類第一種是“點(diǎn)保存的時(shí)候彈出紅色報(bào)錯(cuò)了但再點(diǎn)一次又好了”第二種是“某用戶環(huán)境里彈了錯(cuò)誤頁面卡住刷新后恢復(fù)正?!钡谌N最模糊——“經(jīng)常彈錯(cuò)不確定是不是我網(wǎng)絡(luò)問題”。這類反饋有共同點(diǎn)報(bào)錯(cuò)信息大概率出現(xiàn)在 alert、message toast、Modal 彈窗里由封裝好的 request 攔截器統(tǒng)一彈出??蓡栴}來了彈窗組件本身沒有日志沒有版本號沒有用戶標(biāo)識甚至很多文案是后端返回的 errorMsg也不寫錯(cuò)誤碼。用戶截圖只能截出某個(gè)瞬間可工程師定位時(shí)最需要的是時(shí)間軸。1.1 一個(gè)錯(cuò)誤彈窗從出現(xiàn)到消失留在工程師手里的只剩回憶我之前做過一次小試驗(yàn)讓三位同事模擬用戶操作埋點(diǎn)環(huán)境觸發(fā)同一個(gè)拋錯(cuò)接口。結(jié)果很有意思頁面上的 message 文案完全一致但觸發(fā)路徑完全不一樣有人是從列表頁按鈕進(jìn)來的有人是提交表單觸發(fā)的還有人是從詳情頁跳轉(zhuǎn)后自動加載時(shí)彈出的。如果只把“錯(cuò)誤彈窗”本身記錄下來我們只能得到一張好看的錯(cuò)誤分級表卻無法回答最重要的那個(gè)問題到底哪個(gè)入口、哪個(gè)參數(shù)組合、哪一版代碼最容易把它帶出來。于是我把思路從“記錄錯(cuò)誤彈窗”調(diào)整為“記錄錯(cuò)誤彈窗前后 10 步的可復(fù)現(xiàn)上下文”。簡單說彈窗不是孤立的它是用戶操作鏈、網(wǎng)絡(luò)請求鏈和前端狀態(tài)變更鏈的交匯點(diǎn)。只拍下事故現(xiàn)場還不夠還得知道它是怎么一步步發(fā)生的。1.2 第一版需求邊界別想著全量采集先把錯(cuò)誤彈窗撈干凈初期特別容易犯的錯(cuò)是貪大。有人一上來就想把點(diǎn)擊流全部埋了、所有接口響應(yīng)全存了、頁面全量錄屏結(jié)果做了一兩周還停在埋點(diǎn)列表上。我的建議是把第一版邊界收得非常窄只盯“計(jì)劃內(nèi)錯(cuò)誤彈窗”和“計(jì)劃外全局異常彈窗”兩類。計(jì)劃內(nèi)錯(cuò)誤彈窗業(yè)務(wù)代碼主動調(diào)用的錯(cuò)誤提示比如提交失敗、數(shù)據(jù)加載異常通常通過項(xiàng)目封裝的 notify.error 之類方法呼出。計(jì)劃外錯(cuò)誤彈窗頁面里冒出來的系統(tǒng)報(bào)錯(cuò)比如 React Error Boundary 兜底頁、未捕獲異常導(dǎo)致的錯(cuò)誤彈層、全局 unhandledrejection 被框架統(tǒng)一提示的場景。第一版不需要記錄非錯(cuò)誤類 toast也不追普通的成功提示。只有先把錯(cuò)誤彈窗做成結(jié)構(gòu)化數(shù)據(jù)后面的分析才有根基。2. 核心實(shí)現(xiàn)整套錯(cuò)誤彈窗記錄器怎么落地確定了邊界后面的事就是順著一條鏈路做透捕獲異常信號、找到對應(yīng)的彈窗對象、抽取彈窗關(guān)鍵信息、關(guān)聯(lián)操作上下文、落本地緩沖、異步上報(bào)、查詢展示。我在項(xiàng)目里基于現(xiàn)有組件庫做了一層輕量封裝沒有額外引入重量級監(jiān)控 SDK整體代碼量控制在幾百行附近。2.1 全局異常捕獲window.error 和 unhandledrejection 雙通道前端錯(cuò)誤彈窗的來源未必都是業(yè)務(wù)代碼主動彈的有可能是運(yùn)行時(shí)異常被全局監(jiān)聽后觸發(fā)兜底提示。例如代碼里某個(gè)核心方法拋錯(cuò)經(jīng)統(tǒng)一捕獲后 setState 出一個(gè)全局 ErrorPage。記錄器不能只監(jiān)聽某個(gè)組件的屬性而要在最外層把異常源抓住。我在公共模塊里注冊了兩個(gè)監(jiān)聽// error-tracker.js export function installGlobalErrorCapture() { window.addEventListener(error, (event) { // 捕獲資源加載錯(cuò)誤與普通運(yùn)行時(shí)錯(cuò)誤 const detail extractErrorDetail(event.error); pushToLocalBuffer({ type: window-error, level: error, message: detail.message, stack: detail.stack, filename: event.filename || , lineno: event.lineno || , colno: event.colno || , occurredAt: Date.now(), }); }); window.addEventListener(unhandledrejection, (event) { const reason event.reason; const detail extractErrorDetail(reason); pushToLocalBuffer({ type: promise-rejection, level: error, message: detail.message, stack: detail.stack, occurredAt: Date.now(), }); }, { passive: true }); }這段代碼很多團(tuán)隊(duì)都有但差別在于我把這兩個(gè)事件的身份標(biāo)識與稍后要記錄的彈窗信息做了關(guān)聯(lián)。實(shí)際踩過的坑是部分瀏覽器對跨域腳本的 stack 會打碼錯(cuò)誤對象雖然存在但 fileName 和行號是空的。因此推入緩沖隊(duì)列時(shí)不要把 stack 作為唯一線索。Message 里的“請求失敗”“保存失敗”這類關(guān)鍵詞反而能幫我們做彈窗文案匹配。2.2 彈窗內(nèi)容與 DOM 提取截圖之外的文本證據(jù)鏈等到異常真正被渲染為可見彈窗時(shí)僅僅記錄錯(cuò)誤對象還不夠。用戶關(guān)心的是屏幕上彈出了一行什么字。我建議在組件庫通知類方法做統(tǒng)一包裝或者在彈窗掛載后掃描可見區(qū)域里的錯(cuò)誤提示節(jié)點(diǎn)。前者侵入性稍強(qiáng)但拿數(shù)據(jù)最準(zhǔn)確后者的優(yōu)點(diǎn)是不用改業(yè)務(wù)調(diào)用方需要額外做的是判定“哪些節(jié)點(diǎn)算錯(cuò)誤彈窗”。我采用了一個(gè)中庸方案在統(tǒng)一的 request 攔截器和 notify 封裝里追加記錄函數(shù)同時(shí)保留 DOM 掃描作為兜底。記錄函數(shù)會拿到 complete 的彈窗信息function captureNotice({ type, title, content, level, code, requestId, duration }) { pushToLocalBuffer({ type: business-notice, level, message: content || title || , errorCode: code || , requestId, // 方便回放時(shí)定位觸發(fā)的接口調(diào)用 pageUrl: location.href, route: router.currentRoute?.value?.fullPath || , }); }DOM 掃描兜底一般用 MutationObserver監(jiān)聽 body 下新增的錯(cuò)誤樣式節(jié)點(diǎn)取它的 innerText 并判斷是否在錯(cuò)誤枚舉列表里。這個(gè)方案不夠優(yōu)雅但真碰上“外部老代碼直接調(diào) $.messager.alert”的時(shí)候它能撈回大量漏網(wǎng)之魚。畢竟“錯(cuò)誤彈窗記錄”首要任務(wù)是先把它記下來后續(xù)再談結(jié)構(gòu)化。2.3 快照與軌跡記錄錯(cuò)誤發(fā)生前10步操作有的錯(cuò)誤彈窗與用戶操作沒有直接關(guān)系比如定時(shí)器拉取了數(shù)據(jù)、后臺消息推送觸發(fā)了刷新。但多數(shù)業(yè)務(wù)錯(cuò)誤有明確的前置操作鏈。我給記錄器維護(hù)了一個(gè)環(huán)形軌跡緩沖區(qū)最多保留當(dāng)前會話最近 20 條動作。每一條動作包含四類基礎(chǔ)信息交互事件click 時(shí)所在節(jié)點(diǎn)文本、按鈕文案、組件 key、事件目標(biāo) CSS 選擇器。路由變化上一個(gè)路由和當(dāng)前路由。接口請求發(fā)起請求的 method、url、關(guān)鍵入?yún)⒄?、返回狀態(tài)碼。瀏覽器事件visibilitychange、online/offline、頁面 resize 等可能間接影響的狀態(tài)。實(shí)現(xiàn)時(shí)用一個(gè)簡單的 trackAction 函數(shù)在各埋點(diǎn)處低侵入追加即可。觸發(fā)一次點(diǎn)擊就壓一條 JSON 快照const actionRingBuffer []; const MAX_RECORD 20; function trackAction(action) { actionRingBuffer.push({ ts: Date.now(), ...action, }); if (actionRingBuffer.length MAX_RECORD) { actionRingBuffer.shift(); } } export function getRecentActions() { return actionRingBuffer.slice(); }有幾個(gè)團(tuán)隊(duì)在復(fù)用這套邏輯時(shí)總想把軌跡做得又細(xì)又全最后存儲開銷先行爆炸。實(shí)際證明 20 條足夠覆蓋絕大多數(shù)問題且更容易讓開發(fā)在看記錄時(shí)抓住重點(diǎn)。2.4 數(shù)據(jù)怎么存IndexedDB 本地緩沖與按需上報(bào)記錄最終要出瀏覽器。如果每彈一個(gè)錯(cuò)誤就馬上上報(bào)一次異常頻率高時(shí)反而會把少量有價(jià)值的堆棧信息淹沒還會影響頁面性能。我采用了兩級存儲方案。錯(cuò)誤記錄先進(jìn) IndexedDB 的本地表帶上狀態(tài)標(biāo)記pending/uploaded。頁面正常退出前如果 pending 數(shù)量超過一個(gè)閾值使用 sendBeacon 批量上報(bào)如果用戶在斷網(wǎng)狀態(tài)下工作記錄會滯留在本地等網(wǎng)絡(luò)恢復(fù)后自動補(bǔ)傳。這里要留意 IndexedDB 的異步特性避免在頁面關(guān)閉瞬間寫入未完成導(dǎo)致丟數(shù)據(jù)。上報(bào)的消息體不復(fù)雜{ eventId: uuid-xxxx, occurredAt: 1700000000000, sessionId: ukey-xxx, version: 1.4.2, env: production, userIdHash: a1b2c3, records: [ { type: business-notice, level: error, message: 保存訂單失敗請稍后重試, errorCode: ORDER_SAVE_FAILED, route: /order/create, stack: , actions: [] } ] }3. 純記錄沒有用得把它串成一條能回放的時(shí)間線數(shù)據(jù)存下來只是開始。真正產(chǎn)生排查價(jià)值的是工程師拿到一條錯(cuò)誤彈窗記錄后能像看回放一樣把這個(gè)用戶前一分鐘的操作過程復(fù)現(xiàn)出來。3.1 用戶身份、版本號和路由字段排查的第一批基本盤上線第一周我就發(fā)現(xiàn)一個(gè)真實(shí)痛點(diǎn)同一個(gè)錯(cuò)誤彈窗后臺查看時(shí)只顯示“部分用戶出現(xiàn)報(bào)錯(cuò)”無法確定是版本灰度問題還是特定操作問題。后來我在記錄里強(qiáng)制補(bǔ)上了三個(gè)基礎(chǔ)字段應(yīng)用版本號、當(dāng)前登錄用戶標(biāo)識的哈希值、當(dāng)前頁面路由。為什么用戶標(biāo)識要用哈希而不是明文出于隱私考慮。記錄的目的不是為了知道“張三做了什么”而是為了能回答“某個(gè)具有 X 權(quán)限的人在 Y 菜單下使用 Z 版本時(shí)是否遇到相同問題”。用戶 ID 做一次 HMAC 混淆即可既保留橫向關(guān)聯(lián)能力又不至于讓所有能看到后臺的人直接讀到用戶名。版本號尤其重要。很多錯(cuò)誤不是“所有用戶都彈”而是“新版框架升級后加了字段校驗(yàn)老接口返回的數(shù)據(jù)不滿足新約束”導(dǎo)致只有新版本前端會彈錯(cuò)。沒有版本字段復(fù)現(xiàn)人員會拿舊版本本地代碼去跟線上最新代碼比對浪費(fèi)幾個(gè)小時(shí)。3.2 業(yè)務(wù)狀態(tài)序列化錯(cuò)誤彈窗往往只是最后一環(huán)真正復(fù)雜的問題發(fā)生在“彈窗出現(xiàn)時(shí)業(yè)務(wù)狀態(tài)已經(jīng)處于異?!钡膱鼍?。比如用戶先選了某張優(yōu)惠券再對商品進(jìn)行改價(jià)最后提交訂單時(shí)被后端提示價(jià)格不一致。彈窗文案里只有“訂單信息錯(cuò)誤”但真正原因是前端狀態(tài)中的優(yōu)惠券對象和服務(wù)端不一致。為了覆蓋這一類問題我在業(yè)務(wù)關(guān)鍵操作的位置留了一個(gè)可選的“快照點(diǎn)”倉庫核心數(shù)據(jù)在狀態(tài)變更后打上輕量標(biāo)簽trackStateSnapshot(cart-store, { selectedItemIds: cartStore.selectedItems.map(i i.id), couponId: cartStore.appliedCoupon?.id || , totalAmount: cartStore.totalAmount, });不過業(yè)務(wù)快照必須克制否則會有敏感數(shù)據(jù)混雜進(jìn)來。我的建議是快照只存主鍵 ID 和“參與計(jì)算的關(guān)鍵金額/數(shù)量”不存收貨人姓名、手機(jī)號、備注等無關(guān)內(nèi)容。定位是輔助不是數(shù)據(jù)倉庫。3.3 查詢面板設(shè)計(jì)按時(shí)間段、關(guān)鍵詞、錯(cuò)誤碼快速檢索有了數(shù)據(jù)團(tuán)隊(duì)需要一個(gè)查詢?nèi)肟?。第一版我直接做了一只簡單的管理端頁面本質(zhì)就是一張大表加一個(gè)篩選器。看起來樸素但維度齊全后非常能打。篩選維度包括時(shí)間范圍默認(rèn)最近 24 小時(shí)支持自定義應(yīng)用版本精確匹配用于灰度對比錯(cuò)誤類型business-notice / promise-rejection / window-error / boundary-error關(guān)鍵詞匹配 message、route、stack 摘要操作軌跡中是否包含某個(gè)接口 URL這里最讓人舒服的排序邏輯是“錯(cuò)誤彈窗出現(xiàn)頻次按去重后計(jì)數(shù)”。同一用戶同一錯(cuò)誤只計(jì)一次否則某一次接口抖動會讓一個(gè)底層錯(cuò)誤沖上榜首。去重鍵我用的是 sessionId、錯(cuò)誤 message 前 100 字符和 stack 首行三點(diǎn)拼接后的 hash排序時(shí)按去重后數(shù)量倒序。4. 記錄上線后的三波沖擊數(shù)據(jù)噪音、隱私和存儲膨脹這套記錄器上線第二天后臺就收到了一萬兩千多條錯(cuò)誤彈窗記錄。這數(shù)字乍看像系統(tǒng)崩了實(shí)際分析發(fā)現(xiàn)其中 80% 來自同一個(gè)狀態(tài)碼為 502 的網(wǎng)關(guān)報(bào)錯(cuò)發(fā)生在兩次公網(wǎng)抖動之間。這個(gè)現(xiàn)象很典型也直接暴露了記錄鏈路的第一波坑。4.1 一個(gè)接口把錯(cuò)誤彈窗觸發(fā)了3000次的真相有個(gè)查詢列表接口在網(wǎng)關(guān)抖動后的 5 秒內(nèi)無法返回前端代碼里的重試邏輯誤以為超時(shí)于是每 3 秒重試一次。用戶沒有刷新頁面輪詢也沒有停錯(cuò)誤彈窗就一遍遍提醒“查詢失敗”。短時(shí)間內(nèi)同一個(gè)用戶觸發(fā)了 30 多次記錄。如果不做彈窗去重?cái)?shù)據(jù)庫里會被同一問題刷爆。我在 record 入庫前增加了一個(gè)合并窗口同一個(gè) sessionId 下相同 message、相同錯(cuò)誤碼的記錄在 5 分鐘內(nèi)合并為一條并且把 count 字段累加。這樣既能說明問題嚴(yán)重度又不會把用戶會話變成垃圾數(shù)據(jù)的制造機(jī)。當(dāng)時(shí)還發(fā)現(xiàn)部分彈窗組件即使重復(fù)渲染DOM 文本也完全一致合并條件可以輕松命中。真正的難點(diǎn)集中在錯(cuò)誤文案里帶時(shí)間戳的情況比如“接口超時(shí) 900ms”每次數(shù)值都不同合并鍵失效。解法是歸一化文案里的數(shù)字統(tǒng)一替換成占位符再用來做去重鍵。4.2 脫敏規(guī)則的取舍不能為了排查把用戶整個(gè)會話都搬走記錄器剛準(zhǔn)備擴(kuò)大采集范圍時(shí)我差點(diǎn)把用戶輸入內(nèi)容也裝進(jìn)軌跡快照。一次安全自查讓我及時(shí)剎車有些表單輸入項(xiàng)極具隱私性身份證號、手機(jī)號、備注字段都可能被輸入框 change 事件捕獲。而故障排查通常根本用不到這些值工程師真正需要的是“用戶填了哪些字段、校驗(yàn)是否通過、提交值是哪些選項(xiàng)”。因此軌跡采樣只保留輸入框的 name、非敏感選項(xiàng)類值、校驗(yàn)結(jié)果對 free-text 輸入值一律不采集。碰到純文本 Query 查詢條件僅保留前幾位索引參數(shù)和長度避免把用戶全文搜索詞帶出。脫敏規(guī)則可以寫成配置每個(gè)新增動作類型都要先確認(rèn)是否包含敏感字段再決定是否進(jìn)入環(huán)形緩沖。4.3 采樣策略與自動清理避免把前端性能拖垮記錄器本身不能成為性能殺手。任務(wù)最重的是 DOM 場景快照和軌跡序列化如果在錯(cuò)誤彈窗出現(xiàn)瞬間就立刻執(zhí)行全量頁面 HTML 快照用戶會明顯感到卡頓。我把頁面 DOM 快照閾值設(shè)為只做“彈窗所在掛載容器的 outerHTML 截?cái)唷蹦J(rèn)前 2000 字符然后壓縮后在網(wǎng)絡(luò)空閑時(shí)上報(bào)。本地的 IndexedDB 還要定期清理。正常情況下保留最近 2 天的完整記錄即可更早的記錄只保留聚合字段例如 message 聚合條數(shù)和最近一次出現(xiàn)時(shí)間。因?yàn)橥话l(fā)問題通常 48 小時(shí)內(nèi)就會被發(fā)現(xiàn)留太久反而讓查詢接口越跑越慢。后端接收端也要有丟棄策略。我通過在服務(wù)端按 hour 粒度聚合同一個(gè) key 的記錄數(shù)超過 30 條后自動把明細(xì)轉(zhuǎn)存冷表。這樣保障了熱查詢表的體積任何一次彈窗風(fēng)暴都不會拖垮監(jiān)控系統(tǒng)的讀接口。5. 靠錯(cuò)誤彈窗記錄抓到的那幾個(gè)“鬼”說實(shí)話沒有這套記錄鏈路之前這些問題也不是完全沒法查只是每次都得通過讓用戶開控制臺、裝代理、錄屏或者反復(fù)溝通口徑來碰運(yùn)氣。上線一段時(shí)間后團(tuán)隊(duì)從錯(cuò)誤彈窗記錄中翻出了好幾個(gè)之前完全無感的問題。5.1 同一個(gè)錯(cuò)誤彈窗在不同時(shí)區(qū)彈出不同文案有段時(shí)間海外銷售反饋“明明本地校驗(yàn)都過了提交預(yù)估單時(shí)偶爾會彈出’提交失敗請重試’”。這個(gè)錯(cuò)誤從工單里根本看不出規(guī)律。后臺檢索錯(cuò)誤彈窗記錄按操作軌跡排序后發(fā)現(xiàn)所有出問題的會話共同點(diǎn)是用戶在當(dāng)天 23:30 左右提交單據(jù)而表單里的“服務(wù)日期”字段在轉(zhuǎn)換時(shí)間戳?xí)r少做了一步時(shí)區(qū)偏移導(dǎo)致生成的日期參數(shù)早了一天后端按業(yè)務(wù)規(guī)則拒絕。彈窗記錄里前端雖然只看到“提交失敗”但軌跡里的請求 payload 把那個(gè)錯(cuò)誤日期完整保留了下來。開發(fā)用這一點(diǎn)數(shù)據(jù)快速定位到時(shí)間戳工具函數(shù)里對本地時(shí)區(qū)做了 toISOString 處理卻忘記還原 UTC 偏移。這類問題靠用戶反饋描述十有八九是問不清楚的。5.2 只在老版本容器里出現(xiàn)的條件渲染漏網(wǎng)另一個(gè)問題出現(xiàn)的范圍也很詭異只有幾個(gè)企業(yè)客戶環(huán)境會彈錯(cuò)普通 SaaS 用戶不受影響。逐條檢查彈窗記錄發(fā)現(xiàn)錯(cuò)誤集中在應(yīng)用版本號 1.4.0 的會話里。當(dāng)時(shí)我以為是不是灰度升級導(dǎo)致的但后端 release 單顯示 1.4.0 只覆蓋了約 10% 流量。點(diǎn)開記錄的動作軌跡后真相大白出問題的菜單入口是從一個(gè)老的容器應(yīng)用 iframe 嵌進(jìn)來的那個(gè)容器解析菜單配置時(shí)使用了一個(gè)舊字段 projectId而新前端已經(jīng)在 1.4.0 改成讀取 projectUid。老容器環(huán)境下 projectUid 為空請求接口時(shí)把 undefined 拼進(jìn)了 URL后端直接返回參數(shù)缺失錯(cuò)誤彈窗隨之出現(xiàn)。沒有版本號與路由字段這種“環(huán)境和版本疊加”的怪問題最難復(fù)現(xiàn)。現(xiàn)在看到這類反饋我第一步一定是先查錯(cuò)誤彈窗記錄里對應(yīng)版本和 referrer 的分布而不是讓用戶重新錄屏。5.3 前端輪詢與后端超時(shí)打架競態(tài)錯(cuò)誤終于浮出水面還有一個(gè)案例讓我印象更深系統(tǒng)里的某監(jiān)控大屏每 10 秒會輪詢一批實(shí)時(shí)數(shù)據(jù)偶爾出現(xiàn)“數(shù)據(jù)獲取失敗請刷新頁面”的錯(cuò)誤彈窗但刷新后馬上恢復(fù)正常。因?yàn)閱栴}偶爾出現(xiàn)很難穩(wěn)定復(fù)現(xiàn)。直到某個(gè)上午彈窗記錄明確地顯示同一時(shí)間點(diǎn)用戶的瀏覽器同時(shí)發(fā)出了 4 個(gè)相同的輪詢請求而且其中兩個(gè)請求因?yàn)榍耙粋€(gè)請求尚未返回導(dǎo)致了 token 刷新競爭后端把這兩個(gè)請求判定為無效會話。從記錄中的 request 軌跡可以清楚看到前一次輪詢還沒結(jié)束用戶又切換到另一個(gè)瀏覽器標(biāo)簽頁觸發(fā)了一次網(wǎng)絡(luò)恢復(fù)事件導(dǎo)致頁面里兩個(gè)定時(shí)器疊加。我們就這樣通過記錄里接口發(fā)起的時(shí)間戳差值判斷出是頁面從后臺切回前臺時(shí)重置了輪詢定時(shí)器卻沒有清掉舊實(shí)例。修復(fù)方式是一行清定時(shí)器的代碼但在沒看到請求時(shí)間軸之前排查成本高得嚇人。6. 記錄之后才是價(jià)值把彈窗數(shù)據(jù)接回告警與迭代流程錯(cuò)誤彈窗記錄做到可查詢不代表整個(gè)鏈路已經(jīng)完成。真正讓團(tuán)隊(duì)離不開這套機(jī)制的是后期把記錄數(shù)據(jù)接入了告警、周報(bào)和排障協(xié)作流程。它們從三條路徑反向壓低了線上錯(cuò)誤彈窗數(shù)量。6.1 錯(cuò)誤彈窗告警閾值該怎么定才不炸群很多團(tuán)隊(duì)上線監(jiān)控后第一件事就是接告警但沒過兩天就被告警疲勞淹沒。我在初始設(shè)定中故意不做細(xì)粒度告警只對三類情況推送核心交易鏈路錯(cuò)誤彈窗數(shù)量 10 分鐘內(nèi)超過 20 個(gè)會話同一個(gè)錯(cuò)誤碼 30 分鐘內(nèi)新增受影響用戶數(shù)超過 30新版本錯(cuò)誤率環(huán)比增長超過 200%。這三條有一個(gè)共同特征強(qiáng)調(diào)“用戶會話維度”而不是“事件次數(shù)維度”。因?yàn)橐淮尉W(wǎng)絡(luò)抖動引起的重復(fù)彈窗事件次數(shù)雖高但用戶價(jià)值損失有限。閾值要結(jié)合業(yè)務(wù)低谷調(diào)整例如凌晨時(shí)段核心交易鏈路本身幾乎沒有流量20 個(gè)會話也許就是明顯故障信號而在大促期間這樣一個(gè)閾值可能每分鐘都在發(fā)起告警。所以我后來加了按小時(shí)基線浮動判斷告警更加接近真實(shí)故障。6.2 彈窗周報(bào)的內(nèi)容架構(gòu)讓后端和產(chǎn)品也能看懂周報(bào)不是給技術(shù)人員自己看的。我在設(shè)計(jì)時(shí)避免了純堆 stack 的格式而是把錯(cuò)誤彈窗按“影響用戶數(shù)”“影響業(yè)務(wù)模塊”“連續(xù)出現(xiàn)天數(shù)”三個(gè)維度排序生成一份可閱讀的摘要。每一條記錄里保留核心 message、錯(cuò)誤碼與一條典型路徑截圖。產(chǎn)品經(jīng)理拿到這份報(bào)告后可以直接看到“購物車優(yōu)惠計(jì)算失敗彈窗在過去兩周共影響了 600 多名用戶環(huán)比上升 150%”。過去他只能靠客服反饋判斷優(yōu)先級現(xiàn)在數(shù)據(jù)擺在面前排需求時(shí)也更有依據(jù)。后端的同事也很喜歡我附上的接口維tab頁它直接把錯(cuò)誤彈窗對應(yīng)的 HTTP 狀態(tài)碼分布和超時(shí)分布列出來了后端不用再翻業(yè)務(wù)日志。我建議從第一周起就固化周報(bào)格式并附帶一個(gè)簡短的“本周新浮現(xiàn)問題”區(qū)塊。因?yàn)橛涗浧魃暇€之后錯(cuò)誤彈窗的真實(shí)數(shù)量短期內(nèi)會明顯上升這其實(shí)是把原先不可見的問題顯性化了不是質(zhì)量倒退大家提前在心里有個(gè)預(yù)期就行。6.3 團(tuán)隊(duì)里的“彈窗止血SOP”從發(fā)現(xiàn)到修復(fù)最短路徑記錄器跑通后我們形成了一套簡單實(shí)用的響應(yīng)動作不需要專職監(jiān)控人員也能執(zhí)行新建或收到告警后先在錯(cuò)誤彈窗查詢面板里按錯(cuò)誤碼聚合確認(rèn)影響面。點(diǎn)擊首條記錄查看動作軌跡找出最靠前的操作入口和請求參數(shù)摘要。如果判斷是前端問題直接在當(dāng)前會話里補(bǔ)抓一條用戶行為記錄把路由、版本、操作前狀態(tài)一并附到缺陷單上。如果判斷是后端或接口問題把請求參數(shù)摘要和返回狀態(tài)發(fā)給后端同事附帶相同的 eventId 便于兩邊對齊日志。這套流程最大的價(jià)值是消滅了“無法復(fù)現(xiàn)”四個(gè)字。凡是彈窗記錄里有數(shù)據(jù)的錯(cuò)誤無論前端還是后端都能在一個(gè)小時(shí)內(nèi)把問題范圍壓縮到很窄甚至直接定位到具體函數(shù)。沒有記錄的時(shí)候這個(gè)流程多半會變成來回要截圖、要網(wǎng)絡(luò)環(huán)境、要操作錄屏的拉鋸戰(zhàn)。這套記錄能力上線到現(xiàn)在我自己的最大感受是它把錯(cuò)誤彈窗從“用戶打擾項(xiàng)”重構(gòu)成“質(zhì)量運(yùn)營數(shù)據(jù)源”。它不是萬能的不能代替性能監(jiān)控也不能自動修復(fù)所有異常但它是前端團(tuán)隊(duì)理解線上真實(shí)狀態(tài)的一雙眼睛。如果你也被“用戶說彈錯(cuò)了但自己復(fù)現(xiàn)不了”的問題反復(fù)折磨可以考慮從把錯(cuò)誤彈窗變成結(jié)構(gòu)化記錄開始做起。別一上來追求全量采集和智能分析先能穩(wěn)定地存下來、查得到、看得懂就已經(jīng)贏過了大多數(shù)拍腦袋排錯(cuò)的團(tuán)隊(duì)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合99久久| 爱99干99| 婷婷五月激情视频| 性婷婷| 色色色1网址| 色婷婷99| 久久天堂网| 色五月婷激情| 激情久久天天| 五月婷婷六月丁香综合视频在线| 国产亚洲99久久精品| 玖玖婷婷免费| 丁香五月激情久久麻豆| 99欧美| 美女五月狠狠| 五月天激情小说欧美激情| 久久黄A片| 国产a视频| 99热这里只有精品9| 91成人电影| 五月婷久久在线| 天天噜天天插| 五月天婷婷一起草| 亚洲视频a| 天堂久久大香蕉| 六月色色| 成人午夜天| 超碰大香蕉网| 亚洲黄色影视| 欧美性爱五月天| 五月丁香五月综合欧美| 五月丁香五月综合欧美| 丁香六月激情毛片| 激情五月天色色色| Caop在线| 五月激情射| 色九月综合| 影音先锋美国A| 丁香五月在线播放| 色爱五月天| 色色婷婷综合网| 激情五月开心五月在线视频| 亚洲天堂亚洲色色色| www久久99| 婷婷丁香97| 久久婷婷五月综合啪| 91九色成人原创视频| 欧美三级视频| 欧美日韩五月婷婷| 激情综合婷婷| 色婷婷影院| 久久久五月婷婷| 色五月欧美| 天天拍夜夜爽日日| 婷婷丁香人妻天天| 大香蕉伊人99| 国产精品大香蕉| 婷婷香五月天| 欧美成人猛片AAAAAAA| 免费无码毛片一区二区A片| AV操操操| 婷婷综合仓库中文| 亚洲成人网站在线| 六月99天天婷婷激情综合| 久久激情五月| 欧爱综合视频| 青草激情综合| 五月天综合婷婷| 综合激情五月天| 色婷婷成人| 五月大香蕉| 久久久久久人妻| 极品少妇高潮啪啪AV无码| 公的粗大挺进了我的密道| 天天日日夜夜| 99热在线网站| 婷婷六月丁香开心深深爱| 综合激情啪啪| www99热| 开心五月网| 99狠狠| 日韩一级片| 久久思思热| 国产毛片精品一区二区色欲黄A片| 激情综合网激情五月婷婷| 99热免费18| 91精产品自偷自偷综合| 日韩成人网站精品久久大全| 婷婷五月丁香综合激情| 九九99久久| 91无码色色| 综合久久六月| 亚洲俩性性爱图片久久第六页| 爱草视频在线观看| 97人妻碰碰碰久久香蕉| 色综色网| 五月丁香色色网| 午夜九九电影| 久激情网| 美女视频图片久久91| 亚洲成人另类| 婷婷丁香激情五月天色色| 五月天婷婷基地综合网| www.色色色com| 日本人人干| 玖月婷婷爱丁香| 美女美女美女三级色天天天天天| 99视频久久| 天天爱天天天射AV| 99热最新精品| 99热97| 五月叮香啪| 日韩久久成人| 九九大香视频| 婷婷五月视屏| 久久女婷| 亚洲成人av在线| 婷婷久久五月天亚洲欧美国产日韩在线观看| 99re在线这里只有精品视频首页| 五月天啪啪| 五月激情四射网站| 影音先锋女人av鲁色资源网小说免费| 中文字幕激情综合| 99青青草99| 久99综合婷婷| 五月成人天| 九色婷婷| 91爱啪啪| 亚洲中文乱字字幕在线永久| 婷婷丁香综合网| 天堂久久婷婷| www.激情五月| 激情五月天婷婷播播久久综合91| 国产五月丁香在线| 日本99久久| 国产av网| 丁香五月天啪啪激情综和网| 婷婷五月在线视频| 99丁香五月婷| 婷婷综合在线| 五月天婷婷操逼视频| 好好干av| 精品人妻伦九区久久AAA片| 在线成人av播放| 免费成人va| 国产综合婷婷| www,com,五月色色| 欧美人人草| 一起草AV| 久久五月六月| 99热综合网| 久久久婷婷色五月资源网| 99热精在线九九久久保| 五月婷婷啪啪| 欧日韩AV| 思思99热| 色婷婷深爱五月| 色婷婷久久综合| se婷97| 五月天自拍视频| 99国产在线| 97碰碰碰| 丁香婷婷性久久| 久热99中文字幕| 五月六月丁香婷婷在线观看| 国产精品人成A片一区二区| 99re热99| 99久热这里只有精品| 日韩AV一区二区三区| 狠狠干狠狠干狠狠干狠狠干| 国产AV一区二区三区最新精品| 丁香婷婷色九月| 久久久久丁香婷婷五月天| 教师性爱毛片| 五月天综合激情网| www.99精品视频| 五月天另类小说| 色欲AVV| 五月天色在线| 99资源人人| 激情五月丁香综合网站| 婷婷五月丁香五月基地| 天天做 天天爱| 国产乱妇乱子在线播视频播放网站| 五月丁香狠狠爱| 天天看A片| 在线另类视频| 日韩无码成人电影| 九月色婷婷综合| 国产欧美日韩综合精品一区二区| www一区二区三区| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 激情五月婷婷在线| 亚洲人成网站999综合| 色五月婷婷内射| 性爱网五月婷婷| 丁香婷婷色五月| Av在线资源| 激情丁香图片| 91日本在线观看| 色色色色五月| 五月开心婷婷| 九九干视频| 操碰99| 婷婷五月天最新综合你懂的| 激情五月婷婷老师| 中文成人在线| 五月色婷婷综合色| 精品视频网| 99热亚洲| 激情 五月 婷婷 丁香| 日本黄色三级片内射| 色久激情在线| 欧日韩成人| 26uuu成人网| 丁香婷婷丁香五月欧美人| 国产精品美女久久久久AV超清| 逼逼AV| 丁香情色五月| 国产午夜一区二区三区| 亚洲色A| 五月天久久网站| 武则天精品久久| 婷婷久久五月| 无码一级片| 日本系列_4页_777FP| 成人日韩欧美| 男人大jjc女人免费视频| 五月丁香六月情| 99热精品观看| 色和综合网| 色婷婷小说网| 五月丁香狠狠爱婷婷综合| 99日视频在线| 99精品偷自拍| 丁香激情网| 色五月色综合| 99色色爰| 天天se在线视频| 91九色精品熟女内射| 五月天婷婷激情春色小说| 五月婷婷六月丁香玖玖玫瑰91| 精品五月天| 开心综合激情综合| 欧亚洲在线高清视频| www。久久久久一b。Cc| 精品99在线| 九九色99| 婷婷五月在线免费| 99热高清在线| 五月色亭丁香| 狠狠CAO日日穞夜夜穞AV | 丁香五月狠狠综合欧美| 中文激情网| 久久综合五月天激情小说网站| 中文字幕在线日亚洲9| caopeng97日韩| 日韩欧美一道四区中文字幕| 婷婷在线中文字幕| AA片在线观看视频在线播放| 欧美操人| 99九九在线观看免费| m色激情网| 丁香六月婷婷综情欧美| 97日在线视频| 丁香五月婷婷亚洲激情四射| 色八戒操婷婷| 思思9久久| 超碰碰碰碰| 日本成人噜噜噜| 午夜青草资源| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 九九av在线| 超碰av在| www.99.色| 天天草天天爽| 婷婷五月天激情文学| 思思热99热| 五月开心婷婷| 深爱激情久久| 操啊操av| 天天操夜夜爱| 婷婷亚洲在线| 性爱动图国产麻豆一区二区三区| 九九综合久久| 91一起操| 开心婷婷中文字慕| 丁香婷婷精品视频| 亚洲精品色色| 亚洲综合激| 国产67194| 任你操精品免费| 日本熟女啪啪| 一起草AV入口| 99久久婷婷综合| 五月天激情色色| 激情深爱五月天| 激情影院丁香五月| 久操热| 99热这里只有精品在线观看| 六月色色| 99精品偷自拍| 日本婷婷激情四射中文字幕在线观看| 99丁香婷婷综合网| AV免费在线网站| 婷婷综合玖玖五月| 午夜成人在线免费视频| 67194成I人在线观看线路1| 色色色地址| 色婷婷88| 青草网在线观看| 久久这里精彩免费在线观看| 婷婷的激情五月| 91狠狠综合久久久久久| 五月天婷婷丁香视频| 天天操天天操| 欧美人妻一区二区| 思思99久久| 9久久久久| 少妇高潮一区二区三区99欧美| 99在线观看| 99热只有| 97人人操人人插| 色九综合| 91婷婷丁香五月天免费视频网站| 五月丁色AV| 激情五月六月婷婷综合啪啪| 五月丁香基地| 五月天操逼网| 婷婷97狠狠成人网站| 色狠狠色综合久久久绯色aⅴ影视| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月天久久色| 91亚洲天堂| 国产老熟妇亲子乱对白| 五月丁香综合激情在线观看| 日本成人噜噜| 99视频35精品视频在线观看| 五月开心网| 丁香8月手机综合| 色天使色综合| 激情伊人| 日操五月婷| www.狠狠艹| 丁香色综合| 成人电影一区| 激情熟女网| 丁香五月激情婷婷视频| 骚货艹网站视频| 精品99在线| 九热视频| sewuyuetingtingiii| 超碰人人干| 【乱子伦】黄色| www.com五月天| 人妻videos人妻高清| 热996精品在线观看| 久久激情五月| 久久婷婷五月天激情| 五月天精品| 五月丁香六月婷婷不卡免费无码| 丁香婷婷啪啪啪| 日韩少妇内射免费播放| 色狠狠色噜噜噜a天堂一区| 午夜色婷婷| 丁香五月色情| 久久久久久99精品无码| 婷婷久久六月费| 天堂久久婷婷| 五月刺激丁香月综合| 九九色之九九色88| 久久99免费视频| 亚洲男女激情| 99热超碰人| 99ri精品| 色五月大| 大香蕉久久伊人网| 五月丁香综合伦理片| 亚洲激情网| 26uuu欧美| 色婷婷色九月| 五月停停激情网| 婷婷五月天网| 91色久| 欧美婷婷五月丁香| 国产黄色在线| 国产色色网站网址| 亚洲AV成人在线| 久久182| 婷婷五月天亚洲色| 99在线免费视频| 97成人在线视频精品| 久热精品视频| 成人国产欧美大片一区| 小视频在线亚洲| 久久网日本| 久久丁香综合精品综合| 五月婷婷深爱六月| 99色视频| 在线五月色播| 色优久久| 97狠狠色| 天天搡日日搡aaaaⅩ| 五月婷九九草| 激情五月,婷婷五月,丁香五月| 中文字幕乱码亚洲精品一区| 色色色在线免费视频| 色综合久久88色综合天天99| 97综合色片| 看片视频在线免费日产在线看| 大香伊人久色| 婷婷狠狠五月综合| 超PEN精品在线| 翔田千里aV中文字幕| 99色视频| 久1色色| 丁香五月在线播放| 色婷婷成人丁香| 人妻啪啪啪| 成人AV在线电影| 色噜噜狠狠色综合成人网| 99视频在线啪| 五月天色综合| 五月丁香六月婷婷啪啪综合 | 欧美男女婷婷| 婷婷丁香五月婷婷| 婷婷五月天黄色网址| 五月天久久网站| 人人操操| 538任你爽| 伊人www22综合色| 9久精品视频| 爆乳熟妇一区二区三区爆乳照片| 在线播放成人网站| 色色色色热热| 国产真实乱了老女人视频| 激情网 五月天| 免费看欧美成人A片无码| 激情精品久久| 久久精品一区二区三区四区| 26uuu亚洲精品国产| 怡春院天天干| 97碰久久| 五月开心六月婷婷在线播放网站| 狠狠婷婷色综合| 五月激情网站| 丁香六月激情四射| 人妻久久久| 99热这里只有精品23| 九色在线五月婷婷网址| 99这里| 伊人网大香| 婷婷成人五月天成人文学| 天天爽天天日人人爱| 亚洲字幕AV一区二区三区四区| 五月婷婷无码专区| www.99精品视频| 天天插天天射| 成人超碰Av| 五月丁香综合中文| 久久丁香五月婷婷| 久久五月综合| 丁香五月亚洲AV| 9精品久久999| 日韩人妻在线观看| 五月丁香婷婷伊人| 九九热大香蕉| 成人在线观看精品| 婷婷五月丁香六月| 99热九九在线| 久久久久久激情| 五月激情综合网| 亚洲热热视频| 免费99情趣网视频| 五月婷婷六月丁香玖玖玫瑰91| 天天干天天日天天操| w婷婷五月婷婷w| 在线超碰91| 婷婷五月婷婷| 狠狠干在线| 婷婷免费精品视频| 狠狠草网| 精品一二三区久久AAA片| 婷婷五月天激情五月天深爱五月天| 成人午夜免费电影| 国产在线aaa片一区二区99| 久久这里只有精品热在99| 激情网站五月| 九月色婷婷婷| 亚洲精品久久久无码| 婷婷五月激情丁香| 99这里只有精品在线| 在线观看av网站| 国产精品久久久久9999小说| 另类在线| 青青草成人网| 99色热视频| 伊人狠狠丁香婷婷综合尤物| 丁香五月激情综合久久| 激情色播| 久久九九网| 色婷婷狠狠干芒果TV| 亚洲一个色| 国产亚洲99久久精品熟女| 91精品丝袜久久久久久| 99re热在线观看| 99亚洲色| 五月丁香久久久日婷婷久久婷婷日| 色婷婷五月影院| 影音先锋美国A| 婷婷五月色| 久久婷婷国产| 另类小说色婷婷| 色久五月| 成人小说 五月天 婷婷| 亚洲成人免费电影| 色婷婷88| 亚洲av成人电影在线观看| 亚洲精品又粗又大又爽A片| 99综合在线| 日本爆乳片手机在线播放| 久久婷婷操| 成人精品一区二区三区四区五区 | 91久久日日| 天天干天天插| 婷婷久久综合| 国产精品美女| 99热在线精品观看| 激情综合区| 射区导航| 女人被男人吃奶到高潮| 停停五月色宗合| 丁香六月激情国产| 五月丁香六月婷婷综合网站| 99热精地址| 婷婷综合五月天激情| 亚洲欧洲另类| 激情欧美婷婷| site:pzdcoin.com| 婷婷五月天无码熟女| 丁香五月婷婷无码AV| 99色热| 91ncom.色| AV网站免费在线| 六月丁香色色色| 亚洲AV第二区国产精品| 九九热av| 五月天婷婷午夜丁香| 亚洲精品色色| 婷婷丁香午夜综合影视| 夜夜噜夜夜奇| 五月综合激情视频| 欧美日韩aaaa| 婷婷色在线视频| 色老久久| 亚洲另类在线观看| 26uuu欧美| 丰满人妻一区二区三区| 99免费超碰在线| 久九男女天堂| 丁香五月婷婷综合91| 人人妻人人澡人人爽| 婷婷丁香五月激情密臀av| 我去色色网五雨天| 久久综合中文| 人妻系列久久久久久久久久久| 激情五月天综合图片小说网站| 激情丁香五月婷| 久99久热只有精品国产99| 99青青草| 日本爆乳片手机在线播放| www.婷婷六月天| 婷婷中文字幕| 激情内射人妻1区2区3区| 亚洲宗合激情| 激情宗合 激情宗合| 99久在线视频| 婷婷开心青青草| 99re热免费观看视频精品| 五月婷婷五月天在线| 色婷婷五月综合在线| 久久精品五月天| 五月综合色| 婷婷五月丁香性爱| 九九九九毛片| 亚洲综合婷婷五月| 色情五月天丁香社区| 激情99| 99视频在线看| 丁香五月精品视频| 99re热免费观看视频精品| 91九色中文字幕女在线观看| 夜夜爽77777妓女免费下载| 97在线日韩| 日日噜狠狠| 婷婷五月天a| www,色婷婷| 五月综合色| 精品九九网| 五月六月婷婷激情网| 婷婷娱乐丁香综合网| 激情五月天网站| 黑人糟蹋人妻HD中文字幕| 9久热在线精品| 色婷婷六月性| 婷婷六月综合激情| 午夜69成人做爰视频| 五月天色色色色色| 99成人精品| 在线观看亚洲视频影院| 亚洲偷| 色色激情网| 97色婷婷五月天| 啪啪91| 墨西哥毛片内射精| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 五月激情四射网站| 国产亚洲99| 久久人妻乱| 精品一区二区三区免费毛片爱 | 日日爽夜夜爽| 无码人妻电影| 亚洲色视频| 99热这里有精品| 成人中文字幕在线| 激情五月天开心总和网| 熟妇人妻中文字幕无码老熟妇 | 亚洲热视频| 亚洲乱码日产精品BD| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 天天免费成年人视频| 在线观看免费狠狠色丁香香综合| 爱iii做iiii日| 欧美va精品va老师va| 婷婷色六月| 色狠狠色综合久久久绯色aⅴ影视| 97视频久久| 五月婷婷激情五月| WWW.HENHENL.| 久久人妻系列| 五月婷婷综合激情小说| 狠狠色狠狠干| 日韩啊啊啊| 日本一级| 91丨九色丨熟女丰满| 久久久潮喷-久久久九九-成人AV| 五月天婷婷久色| 久久丁香五月天| 九九无码| 五月丁香花激情啪啪网| www.五月天社区| 国产人妻777人伦精品HD| 狠狠爱激情网| 五月婷婷色播| 九色七七| 九热免费视频| 99ri精品在线| 五月婷婷丁香啪啪| 91性人人| 六月综合婷婷开心伊人| av网站免费在线| 婷婷激情5月| 99爱在线视频| 丁香婷婷五月人体| 丁香五月天BBw| 亚洲欧美在线观看| 久久视频九九视频| 超碰69天堂| 日本熟女内射| 色99超碰| 99爽视频| 99ri在线| 六月婷婷五月丁香| 26uuu四色| 九九成人视频| 另类激情五月| 激情婷婷丁香五月| 色婷婷综合网站| 超碰熟女农村在线69| 天天xxxxxx天天日| 精品动漫 无码av| 五月天婷婷久久视频| 大香婷婷| 九色婷婷| 色色成人網| 亚洲精品无人区| 婷婷深爱五月丁香网| 99热免费精品| 亚洲精99| www。五月,com| 亚洲激情婷婷| 色欲丁香| 中文字幕无码人妻少妇免费视频 | 五月天婷婷激情四射综合| 开心婷婷五月| 日韩成人综合网| 久久香蕉网| 五月丁香基地| 久久99久久99精品免观看粉| 天天干天天插| 激情5月天天天| 中文字幕亚洲-区久久99婷婷| 婷婷丁香五月综合网上| 五月丁香毛片| 五月天婷婷丁香| 五六月丁香激情视频| 婷婷五月综合网激情| 亚洲综合视频网| 婷婷AV丁香| 夫妻超碰在线| 夜夜操夜夜操| 狠狠操狠狠干综合| 丁香五月首页| WW婷婷五月天com| 亚洲sesesese| 涩丁香| 丁香五月成人| 亚洲第一色网站| 9色小视频在线观看| 亚洲综合网 665566| 思思久久99热| 久久综合最新网址| 爱射综合| 思思久久99热只有频精品66| 九九AV在线| 亚洲亚洲人成综合网络| 成功精品影院| 丁香六月婷婷综合网| 婷婷丁香社区| 男男野外做爰全过程69| 婷婷久久五月天丁香| 亚洲中文乱字字幕线在永久| 99精品成人无码A片观看金桔| 天天天干夜夜夜操| 日本色噜| 先锋资源婷婷| 91无码色色| 99re思思久久| 色偷偷综合| WWW五月天| 区美毛片子| 丁香六月成人| 欧美婷婷| 婷婷五月天天aV| 伊人影音无码一区二区三区| 色99www.| 极品精品一区二区三区在线| 欧美大香蕉视频| 亚洲色色色色| 激情五月黄色小说| AV无码免费| 久久女伦| 五月天婷婷综合网| 丁香色啪综合| 97福利视频| 日亚二欧美| 97操碰98| 91狠狠综合久久久久久| 婷婷五月天香蕉| 五月丁香999| 色色综合网站| 激情亚洲婷婷| 九九色黄色| 字幕网AV中文字幕| 超碰99在线观看| 黄网免费看| 婷婷情爱五月天6| 99re这里只有精品在线观看| 色日本丁香婷婷| 淫视馆aV二区一区| 五月婷六月| 色五月婷婷伊人| 色九月综合| 久久5 9视频免费观看| 欧美性爱五月天| 成人短视频在线观看| 91丨九色丨熟女|老版| 色欲五月婷婷| 五月丁香九九九综合| 亚洲欧洲色色| 影音先锋女人av鲁色资源网小说免费| 色综合九九| 9有码中文| 九九色色网| 丁香五月六月综合激情| 天天综合五月天| 久九九热| 午夜日日| se99热久久一本| 九色PORNY在线精品酒店| 丁香五月天亚洲综合| AV成人在线网站| 高清无码网址| 天天色情站| 国产毛片精品一区二区色欲黄A片| 夜夜做夜夜愛| 婷婷综合六月| 婷婷丁香五月亚洲| 五月天激情婷婷| 开心激情婷婷| 婷婷射丁香| 九九色色网| 大香蕉精品视频| 97在线精品| 狠狠插狠狠操| 久久综合五月天| 国自产拍偷拍精品啪啪一区二区| 国产美女无遮挡裸体毛片A片| 婷婷成人基地| 99热 日韩| 亚洲图色五月天| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 乱轮A片| 日韩在线五月天婷婷| 欧州色色| 99操免费视频| 狠狠色综合网站久久久久| 久久天天| 男人操女人高潮91视频| www.婷婷久久五月天| 97超级碰碰碰| 色五月综合| 色综合xx| 色五月丁香六月婷婷| 色老久久| 丁香九月婷婷色| 丁香色婷婷| 色婷婷综合久久久久| 亚洲午夜av| 91人人爱| 五月天婷婷色色网| 久去色色| 婷婷五月天资源| 开心五月婷婷婷美女| 五月婷婷啪啪啪| 六月婷婷激情| 五月婷久草| 五月婷婷熟女| 欧美丁香六月在线观看视频| 五月深爱激情网| 黄色五月婷婷| 欧美叉叉叉BBB网站| 91av视频| 久99| 中文字幕性爱丰满| 激情床戏| 91丁香综合| 9有码中文| 色色影院aaaav| 99久久极情精品一区| 九九色色| www,黄色在线,con| 9月色婷婷| 好吊丝aV| 伊人www22综合色| 国产黄大片在线观看画质优化| 婷婷第一页| 色色色在线免费视频| 欧美激情凹凸丁香网| 婷婷五月香蕉| 成人无码髙潮喷水A片| 超碰97色| 丁香久色| 爆乳熟妇一区二区三区爆乳| 欧美色一级色| 色婷五月天| 婷婷丁香成人五月天| 欧美精品熟女一区二区| 国产精品久久..4399| 97色 五月天丁香| 色综合久| 丁香婷婷六月男男| 无码激情AAAAA片-区区| 综激情网| 婷婷99狠狠躁| 色色色综合| 97婷婷在线| 色五月天激情| www.狠狠操| www.黄色片-久久成人国产精品在线播放-999AV | 樱花99视频| 五月丁香婷婷色色色| www九九免费视频| 熟女色专区| 色五月激情综合| 东京热人妻一区二区三区在线| 这里只有精彩小视频视频网站| 激情五月影院| 2050人人操免费工开爱| 狠狠久久婷五月| 丁香婷婷色五月天| 午夜少妇在线观看视频| 91精品国产91久久久久青草| 五月婷婷六月丁香在线| 丁香五月停停av| 激情5月婷婷狠狠干| 激情四射五月天| 成人网站av免费网站推荐| 啪到高潮激情丁香五月| 亚洲精品一区无码A片| 久久97| 久久草中文日韩欧美| 99热第一页| 激情综合网亚洲色图| 久久激情网| 婷婷五月天成人| 日韩黄色电影| 97性高潮久久久| 色五月婷婷天天操夜夜操| 亚洲精品又粗又大又爽A片| ..真实国产乱子伦毛片 | 99热这里只有精品官网| 丰满少妇乱A片无码| 蜜臀av无码久久久久久久久| 熟女激情五月天| 色六月婷婷| 五月婷婷深深爱| 亚洲色婷婷五月天| 思思热99热| 久久99激情五月天| 人人操人人爱丁香五月| 婷婷在线中文字幕| 五月综合激情综合久| 青青草大香| 激情五月天婷婷视频| 嫩草极品| www,婷婷五月天,com| 182.t午在线观看| 久久 视频这里只有精总| 亚洲综合色成丁香五月色| 99视频在线观看欧| 成人超碰网| 色五月综合婷婷| 99爱在线| 亚洲激情五月天| 99精品丰满| 五月天婷婷在线播放| 中文字幕在线不卡视频| 丁香六月婷| 五月婷精品| 人人爱国产| 99久久99热| 九九色逼| 五月天色网站| www.cao.com久久| 这里只有精品在线观看视频| 九九色大香蕉| 亚洲色啪| 玖玖资源部在线播放| 日韩一区二区A片免费观看| 亚洲精色| 五月婷婷,狠狠操| 久久99久久久久久| 丁香婷婷大香蕉| 免费黄色片子| 五月天婷婷永久免费视频| 亚洲精品九九| 五月婷婷丁香五月 | 激情伊人五月婷婷久久| 丁香五月-激情综合| 啪到高潮激情丁香五月| 激情五月色综合网| 另类激情五月| 深爱婷婷基地| 色五月婷婷网| 开心五月网 | 啪啪五月婷婷| 97超碰在线免费观看| 99热这里是精品| 久9热| 波多婷婷久久| 六月丁香av| 思思热久久爱| 亚洲亚洲人成综合网络| 日韩大片艹艹| 69午夜成人影片| 91丨九色丨熟女| 99精品丰满| www色婷婷久久综合久色| 激情五婷网| 婷婷射丁香| 欧美色色色色色色色色| 思思热思在线精品视频| 97干综合网| 婷久久综合| 丁香婷婷六月天| 亚洲超碰在线| 激情图片亚洲| 五月丁香综合啪啪| WWW.17C亚洲精品| 97人人操人人爽| 九九婷婷热| 广东99色在线| 亚洲区视频| A1片久久| 99热视精品| 天天操夜夜操| 99亚洲天堂| 色丁香婷婷美女视频网站| 这里只有精品9| 99久久婷婷国产综合| 久99久视频免费观看| 成人丁香五月| 日韩欧美成人一区二区三区| 一夜福利不卡| 综合大香蕉| 9久久久久久久久久久| 五月天色婷婷综合| 色拍九九九| 五月天婷婷丁香六月| 国产亚洲精品久久久久久郑州| 色婷五月| 另类图片天天影视在线观看| 一二区成人电影| 久久这里都是精品| 大香蕉视频婷婷| 新精品99| 热99.com婷婷| 深爱开心激情网| 色综合99| 九九视频这里只有精品在线播放| 99精色| 亚洲另类电影| 99热精品在线播放| 中文字幕在线播放视频| 婷婷五月大香蕉| 婷婷五月天首页激情| www.五月天激情| 97超级碰碰碰久久久| 婷婷五月天AV激情| 青柠影视免费高清电视剧| 综合亚洲五月天| 欧美肉大捧一进一出免费视频| 超黄亚洲瑟瑟网站| 在线理论片| 婷婷五月天手机版视频| 玖玖九九9999在线观看视频精品| 五月天综合图片| 五月色丁香婷婷综合| 婷婷色五月色| 伊人9草在线观看| 久久精品系列| 亚洲狠狠婷婷| 五月天成人综合| www.色婷婷| 色色色综合色| VA国产在线综合网站| 中文字幕无码AV| 亚洲激情精品| 天堂资源欧日浪女在线播放| 91丨九色丨东北熟女| 伊人大香五月天| 九九久久9 9在线观看| 色婷婷狠狠色| 婷婷色基地在线看 | 一级韩国产精品毛| 婷婷的色色五月天| 夜夜操夜夜爽| 操人妻AV| 五月丁香婷婷综合| 乱女乱妇熟女熟妇综合网站| 人妻无码视频网| 天天狠天天叉| 日本色色图| 丰满人妻妇伦又伦精品国产| 亚洲成人人人操| 六月丁香啪| 91美女被操| 丁香五月婷婷成人综合| 偷拍九九热| 丁香婷婷五月六月久久| wwwss在线观看| 国自产拍偷拍精品啪啪一区二区| 天天干,天天日| 99在线观看亚洲| 激情婷婷五月在线合集| 思思re99视频在线观看| 69激情小说| 色五月天丁香婷婷| 婷婷婷婷婷婷婷婷婷婷丁香| 97热在线精品| 很操日本7| 97色热| 伊久大香蕉| 五月婷婷成人| 精品久色| 免费操超碰| 五月激情天| 丁香婷婷婷五月| 亚洲网站在线鸭子av| 久热久re| 啪啪啪综合网| 久久hd| 五月天五月婷五月激情网| 久久久久久久97| 久久电影五月天丁香电影| 色五月综合| 国产精品成人av在线观看春天| 精品久久99码| 九九综合影音先锋| 色色色热热热| 99激情| 五月天婷婷六月激情网| 久久丁香九| 精品人妻午夜一区二区三区四区| 五月天网站免费欧美| 极品 少妇 内射| 久热伊人| 青青日韩| 久久婷婷免费| 五月丁香激情综合| 五月婷婷丁香啪啪| 99热成人在线| 色婷婷成人影片| 中文字幕在线免费观看视频| 欧美性交一区二区三区| 国产黄大片在线观看画质优化| 亚洲综合五月天婷婷丁香| 五月激情婷婷六月| 都市激情蜜桃婷婷五月天 | 天天天天天天天操| 天天看片日日夜夜| 激情五月深爱五月| 色婷婷97| 蜜臀av粉嫩av懂色av| 99热全是精品| 婷婷五月综合网激情| 成人精品一区日本无码网 | 中文婷婷狠狠| 大香蕉视频婷婷| www.97视频| 伊人五月天| 丁香六月综合激情| 国产激情视频在线观看| 日本九九网| 激情婷婷六月天| 五月丁香婷婷激情视频| 五月丁香 啪啪啪| 色国产五月| 思思热99er在线视频| 九九国产精视频| 丁香六月激情综合| 婷婷激情人妻| 精品99在线观看| 婷婷丁香91| 91操在线视频| 玖色色综合| 久久婷婷国产| 久久婷婷五月天激情四射| 99国产在线| 丁香五月天社区| 99热这里只有精品9| 另类激情首页| 丁香五月另类色婷婷麻豆| 91日日日| av网址在线| 开心激情婷婷| 粉嫩AV久久一区二区三区| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 深爱五月天| www.99热在线| 色色性爱视频| 99这里有精品视频| 精品一区二区三区四区五区六区| 国产精产国品一二三在观看| 亚洲亚洲人成综合网络| 一本色综合色| 在线播放成人| 神马欧美精| 99久久综合网| 亚色网站小视频| 九九视频这里只有精彩| 99热久| 丁香五月中文字幕| 北京熟妇搡BBBB搡BBBB| 少妇大叫太大太粗太爽了A片| 成人无码精品1区2区3区免费看| 开心五月婷婷伊人| 亚洲黄3级片网站欧美| 婷婷午夜精品久久久| 欧洲激情网站| 丁香成人综合| 五月情色天| 大香蕉久久久久| 97人人草| 亚洲最大成人综合网720P| 色婷婷四虎| 天天日天天舔天天摸| 一区二区三区四区五区| 99热这里只有精品 搜| 久久久久久激情| 亚洲精品久久久久AV无码| 拍真实国产伦偷精品| 99热99日天天干| 亚洲综合无码| 五月婷婷综合网在线播放| 99在线亚洲| 久久伦乱| 亚洲妇女熟BBW| 国产44页| 午夜丁香六月婷| AV性爱在线| 依人大香蕉| 色色色色色日韩午夜激情 | 亚洲激情.com| 99热这里只有精品8| 亚洲AV成人在线观看| 色婷婷五月天无码视频| 色五月婷色彩免播放器| 色婷婷九月| 91日本在线观看| 秋霞av吧| 人人爽人人射-美女久久久久久久久久-成人AV | 天天肏高清在线| 亚洲精品无人区| 婷婷五月综激情| 亚洲精品性色| 久久久久婷婷| 成人无码髙潮喷水A片| 婷婷五月激情的图片| 99亚洲色| 色婷婷导航| 色五月婷婷自拍| 第一区久久网站| 亚洲色久| 99爱操| 热九九在线| 亚洲99综合| 综合九九日本| 伊人成人宗合网| 久热九九| 五月婷婷激情啪啪| 干亚洲天堂| 激情综合色图| 午夜激情久久| 久久久婷丁香五月| 色综合激情| 7777精品伊人久久久大香线蕉最新版| 丁香五月婷婷天| 99热免费| www色色com| www.婷婷亚洲基地| 97偷拍在线视频| 思思热精品在线观看| 国产欧美熟妇另类久久久| 五月丁欧美| 国产67194| 99在线观看视频| 久久久天天啊| 最近中文字幕在线中文视频| 99惹在线精品免费观看| 五月天网站免费欧美| 色综合久久8| 久久久久人妻中文| 国产一级黄色影片,| 色五月丁香激情| 99视频| 丁香五月大片| 狠狠穞A片一區二區三區| 久久香蕉福利| 五月天天天天天天天天天天天婷婷婷| 在线91日韩| 日狠狠| 日韩黄色AV无码| 久久丁香五月天| WWW99热|