99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn)

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn) 做網絡這一行“Ethernet幀完整性校驗”這串詞平時未必天天掛在嘴邊但真遇到網絡上莫名其妙的丟包、誤碼、延遲抖動繞來繞去最后總會撞到它身上。我第一次對它產生強烈印象是在一次聯(lián)調現(xiàn)場客戶反映兩套系統(tǒng)之間偶發(fā)通訊卡頓接口統(tǒng)計面板里某個計數(shù)在緩慢上漲業(yè)務卻感知不到太多異常。查了好幾天換線、換模塊、重啟設備都試過最后才有人點了一句“你怎么不去看看FCS錯誤率”。也正是從那一次開始我把幀完整性校驗的原理、計算方式、排查套路徹底過了一遍后面再遇到類似問題基本都能在半小時內找到方向。這篇文章里的內容我會從原理講到實操包括CRC-32到底怎么算、為什么抓包工具看不見幀尾的FCS、FCS異常增長時該怎么由表及里定位故障最后再總結一些我用過、踩過、后來養(yǎng)成的排查習慣。適合剛接觸網絡協(xié)議分析的開發(fā)者也適合在網絡一線做過一段時間、想系統(tǒng)梳理一下這類知識的朋友。1. 一次聯(lián)調里的意外發(fā)現(xiàn)抓包看不見幀尾FCS1.1 現(xiàn)場現(xiàn)象與第一反應那次聯(lián)調的環(huán)境并不復雜兩臺服務器通過交換機互通中間走了一段雙絞線再看一眼光模塊轉接。業(yè)務流量本身不大但每天總有那么幾個時段出現(xiàn)重傳。起初我沒太在意因為應用層有重試機制偶發(fā)重傳也正常。真正引起警覺的是某臺交換機端口統(tǒng)計里兩個字段在緩慢增長一個和CRC錯誤相關另一個和入方向丟棄相關。雖然增長幅度不大對業(yè)務暫時沒有明顯影響但這類計數(shù)一旦出現(xiàn)說明鏈路里一定在做“無用功”。我第一反應是懷疑線纜和光模塊。按照常規(guī)做法先換了一根跳線又把兩端的收發(fā)模塊重新插拔看是否能匹配成功。結果并不理想CRC錯誤計數(shù)并沒有停。后來又試著把兩條鏈路的速率協(xié)商狀態(tài)改為固定模式同樣沒有明顯改善。這時候我才意識到一個問題我一直在“猜”是物理鏈路的問題但我根本沒有真正搞清楚這個錯誤計數(shù)到底是在什么時候產生的。換句話說我該先弄懂“FCS”是什么它校驗的是什么才能知道該懷疑誰。1.2 以太網幀結構里FCS到底在哪里IEEE 802.3標準定義的基礎以太網幀結構從發(fā)送端的角度來看大致是這樣一個順序前導碼7字節(jié) 幀起始定界符SFD1字節(jié) 目的MAC地址6字節(jié) 源MAC地址6字節(jié) 長度/類型字段2字節(jié) 載荷46到1500字節(jié) 幀校驗序列FCS4字節(jié)前導碼和SFD是物理層同步用的接收端把它們識別出來之后就知道“幀數(shù)據(jù)從這兒開始了”。目的MAC、源MAC、長度/類型字段和載荷是真正被協(xié)議棧解析的內容。而FCS這4個字節(jié)就是我今天要重點聊的“Ethernet幀完整性校驗”機制的核心。FCS的校驗范圍是從目的MAC地址開始一直覆蓋到載荷結束不包含前導碼、SFD也不包含F(xiàn)CS本身。發(fā)送端對這一段數(shù)據(jù)算出一個32位的結果并按固定字節(jié)序填到幀尾。接收端收到整個幀之后用同樣的算法對同樣的范圍重新計算一次再把計算結果和收到的FCS做比較。如果一致就認為這一跳傳輸過程中數(shù)據(jù)沒有發(fā)生比特級的變化如果不一致接收端會把這個幀直接丟棄。有一點值得注意如果幀里帶了VLAN標簽802.1QFCS的校驗范圍會從目的MAC一直算到VLAN Tag和載荷結束這部分額外字段同樣受保護。無論是私有VLAN還是其他擴展標簽只要在幀頭里作為數(shù)據(jù)結構存在、接著載荷發(fā)送它們都會被納入CRC計算范圍。實踐中我見過不少人在用抓包工具查看帶VLAN幀時下意識只盯著源目MAC和IP完全沒意識到FCS覆蓋范圍已經發(fā)生了變化。1.3 為什么抓包工具“看不見”FCS很多第一次接觸抓包的朋友都會問同一個問題我抓出來的幀里明明能看到MAC頭能看到IP頭為什么找不到文檔里說的那4字節(jié)FCS答案和抓包工具的采集位置有關。抓包工具讀取的是主機協(xié)議棧里某個“鉤子”位置這個位置通常位于網卡驅動把報文上拋給系統(tǒng)網絡棧之后。而絕大多數(shù)網卡在硬件收幀時會先做一遍CRC校驗校驗不過的幀直接丟棄不往上拋校驗通過的幀再把尾部的4字節(jié)FCS剝離掉只把有效載荷部分交給驅動。所以應用層抓包工具拿到的幀天然就少了尾部這4個字節(jié)。這就帶來一個很重要的實操認知用抓包工具抓到的幀“看起來都是好的”并不能證明鏈路就是干凈的。因為真正帶FCS錯誤的幀在網卡硬件這一層就已經被處理掉了。你如果想驗證“這一跳有沒有出錯”不能只看抓包文件里的幀內容而是要看網卡驅動或者對端交換機的底層計數(shù)統(tǒng)計比如常見的rx_crc_errors、rx_fcs_errors這類字段。在不少網卡驅動里FCS錯誤是單獨計數(shù)的也有驅動把它并入CRC錯誤一類這取決于具體實現(xiàn)但整體思路一致它是物理層和MAC層之間的事件普通抓包工具默認是看不見的。當然也有例外。部分網卡驅動支持關閉CRC剝離功能或者抓包工具配置為“保留壞幀”模式這時你可能會在抓包里看到尾部帶FCS的完整幀甚至看到CRC校驗失敗的幀。但這種模式不是默認行為而且開啟之后抓包工具本身也容易把壞幀當作正常幀顯示反而誤導判斷。所以我個人并不建議在日常分析中開這種模式除非你明確知道自己想要抓壞幀做實驗。2. CRC-32幀完整性校驗的數(shù)學底子2.1 為什么以太網選擇CRC而不是簡單校驗和如果只是想讓接收端確認數(shù)據(jù)沒被改過最直覺的做法是“把所有字節(jié)加起來存一個和”。IP協(xié)議頭部的校驗和就是這么干的。但以太網這種鏈路層技術面對的是實實在在的物理信道電磁干擾、線纜衰減、連接器氧化、信號反射都會造成比特錯誤而且這些錯誤往往不是孤立的單個比特翻轉而是連續(xù)的突發(fā)錯誤。簡單求和這種方式對突發(fā)錯誤的識別能力很差。CRC循環(huán)冗余校驗的核心思想是把數(shù)據(jù)看成一個龐大的二進制數(shù)用這個數(shù)去除以一個固定的“生成多項式”得到的余數(shù)就是校驗值。接收端拿到數(shù)據(jù)和校驗值之后再做一次同樣的除法如果余數(shù)不為零就說明數(shù)據(jù)在這條鏈路上發(fā)生了改動。這個“除法求余”的過程聽起來復雜但在硬件上用移位寄存器實現(xiàn)非常順而且可以通過查表法提升速度這就是它在通信領域被廣泛采用的原因。IEEE 802.3選擇的CRC-32并不是隨便挑了個多項式。它背后對應了突發(fā)錯誤檢測能力的數(shù)學保證可以檢測出所有長度不超過32比特的突發(fā)錯誤可以檢測所有奇數(shù)個比特錯誤并且在數(shù)據(jù)長度足夠短的情況下雙比特錯誤的漏檢率也極低。對于一條物理鏈路上常見的噪聲擾動來說這套保證已經非常夠用。所以別看FCS只有4字節(jié)它在鏈路層協(xié)議里承擔的角色比很多剛入門的人想象中重要得多。2.2 IEEE 802.3 CRC-32的參數(shù)細節(jié)很多朋友試過自己實現(xiàn)CRC-32卻發(fā)現(xiàn)自己算出來的值和抓包工具或設備上的FCS對不上。真不是你代碼寫錯了而是CRC存在多種“變體”IEEE 802.3使用的CRC-32有自己特定的參數(shù)組合。我整理成一張速查表參數(shù)項IEEE 802.3 CRC-32取值生成多項式普通寫法0x04C11DB7生成多項式反射寫法0xEDB88320初始值0xFFFFFFFF輸入數(shù)據(jù)是否反射處理是輸出結果是否反射處理是最終異或值0xFFFFFFFF這里面的“反射”指的是對參與計算的每個字節(jié)先做位序反轉或者對整段數(shù)據(jù)處理時按位反序操作。用業(yè)界常見的話說802.3的CRC-32是“反射輸入、反射輸出、初值全1、結果異或全1”。如果你的CRC計算工具或者算法實現(xiàn)沒有配齊這套參數(shù)算出來的結果自然和真實FCS對不上。新手最容易栽的坑有三個一是多項式寫法搞混普通寫法和反射寫法之間的二進制位序正好相反二是忘記處理初始值不置為全1的話算出的結果只在空數(shù)據(jù)時恰好一致一旦有實際數(shù)據(jù)就會出現(xiàn)偏差三是漏掉最終異或導致差一個固定掩碼。還有一點FCS在網絡上的字節(jié)序也要注意常見網卡把CRC結果按小端序填到幀尾如果你按大端讀出來再比較一樣會不匹配。2.3 用生活化的例子理解“多項式除法”我知道“除以多項式”這個概念對非數(shù)學背景的讀者容易勸退。換個說法可以理解為你有一串特別長的數(shù)字然后有一個固定的“模子”發(fā)送端拿著這串數(shù)字去除以模子得到的余數(shù)就是蓋章。接收端收到數(shù)據(jù)之后也拿著同一個模子去除如果余數(shù)和發(fā)過來的章對不上說明數(shù)字在運輸途中被改過。為什么它能檢測出“改了哪個位”因為模子本身有精心設計的數(shù)學性質。任意一個比特錯誤等價于原數(shù)據(jù)加上了某個“誤差向量”。如果這個誤差向量恰好不是模子的倍數(shù)除法余數(shù)就會改變就會被識別出來。CRC能保證一定長度范圍內的所有突發(fā)錯誤都會被識別正是因為這個模子的數(shù)學設計讓這些誤差向量都不會“正好整除”。實際做鏈路分析時我不需要去手推多項式除法但理解這一層之后你會明白一個關鍵道理CRC不是加密不是哈希它不承諾防偽只承諾“傳輸過程有沒有擾動”。它也不會告訴你錯誤發(fā)生在哪個比特只會告訴你“這一幀壞掉了”。這一點在后面的故障排查里非常重要——FCS異常說明問題出在這條鏈路的某個環(huán)節(jié)但具體是哪一段還需要進一步定位。3. 手寫一個幀完整性校驗工具3.1 構造最小以太網幀并計算FCS要說對Ethernet幀完整性校驗的理解光看書肯定不夠。我當時為了讓自己徹底搞明白FCS的計算過程寫了一個很小的腳本去“造幀”自己拼一個最小以太網幀算出CRC-32再模擬接收方校驗一遍。整個過程不到幾十行代碼但對理解校驗邏輯非常有幫助。思路很簡單拼一個目的MAC是全FF廣播地址、源MAC是某個本地地址的幀EtherType字段填入0x0800載荷就放46個字節(jié)的測試數(shù)據(jù)。算一下FCSimport zlib import struct def build_frame(dst_mac, src_mac, ethertype, payload): frame dst_mac src_mac ethertype payload crc_val zlib.crc32(frame) 0xffffffff fcs struct.pack(I, crc_val) return frame fcs def verify_frame(frame): fcs frame[-4:] body frame[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) return fcs expected dst bytes.fromhex(ffffffffffff) src bytes.fromhex(001122334455) etype b\x08\x00 payload bytes(range(46)) full_frame build_frame(dst, src, etype, payload) print(frame length:, len(full_frame)) print(fcs bytes:, full_frame[-4:].hex()) print(verify result:, verify_frame(full_frame)) # 模擬傳輸過程中一個比特被翻轉 bad_frame bytearray(full_frame) bad_frame[20] ^ 0x01 print(verify result with flip:, verify_frame(bytes(bad_frame)))這里用到了Python內置的zlib.crc32它的底層實現(xiàn)恰好就是IEEE 802.3這套CRC-32參數(shù)多項式反射寫法是0xEDB88320初始值是全1輸入輸出都帶反射最后再做異或。所以不用自己寫查表邏輯。代碼里定義了兩個函數(shù)build_frame負責構造完整幀verify_frame負責把幀尾4字節(jié)當成FCS重新計算并比較。運行之后你會看到正常幀校驗返回True而把第20個字節(jié)翻轉一位后校驗立刻返回False。這個“翻轉一位就翻車”的效果正是CRC-32在鏈路層的務實價值它不保證你不被攻擊但能保證你不會把壞數(shù)據(jù)當成好數(shù)據(jù)繼續(xù)往上拋。3.2 離線驗證真實抓包數(shù)據(jù)自己造完幀之后我接下來做的一件事是拿一批真實的抓包文件做離線校驗。想直接從抓包文件里驗證FCS首先要面臨一個現(xiàn)實問題多數(shù)抓包文件保存的幀里根本沒有FCS字節(jié)。如果抓包時啟用了“完整幀保存”或者某些設備明確保留了幀尾FCS那么離線文件里的每一幀會包含完整4字節(jié)。需要逐幀解析pcap記錄pcap全局頭通常是24字節(jié)之后每一條記錄頭16字節(jié)記錄頭里的incl_len告訴你這條記錄實際捕獲了多少字節(jié)orig_len則告訴你網絡上的原始長度。如果incl_len比正常最小幀頭加最小載荷還要多出4字節(jié)或者和你已知的載荷長度對不上就值得去讀取最后4字節(jié)做校驗。import struct import zlib def parse_and_verify_pcap(file_path): with open(file_path, rb) as f: global_header f.read(24) while True: rec_header f.read(16) if len(rec_header) 16: break ts_sec, ts_usec, incl_len, orig_len struct.unpack(IIII, rec_header) packet_data f.read(incl_len) if incl_len 64 and orig_len 64: fcs packet_data[-4:] body packet_data[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) if fcs ! expected: print(ftimestamp {ts_sec}.{ts_usec:06d}: FCS mismatch)這段代碼只是示意不同鏈路類型比如帶VLAN Tag、帶元數(shù)據(jù)封裝會有差異但整體結構差不多。我實際跑批處理時發(fā)現(xiàn)一部分抓包確實能驗證通過另一部分文件里的幀尾4字節(jié)并不是有效FCS而是某些網卡驅動填充的占位數(shù)據(jù)這時候直接按FCS校驗就會出現(xiàn)大量“誤報”。所以離線校驗前最好先確認抓包工具到底有沒有存儲FCS別對著一堆占位數(shù)據(jù)空跑。3.3 單跳校驗通過之后的事從FCS角度看每經過一條鏈路、一臺交換機幀都會被重新計算一次FCS。也就是說端到端抓包時你看到的FCS已經是被中間設備“重新蓋過章”的版本而不是最初發(fā)送端蓋的章。這是理解幀校驗和上層校驗關系的關鍵。交換機從入端口收到一幀先校驗FCS通過之后再查轉發(fā)表修改某些字段比如TTL或MAC等涉及三層轉發(fā)的場景再重新計算一個新的FCS發(fā)出去。這個過程保證了“每一跳”的可靠性但每一跳都獨立完成上下游之間沒有狀態(tài)關聯(lián)。所以只靠鏈路層FCS沒辦法保證端到端的數(shù)據(jù)完整性應用層數(shù)據(jù)跨越多個網絡節(jié)點中間只要有一個節(jié)點軟件內部出問題就可能改掉數(shù)據(jù)后重新計算一個合法的FCS。這也是為什么TCP層還要有自己的校驗和到了更高層有些協(xié)議還會再做一次完整性摘要。鏈路層FCS是一道重要的防線但它只是縱深防御體系里的一道而不是唯一一道。實際排查問題的時候不要把“FCS校驗過了”當作“整條鏈路沒問題”的結論要理解每一層校驗各自保護的范圍。4. 從FCS異常反推鏈路故障4.1 CRC錯誤到底是在哪個環(huán)節(jié)產生的FCS異常的本質是“接收端算出來的校驗值和發(fā)送端寫的不一致”。那這個不一致通常在哪里被引入首當其沖是物理層雙絞線過長導致信號衰減、連接器氧化造成接觸電阻增大、網線內部線對絞距被破壞導致的串擾、電磁干擾源靠近線纜、光模塊老化導致光功率下降、光纖彎曲過大導致反射這些都會讓比特位在傳輸過程中“翻轉”。另一個常見來源是鏈路雙方的工作狀態(tài)不匹配。比如一端協(xié)商到了全雙工另一端卡在半雙工這種狀態(tài)在低速以太網上會出現(xiàn)大量沖突嚴重時幀會被截斷、撕裂接收端的FCS校驗自然過不了。尤其是強制雙工模式的時候風險更大因為雙方完全放棄了自動協(xié)商的握手確認過程。還有一個容易被忽視的環(huán)節(jié)網卡或交換芯片內部的處理邏輯。比如芯片收到一個長度異常的短幀Runt可能還沒來得及完整接收就已經把不完整的數(shù)據(jù)提交給上層模塊又比如交換機緩存不足時某個隊列被丟棄或部分丟棄也會表現(xiàn)為CRC錯誤或對齊錯誤。這類問題的物理鏈路本身可能是健康的。我自己的經驗是遇到FCS異常先不要急著懷疑線纜質量而是先看錯誤計數(shù)的分布特征。如果錯誤零散分布在多個端口那更像環(huán)境干擾或設備共有問題如果錯誤集中在一條鏈路的兩端那重點懷疑這條物理路徑如果只有一端報錯另一端完全干凈那可能是接收端硬件或驅動的問題。4.2 一套可以照抄的排查順序下面這套順序是我后來固定下來的排查流程不算特別復雜但每一步都有明確目的先收集兩側端口統(tǒng)計把CRC錯誤、FCS錯誤、對齊錯誤、短幀錯誤、丟包計數(shù)全部記下來。不要只看其中一個字段它們組合起來會給出更多線索。觀察錯誤增長速率和負載的關系。如果只在業(yè)務高峰時快速增長說明大概率是信號質量問題在高負載下被放大如果空載也在漲那問題可能很穩(wěn)定比如硬件損壞或接觸不良。做一次“物理層替換法”換線、換模塊、換端口。每換一個環(huán)節(jié)觀察一段時間計數(shù)。替換法最忌諱一次換好幾個東西那你就永遠不知道是哪個環(huán)節(jié)治好了問題。檢查協(xié)商狀態(tài)。確認兩端速率、雙工模式一致關閉強制的“非標準”配置再做對比。如果是在僅跑少量流量的測試環(huán)境可以嘗試顯式固定速率看錯誤是否消失。在鏈路兩端同時抓包并打時間戳比對兩端收到的幀數(shù)量和數(shù)據(jù)內容。如果入口流量正常、出口出現(xiàn)突發(fā)錯誤問題很可能在中間設備如果兩端都干凈但交換機計數(shù)在漲也可能是交換機內部統(tǒng)計口徑問題。如果錯誤只在某個特定網卡上出現(xiàn)更新驅動、固件并檢查網卡是否啟用了某些卸載特性比如接收側合并、Large Receive Offload這些特性在驅動實現(xiàn)有bug時會引發(fā)奇怪的數(shù)據(jù)異常。如果以上都做完了還沒找到原因再考慮設備硬件故障比如交換芯片的背板問題。這種情況通常需要換一臺設備或換一個板卡做隔離驗證。這套流程看起來基礎但能覆蓋絕大多數(shù)場景。尤其第3步的“每次只換一個環(huán)節(jié)”聽起來像廢話恰恰是無數(shù)現(xiàn)場工程師最容易因為急躁而犯的錯誤。4.3 故障速查表現(xiàn)象、原因與驗證手段為了隨時查閱我整理了一張速查表也算是對上面排查順序的一個濃縮現(xiàn)象可能原因先驗證什么可能的動作單端口CRC計數(shù)緩慢增長業(yè)務無明顯感知線纜老化、連接器接觸電阻、輕微電磁干擾端口協(xié)商狀態(tài)、線纜長度、兩端功率更換跳線、重新壓接水晶頭高負載下CRC計數(shù)快速上升信號衰減、光模塊劣化、雙工不匹配光功率、錯誤增長速率與負載關系更換光模塊、調整協(xié)商策略CRC錯誤伴隨對齊錯誤出現(xiàn)鏈路沖突、物理層幀截斷雙工狀態(tài)、線對序強制全雙工一致或更換線纜多端口同時出現(xiàn)CRC錯誤公共環(huán)境干擾、設備供電異常設備側電源、周邊大功率設備干擾整改布線路徑、調整電源更換模塊后計數(shù)短暫清零又復漲硬件插槽或背板鏈路問題換一個端口或設備對比進一步隔離硬件層級這里有一條通用原則CRC計數(shù)是一個“果”不是“因”。你從它著手去查問題沒錯但最終修復的一定是導致它的環(huán)境、物理鏈路、協(xié)商狀態(tài)或者硬件故障。神化統(tǒng)計字段容易把自己帶偏。5. 常見誤區(qū)和幾個實戰(zhàn)心得5.1 誤區(qū)一看到CRC上升就斷定是線纜質量差這類判斷太絕對了。很多情況下CRC錯誤來自驅動或設備內部的異常。我遇到過一次很典型的例子兩端口之間CRC計數(shù)持續(xù)上漲但把線纜、模塊全部換了一遍問題依舊。最后發(fā)現(xiàn)是某塊板卡內部背板鏈路的數(shù)據(jù)通路故障換了整塊線卡后才恢復。如果當時只盯著“換線”這一條思路根本走不到真正的根因。另一個容易被忽略的是虛擬化環(huán)境。虛擬交換機和虛擬網卡驅動在統(tǒng)計CRC時很多實現(xiàn)只是把宿主機物理網卡的統(tǒng)計原樣暴露出來并不代表虛擬鏈路上真的發(fā)生了比特錯誤。如果在虛擬化平臺上看到CRC上漲第一件事應該是確認這個計數(shù)到底來自物理網卡還是虛擬數(shù)據(jù)通路否則你容易把平臺自身的問題嫁禍給底層物理網絡。5.2 誤區(qū)二抓包工具顯示無錯鏈路就一定干凈這個誤區(qū)在上文已經提到過但它真的太常見了值得單獨拿出來再說一次。抓包工具默認拿到的幀是網卡剝離FCS之后的版本壞幀在進入?yún)f(xié)議棧之前就被丟棄了。所以抓包結果里每一條記錄都“光鮮亮麗”根本不能說明物理鏈路上沒有噪聲。想看鏈路健康度必須配合網卡底層計數(shù)否則你會被自己的抓包文件欺騙。反過來如果抓包工具里真的出現(xiàn)了CRC錯誤標記某些工具在捕獲引擎保留了壞幀時會有提示那說明這已經很嚴重了鏈路質量可能差到了一定程度。但普通場景下抓不到CRC錯誤反而是常態(tài)不要因為抓包結果好看就放松警惕。5.3 把CRC計數(shù)當作長期健康度指標排查完一個具體問題之后就可以建立一套自己的觀察習慣。我對接口統(tǒng)計的處理方式不是看某一個時間點上的絕對數(shù)值而是看趨勢。比如某端口的CRC錯誤計數(shù)今天比昨天多了300這個數(shù)量級在業(yè)務負載變化范圍內是否正常相比硬件報錯我更關心它是不是持續(xù)、單調地增長。持續(xù)增長意味著某個劣化過程正在發(fā)生可能是光模塊的激光器在緩慢衰老也可能是連接器在逐漸氧化。建議每隔一段時間把關鍵端口的統(tǒng)計拉出來存一份基線等變更發(fā)生后做對比。這個辦法成本極低但對解決問題幫助很大。真到問題爆發(fā)那一刻你能立刻判斷出“這個錯誤是什么時候開始變多的”“最近改了什么東西”遠比現(xiàn)場抓瞎要強。對于光口順帶關注光模塊的收發(fā)光功率變化趨勢光功率下降往往比CRC計數(shù)增長提前幾天就發(fā)出預警這算是我自己比較受用的一個小技巧。還有一個小習慣拿到一臺新設備或者新網卡先做一次短時間高負載收發(fā)測試把錯誤統(tǒng)計清零再觀察。每個硬件對誤碼的容忍度不一樣過早做基線反而容易在基線里埋入大量背景噪聲。等確認鏈路在干凈狀態(tài)下跑穩(wěn)了再開始記錄正?;€之后每一次統(tǒng)計異常都會很有參考價值。做鏈路分析做得時間長了我對“Ethernet幀完整性校驗”這串詞的感受已經從“一個CRC寄存器”變成了一整套觀察鏈路健康度的視角。自己動手寫校驗腳本、跑真實數(shù)據(jù)、被虛驚嚇過、也被真正的根因折磨過這些過程確實是把知識變成能力的最好方式。如果你下次再遇到CRC相關告警不妨先冷靜下來把統(tǒng)計字段、抓包位置、物理鏈路狀態(tài)這三樣東西擺到桌面上再決定要不要動手拆線纜。我個人的體會是絕大多數(shù)FCS異常都能通過一張清晰的排查順序表快速收斂真正難的從來不是修而是判斷該修哪里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜AV网| 99热这里只有精品2| 91日本在线观看| 都市激情久久| 色综合99无码| 俺去也五月| 五月色俺婷婷| 色色成人網| 97成人视频| 久久性都花花世界成人免费视频| 久久精彩免费视频| 99re热久久| av成人在线播放| www.99视频| 五月精品免费XXX| 性爱网五月天| 99热高清在线| 久久一伦| 一区二区无码视频| 99视频| 五月天狠狠网| 热久久视频99| 天天在线久久综合 | 免费超碰在线观看| 无码人妻少妇色欲AV一区二区 | www99热| 色婷婷丁香| 色五月婷婷狠狠撸| 精品久久99| Aα在线免费观看| 日日夜夜天天| 色五月播五月| 99热这里只有精品66| 天天操夜夜爽歪歪| 色狠狠色噜噜噜a天堂一区| 婷婷成人综合免费视频| 婷婷丁香77777| 秋霞AV美国| 婷婷丁香五月天综合激情| 激情综合网色播五月| 五月婷婷六月丁香综合| 亚洲婷婷免费| 噜噜网免费视频| 丁香成人综合| 思思热在线精品视频网站| 99re熱| 日本久草福利| 婷婷人人操| 秋霞丝袜啪啪啪| 六月激情婷婷综合| 影音先锋 91工厂| 包操45分钟网站| 五月婷婷狠狠干| 超碰av天堂| 99国产97在线,| 国产精品天天狠天天看| 熟女人妻一区二区三区免费看 | 天天色天天色天天色天天色天天色天天色| 国产婷婷久久| 五月丁香欧美综合| 狠狠狠夜夜夜| 夜色综合网| 五月天伊人| 五月丁香六月色| 丁香六月婷婷一区二区三区| 精品人妻伦一二三区久| 色99色| 俺去也婷婷| 色情成人五月天| 六月丁香五月天| 久久激情五月婷婷| 五月激情婷婷丁香| 2025超碰| 色婷婷色九月| 99热只有精品在线播放| 99热99热| 丁香色成人| 91久久五月天| 久久精品99国产精品日本| 丝袜大香蕉| 五月天激情视频| 欧美日韩欧美| 91色在线| 亚洲看av的网站| 婷婷六月天亚州| 热成人网| 狠狠五月天| 婷婷五月情| 91丨九色丨东北熟女| 少妇人妻丰满做爰XXX| 国产精品激情AV久久久青桔| 亚洲精品网址| 拍真实国产伦偷精品| 亚洲综合色网| 成人短视频免费观看| 亚洲碰碰碰| 热99这里只是精品| 99久久玖玖| 九九99热久久精品66中文字幕| 九九精品自拍| 久久丁香综合精品综合| 婷婷久久五月天丁香| 激情综合网丁香| 亚洲无码影音| 五月丁香啪啪| WWW色色色COM| 婷婷舔| 噜噜色婷婷| 日韩人妻在线观看| 色色婷婷丁香| 亚洲情综合五月天| 99在线精品视频观看免费下载| 五月婷婷视频ab| 99热99热在线| 久久婷综| 激情五月丁香色婷婷| 国产精品视频| 91精品综合久久久五月天| 天堂A∨在线| 五月天久久婷婷婷| 六月婷婷五月天| 丁香五月天日韩无码| 五月天综合久久| 午夜不卡成人一区二区| 五月天婷婷在线播放| 中文字幕 中文字幕明步 | 国产亚洲99久久精品熟女| 成人在线综合| 99乱视频| 亚洲久久婷婷| 国产日比| 亚洲性爱干干| 成人精品视频99在线观看免费| 久久婷婷五月综合伊人| 性色婷婷| www超碰| 婷婷五月天激情基地| 欧美色五月| 伊人色综合久久久| 99热官网| 超碰99热精品| EEUSS鲁片一区二区三区| 9|人妻人人操| 天天爱夜夜爽| 99热很操老逼| 天天插综合网| 日91高清无玛| 婷婷天堂站| 久久 无毛。| 五月精品免费XXX| 欧美精品啪啪| 91欧美日韩综合| 色婷婷亚洲婷婷| 婷婷综合在线网| 69er小视频| 开心激情网在线| 色九月国产| 五月激情婷婷六月| 99亚洲精品视频| 欧美成人色婷婷| 91九色偷拍| 岛国av网| 91久久18| 人妻av在线| 青青草轻轻操| 久久性视频| 99热 这里只有精品 国产 日韩| 精品激情| 99视频地址| 超级碰碰97在线| 九九热在线视频,| 五月天婷婷偷拍| 婷婷五月丁综合| 9色免费网| 亚洲综合五月| 日本女天天爽| 色婷婷瘦婷婷日韩| 少妇做爰免费视看片| 日日操,日日爽| 91 影音先锋| 五月丁香六月婷婷网站| 中文字幕视频在线播放| 婷婷婷狠狠| 人妻久久久久久久 | 99热思思久| av国产精品| 婷婷综合网站| 级情九色| 色色色色区| 大香蕉五月天婷婷| 天天爽天天日天天舔| 另类国产区| www色五月| 激情五月天免费视频| 十区av| 亚洲九九夜夜| www.五月天婷婷| 婷婷激情五月吧| 久久无意婷婷| 精品成人无码A片观看香草视频| 激情小说婷婷五月| 伊人六月丁香婷婷| 66精品国产成人| 影音先锋91在线资源站| 久色激情| www.99热在线观看| 99精品在这里| 米奇影视五月天| 综合大香蕉| 久久免费少妇高潮99精品| 色婷婷69| 色婷婷六月| 狠狠五月丁香色婷| 看黄的网站18禁| 久操人| 嫩草AV久久伊人妇女超级A| 丁香五月天社区| 婷婷5月开心6月| 99热综合在线| 五月丁香激| 丁香激情综合| 日韩在线看AV| 99国产精品白浆在线观看免费| 五月激情婷婷综合| 激情性爱五月| 高清无码网址| www.激情| 五月天丁香久久| 9999热这里只有精品| 五月天色色网站| 91人人爽人人操| 裸睡玩奶头(高H)| 91偷拍视频| 天天搞天天色综合| 激情五月丁香六月综合AVXXXX| 丁香婷婷综合五月天| 伊人激情啪啪| 婷婷五月69| 色色综合激情| 91九色精品女同系列| 国产精品岛国片在线观看免费| 90色免费视频| 免费在线a| 亚洲美女裸体被操在线观看| 精品视频网| 中文AV网站| 色偷偷AV亚洲男人的天堂| 九九热免费| 五月婷婷偷拍| 丁香六月婷| 亚洲六月色| www.99久久久| 亚洲小视频免费观看| www.99精品视频| 色婷婷小视频| 丁香五月婷婷Av| 婷婷va| 国产婷婷五月| 在线中文av| 色婷婷AAA| 日本色99| 欧美成人无码高清一区二区三区| 五月天自拍视频| 婷婷四色五月| 丁香五月婷婷基地| 99热这里只有精品8| 99九九视频| 九九热超碰| 久久久国产精品黄毛片| 狠狠九九婷婷韩| 99色久| 色天堂97| 久久婷婷丁香五月一二三| 婷婷激情五月天激情在线| 99视频地址| 五月丁香六月婷婷综合伊人| 久久这里只有精品热在99| 国产97色在线| 91男同视频| 精品99*| 亚洲成人无码网站| 日韩五月天婷婷| 亚州精品久久久久AV无码| 九九视频这里只有精彩| 久久婷婷精品| 中文超碰视在线| 九九色院| 69午夜成人影片| 99热成人在线观看| 婷婷香五月天| 国产91在线视频| 久久久久网站| 久久AAAA片一区二区| 99久久九九视频| 色五月婷婷影视| 九九99在线免费在线观看视频| 激情综合网,婷婷| 欧美va在线| 欧洲毛片基地c区| 亚洲视频在线观看| 久9热在线视频| 深爱婷婷色| 久久色情综合免费网站| 黑人巨粗进入警花疼哭A片| 五月天激情日色在线| 五月丁香 啪啪| 日本五月丁香| 人妻精品一区二区三区| 国产精品色婷婷99久久精品| 伊人色欲五月天| 99操逼| 五月丁香花成人社区| 96精品久久久久久久久| 五月天激情亚洲| 丁香五月天啪啪| 日本久碰| 5月丁香六月情| 五月天丁香成人| 天天日天天久久青青| 大香蕉99热| 思思热99在线视频| 久草热8精品视频在线观看| 大香蕉网站,大香蕉综合| 这里只有精品视频一区| 国产精品久久久久久久久久免费| 五月丁香狠狠爱| 夜夜操天天干| 热久免费视频9| 丁香六月高清视频| 色播播之激情五月婷婷| 国产精品电影网| 色欲色欲久久宗合网| 婷婷久久综合久| 综合色色色| 婷婷婷婷婷婷婷婷婷婷丁香| 我爱宗和色| 五月婷视频| 欧美图片丁香五月天| 99热这里只有精品2| 成人精品视频99在线观看免费| 人人操91| www.99视频| 9色在线视频| 九九热在线视频观看| 丁香六月丁香婷婷激情| 五月丁香久久丝袜啪啪| 超碰2021| 五月天婷婷在线AN| 中文网婷婷字幕婷| 免费看成人747474九号视频在线观看| 五月婷婷综合影院| 五月丁香婷中文| WWW.久久久久久久| 综合色情网| 国产综合色婷婷精品久久| 五月天婷婷AV| 99操视频| 国产精品久久久久久久久久| 五月婷婷中文网| 免费看欧美成人A片无码| 色色99色色| 欧美精品XXXXBBBB| 开心五月婷婷在线| 婷香狠狠爱五月| 婷婷成人视频| 免费黄色视频网址| 亚洲精品字幕在线观看| 精品久久久久久久人妻| 激情骚五月| 日本视频欧美观看免费| 99精品在线观看| 成人在线日韩欧美| 老司机日日夜夜青草| 在线观看熟女少妇| 丁香五月激情久久麻豆| 五月精品| 久久五月天激情婷婷| 在线只有精品| 五月综合缴情网| 欧美啪啪五月天| 婷婷五月综合久久中文字幕| 亚洲激情网站无码| 日日操无码| 久久婷婷五月综合色丁香| www.婷婷五月| 九九婷婷五月天| 婷婷五月丁香手机在线视频| 最新久久网址| 欧美性生交A片免费看| 五月天激情开心网| 99久久综合网| 日韩99无码| 五月婷激情影院| 六月99天天婷婷激情综合| 午夜天堂一区人妻| 色婷婷A| 天天做综合| 久草免费福利视频| 九九这里只有精品| 黄色激情五月天| 69久久99精品久久久久婷婷| 香蕉久久国产AV一区二区| 色综合色色| 婷婷九月| 9热久久| 狠狠色综合网| 99综合网| 婷婷综合久久| 可以免费观看的AV| 岛国资源网| WWW.久久久久久久久久久久久| 大香蕉久艹| 五月久久亚洲| 激情综合播播| 久久婷婷91| 极品人妻VIDEOSSS人妻| www.狠狠| 久久WW| 五月丁香六月婷婷综合网| 五月开心啪啪| 日韩久久色| www,欧美干干干干干干| 久久9视频欧美| 成人在线观看国产| 色色a| 丁香婷婷五月天在线视频| 色综合色综合色综合高潮| 午夜福利8055| 香蕉久操| 亚洲午夜AV| 色五月天电影| 五月婷婷丁香狠狠撸久久| a色色片| se99热久久一本| 久久人人做人人妻人人玩精品va| 啪啪一区| 丁香五月婷婷网| 久久婷婷视频| 婷婷涩涩五月天| 天天色,天天操,天天射| 夜夜操夜夜爽| 色情五月天视频网| 可以免费观看的av网址| 大香蕉人妻| 国产婷婷综合| 日韩精品超碰在线观看| 婷婷趴趴| 丁香六月激情毛片| 久久婷婷亚洲无码一起| 欧美啪啪五月天| 最新无毒无码AV| 久草婷婷| 国产欧美熟妇另类久久久| 色99色| 五月婷在线观看| 久久五月丁香| 成人av在线网址| 五月丁香在线看| 婷婷五月天激情综合网| 婷婷噜噜| 五月婷亚洲精品| 5月丁香六月婷婷| 午夜九九电影| 久热这里只有精品视频6| 日日噜噜久久婷婷五月天 | 婷婷五月天综合色| 亚洲狠狠狠| 色色婷婷综合网| 日 日干 日日做| 六月亚洲婷婷6月中文字幕| 成人做爰A片免费看网站找不到了| 九色91视频| 日本操碰碰| 超碰在线观看9| 婷婷成人AV| 日本99色| 九九色影院| 99视频超级精品| 婷婷丁香五| 丁香五月骚喷水视频| 婷五月天在线草| 五月丁香网中文字幕| 日日操人人操| 99人妻碰碰碰久久久久视| 日本九九九九九九| 夜夜爱影院| 亚洲激情淫网| 色五月天堂| 热99热| 激情六月五月婷婷综合网| 婷婷五月婷婷五月天| 久久9热综合| 日本一级黄色电影| 99精品久久久久久久婷婷| 五月丁香无码视频| 五月激情精品视频| 噜综合| 色蜜婷婷| 91seAV| 亚洲日韩一页精品发布| 激情综合五| 超碰97免费在线| 久久色五月天综合网| 亚州欧美国产久精国产99综合视频| 五月天丁香婷婷社区| 欧美日本韩国亚洲| 最近中文字幕2019视频1| 91九色精品女同系列| 伊人五月天在线| 涩涩网五月天| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 日本一级黄色电影| 五月丁香色婷婷久久| 操射国产日本| 色色婷婷综合网| 五月丁色AV| 粉嫩av蜜桃av蜜臀av| 嫩草视频观看| 香蕉伊人综合| 97碰在线免费观看| 九九偷拍网| 激情丁香五月| 丁香五月色色婷| 激情AV综合| 日韩综合成人| 色色999三级片| 色色欧美色色| 99在线视频操999| 亚洲精品国产熟女久久久| 五月天综合在线| www夜夜操| site:pnnrt.com| 五月丁香天堂网| 丁香五月色| 九九AV| 国产成人网址| 久久婷婷综合基地| 国产精品久久..4399| 九九五月天| ww久久| 色色色999| 丁香色色色| 五月婷婷色色色| 黄网在线免费观看| 青青操绿aaa一区日v| 777久久综合视频| 久久这里面只有精品视频| 九九精品这里只有| 丁香六月婷婷色XXXX| 互月天综合| 日韩人妻操逼视频| 99热这里只有精品在线| 91Chinese在线| www.婷婷.com| 久久人妻熟女一区二区| 色婷婷色综合久久精品V| 日韩啪啪自拍| 啪啪综合| 久久这里只有精品07 | 婷婷色综合| 久久婷婷精品| 人操综合| 婷婷丁香成人五月天| 大香蕉婷婷色| 我要色综合五月婷婷| 日本性激情色播| 天天插天天插天天插天天插| 国产一级片| 五月婷色| 超级碰91| 2015好吊操| 丁香五月婷婷激情123| 99九九精品| 成人 在线 日韩| 久久婷婷伊人| 亚洲中文AV网站| 五月天丁香网站| 色婷五月天亚洲| 色五月婷婷影院| 婷婷天堂综合| 五月天婷婷六月| 亚洲色无码| 91viP在线看| 少妇AB又爽又紧无码网站| 久久久色情| 综合久久婷婷| www,26uuu,c0m,色情| 97资源碰碰| 欧美日本韩国亚洲| 国产精品操| 襙比视频| 六月婷婷av| AA片在线观看视频在线播放| 丁香六月婷婷综合啪啪| 天天综合色综合| 婷婷六月天天| 婷婷综合中文字幕| 久久久中文| 久热网在线视频| 五月天激情丁香| 99情色五月天| 激情五月激情综合网一级丸片| 天天摸天天做天天爱天天爽| 麻豆WWWCOM内射软件| 色爱99| 久热最新视频| 97人人草| 九九99热久久精品66中文字幕| 丁香月五月天婷婷久久| 中文资源在线a | 热九九精品| 色综啪啪| 亚洲五月天综合| 色综合网址| 精品九九九久| 婷婷免费成人视频| 99欧美| 在线看黄色| 新激情五月天色播| 五月激情小说| 久热9| 亚洲婷婷欧美婷婷| 丁香五月综合网| 精品一二三区久久AAA片| 无码橾| 亚洲婷婷乱乱丁香| 无码激情AAAAA片-区区| 玖热精品综合视频| 成人AV中文字幕| 中文字幕91,综合| 日本九九热| 五月天婷婷色| ww亚洲ww在线观看| 四色永久成人网站| 情色五月天网站| 99免费视频| 日韩久久日| 五月天婷婷色小说| 欧美性色A片免费免费观看的| 九九黄色网| 五月天婷婷基地综合网| 综合伊人久久| 99性爱| 日本毛片内射| 日本色视| 婷婷五月网图片区| 操97免费超级视频| www99在线观看视频| 色五月激情综合| 丁香五月激情综合婷综| 久久五月天色婷婷| 天堂中文国产| 91精品无码| 五月婷婷影| 精品99在线| 偷偷操99| 婷婷丁香激情综合色情| 亚洲婷婷91丁香| 综激情网| 久久色婷婷| www.色99| 一区二区中文字幕| AA片在线观看视频在线播放| 综合色天天| 丰满少妇猛烈A片免费看观看| 伊人国产婷婷五月天 | 91人人爱| 99爱在线观看视频| 久99精品视频| 婷婷色五月丁香六月欧美啪| 日本高清久| 色婷操逼| 99久热| 激情亚洲婷婷六月| 婷婷综合国产| 激情爱爱网站超大免费| 五月6香色婷婷视频| 婷婷久久五月| 久色国产| 伊人9在线| 五月丁香婷婷色色| 婷婷丁香五月久久| 丁香婷婷五月激情四射网| 思思热高清在线观看| 久久激情五月网| 99久热| 婷婷五月天直播| 久久婷青青草原| 婷婷五月天亚洲| 国产免费一区二区三区三州老师F1F1.CC | 蜜桃五月天色| www.97干视频| 色五月大香蕉| 自拍盗摄 另类| 久99久精品视频| 色婷婷视频| 天天爽天天草| 91丨九色丨高潮丰满日本| 五月丁香综合激情| 亚洲色模骚货| 99九九精品| 中文字幕无码AV| 五月天婷婷社区| 丁香五月天婷婷在线视频| 97干干干丁香| 六月婷婷啪啪| 丁香色播五月天| 久久一品区| 久久激情网| 99热6这里只有精品| 婷婷综合激情| 另类婷婷五月天啪帕帕| 婷婷五月激情五月激情| 成人综合伍月天| 超碰人妻在线| 91日综合欧美| 丁香婷婷五色月| 久久综合色情网站| 欧美槡BBBB槡BBB少妇| 九九精品热播| 五月天婷婷影院影院| 96精品久久久久久久久| 成人五月天综合网| 五月天婷婷丁香| 激情五月天婷婷丁香 | 丁香婷婷成人在线播放| 日韩无码专区| 婷婷狠狠爱| 激情综合五月| 五月婷婷啪啪啪| 五月婷婷狠狠干| 五月天婷婷色色| 9久操| 国产成人精品一区二三区熟女在线| 色久综合| 伍月婷丁香花全集| 天天爽夜夜爽夜夜爽精| 91碰碰视频| 在线观看欧美3区| 五月丁香| 狠狠色色| 991国产精选视频在线播放下载| 另类综合网| 精品一二三区视频立| 91大屁股精品| 日韩精品在线观看9| 欧洲色色| 激情五月婷婷五月| 欧美天堂久久| nvrentiantang av| 国产精品日韩十五区| 五月丁香激情婷婷综合字幕| 青草青草久热这里只有精品| 蜜桃婷婷狠狠久久| 91人人妻人人操| 久久视9精| 九九这里只有精品| 色情综合| 伊人五月天| 色五月激情网| 91人人爽狠狠狠| 婷婷六月色开 | 国产精产国品一二三在观看| 中文字幕在线免费观看视频| 99re这里| 色色五月天婷婷| 丁香 亚洲 久久| 超碰精品国产首页| 激情综合文学| 丁香五月婷婷色综合| 免费视频WWW在线观看网站| 狠狠色噜噜狠狠狠狠综合| 色停停香蕉视频| 婷婷五月综合网| 亭亭色网| 成人 在线 日韩| 91操在线视频| 91一起操| 91丨九色丨东北熟女| 大香蕉综合在线| 99九九精品| 黄网在线免费观看| 久热无码| 久久久婷| 成人无码髙潮喷水A片| 精品亚洲国产成AV人片传媒| ..真实国产乱子伦对白在线_欧 | 五月天自拍视频| 天天cha成人综合网| 伊人婷婷五月| 99久久九九| 人妻无码精品一区| 五月婷婷亚洲色视频| 极品另类| 婷婷色网| 欧美韩国日本| 91九色白丝| 免费啪啪啪网站| 99爱爱网| 日本三级中国三级99人妇网站| 激情综合五月激情XXXX| 欧美黑人巨大猛烈cuckold| 大伊久久| 99在线小视频| 最新久久网址| 操碰91| 久久久婷婷五月天| 色色婷婷婷丁香五月天| 9l视频自拍九色9l视频在线观看| 色欲丁香| 深爱激情五月天色婷婷| 中国激情网| 综合婷婷五月天| 任你爽视频| 天堂无码人妻精品AV一区| 91人妻九色大屁股| 国产日韩av片| 久婷婷五月丁香在线观看| 襙逼网| 五月天播播| www色色com| 婷婷五月丁香激情色情| 日日夜夜爽| 久久视频婷婷| 狠狠色丁香| 97男人天堂| av在线免费播放| 激情五月综合六月丁香婷婷狠狠干| va亚洲中文在线| 99re视频在线播放| 99国产精品白浆在线观看免费| 五月九九综合| 日韩啪啪视频| 色婷婷五月天小说网| 99色色| 五月天婷婷激情| 大香人妻| 色频玖玖五月天| 久色欧美| 岛国av网站| 五月天天综合网色婷婷| 久99| 少妇人妻综合色6699| 日韩成人AV在线| 亚洲激情四射色| 大香蕉网站,大香蕉综合| 婷婷六月网| 婷婷欧美激情综合| 久久五月天激情| 欧美色99| 99爱在线视频观看| 成人在线99| 开心五月婷婷综合在线精品素人| 开心婷婷五| 亚洲99在线| 色婷婷呢狠禁久禁| 六月99天天婷婷激情综合| 99久久激情视频| 五月婷婷无码| 99爽视频| 79色色色色| 99精品在线| 婷婷午夜综合| 久久A V无码视频| av九九| 96精品久久久久久久久| 色色免费网战视频| 北京熟妇搡BBBB搡BBBB| 人人操97| www.色婷婷.com| 丁香五月大香蕉在线99| 亚洲99激情| 在线色色| 伊人婷婷91| 天天舔日日肏夜夜爽| 久久丁香五月天| av在线中文| 青草少妇激情| 婷婷欠久少妇| 月婷婷亚洲| 99热免费精品| 激情五月婷婷丁香| 婷婷丁香五月激情密臀av| 日本成人小说婷婷六月| 粉嫩AV久久一区二区三区| 超碰成人电影| 久久五月天色婷婷| 久久久精品99| 丁香婷婷综合激情五月色| 国产精品VIDEOSSEX久久发布| 色欲av伊人久久大香线蕉影院| 日本色综合| 特黄三级又爽又粗又大| 噜噜噜精品欧美成人在线观看| 97人人干| 丁香五月天信号| 欧美在线视频99| 大香蕉网站,大香蕉综合| 玖玖五月丁香| 婷婷刺激综合| 99热这里有精品| 大香婷婷| 婷婷日欧美在线观看| 92久操视频| 精品五月天| 91丨九色丨老熟女激情| 色狠狠色噜噜噜a天堂一区| 亚洲黄网AV| 免费试看小视频 99| 超pen个人视频97| 精品无码色欲AV| 色狠狠色| 婷婷久久国产视频| 无码人妻少妇色欲AV一区二区| 亚洲综合激| 91狠狠综合久久久久久| 丁香六月亚洲| 国产成人AV| 六月色色婷婷| WWW.五月com| 综合色五月| 激情婷婷综合网| 99热97| 色色色色色色色色色色色色色97| www.五月丁香| 99日本在线| 玖玖资源在线视频| 美女五月天婷婷| 国产精品18久久久| 婷婷五月天电影在线| 操碰99在线视频观看| 情趣视频66| 第四色五月婷婷| 97在线碰| 亚洲人人96@| 成人亚洲精品久久久久| 五月天激情视频网站| 99精品偷拍视频| 综合久久久| 欧美五月丁香在线| 国产精品久久久爽爽爽麻豆色哟哟| 色五月视频,小说| 黄色91在线观看| 婷婷欧美综合| 久久66er久久| 丁香五月激情图片婷婷| 天天爱综合网| 婷婷九月综合| 人人操AV| 99热这里只有免费精品| 色哟哟www| www.超碰在线| 狠狠干伊人| 超碰在线9| 亚洲无码成人网| av免费在线看不卡无毒| 五月丁香六月色| 香蕉综合网| 95精品区一区二| 天天插天天射| 综合激情五月丁香9999久久精| 97操资源婷婷| 午夜一区| 欧美色色色| 五月丁香六月综合基地| 亚洲精品一区无码A片| 激情五月天综合| 日日爱678| 99青青草99| 亚洲欧美综合7777色婷婷| 丁香五月综合福利视频导航| 色天堂操| 日韩无码专区| 天天色天天爱天天爱天天爱y| 色色色色色热| 丁香五月桃花在线激情综合| 成人网站在线观看视频| 日本va视频| 亚洲综合久| 伊人大香蕉爱聚| 深爱激情丁香| www激情五月天| 五月丁香亚洲校园欧美| 亚洲综合碰| 亚洲第一综合| 五月丁香六月激情综合| 丁香婷五月天| PORNY九色9l自拍视频成人| 五月天久久婷| 五月综合激情网| 99这里只有| 五月综合婷婷网| 五月天婷婷香蕉狠狠超碰综合| 香蕉AV777XXX色综合一区| 99噜噜| 五月婷婷自拍| 思思热在线视频观看精品| 激情伊人网| 秋霞少妇AV网站| 天天操比比| 婷婷五月综合啪| 婷激情五月| 丁香亭亭久久| 婷婷五月综合色拍| 精品婷婷丁香五| 桃色成人网| 97人人射| 欧美在线视频免费播放| 亚洲人人操BD| 99热在这里只有免费精品| 久久久性爱网| 婷婷激情四射五月天| av高清无码| 可以免费观看的AV| 97九色视频| 色五月婷婷色五月| 成人五月天在线视频在线观看| 五月丁香另类图片| 久久色五月天| 夜色爱爱亚洲| 丁香五月天AV在线 | 色停停影院五月天| 欧美A级成人婬片免费看理论| 色婷婷九月| 97久久人人| 五月天婷婷AV| 婷婷五月天无码| 婷婷五月天激情综合深爱激情| 色欲五月天| 99极品视频| 天天干,天天舔| 丁香蜜臀黄色婷婷五月天| 无码A片一区二区免费| 91av无码| 婷婷丁香五月在线观看91| 七七婷婷综合| 亚洲欧洲中文日韩久久AV乱码| 99热精品在线| 99热综合| 可以免费观看的av| 亚洲五月天激情| www.99热| 久久丁香五月| 综合网亚洲| 欧洲亚洲精品| 激情综合网五月激情| 99人妻碰碰碰久久久久禁片| 超碰免费人人| www色婷婷| 色婷婷五月在线| 久久久精品人妻| 99免费在线视频| 五月丁香激情综合网| 九九久久精品| 婷婷丁香社区| 欧美槡BBBB槡BBB少妇| 久久人人做人人妻人人玩精品va| 性生生活大片又黄又| 丁香五月狠狠在线观看| www.金莲av| 亚洲影院婷婷色| 日本色色影院| 激情综合色婷婷啪啪六月天| xx久久| 黄网在线播放| 婷婷五月天激情四射五月天激情| 中文字幕婷婷五月天| 五月色情网| 天天色天天色天天色天天色天天色| 开心五月深爱五月丁香五月激情五月| 五月丁香亚洲婷婷| 久色激情| 五月丁香啪啪啪| 午夜大香蕉| 六月婷婷毛片| 伊人青涩网| 婷婷操超碰| 草综合网| 激情五月婷婷伊人| 色综合综合网| 五月天婷综合| 这里只有精品免费| 少妇人妻丰满做爰XXX| 天天射天天操天天干| 91人人妻人人操| 激情另类综合| 亚洲综合新99视频| 丁香五月无码| 色色色婷婷五月| 91操碰| 91人妻九色大屁股| 久久99精品久久久久久三级| 五月丁香大香蕉| 先锋资源 996| 婷婷五月天综合在线 | 色婷婷成人| 激情五月天啪啪| 婷婷五月色情天| 婷婷色色网| 国产婷伊人| 伊人网啪啪| wwW天天干| 久久99热久久99精品| 九九热99视频| 性av| 综合色网站| 热久久思思热思思| 丁婷婷五月天在线播放| 色综合久| 91国产精品视频播放| 久九色| 天天插天天| 九色自拍| 影音先锋91在线资源站| 丁香狠狠色婷婷| 天天成人综合| 超碰人人干| 被强行糟蹋的女人A片| 欧美精品A片一区在线观看| 亚洲婷婷丁香五月在线| 色五月第四色| 亚洲欧美婷婷五月色综合| 97搞在线| 亚洲精品电影| 久久久人妻门| 九九热99热| 久久99草五月婷婷| 性爱AV天堂| 丁香婷婷成人网站| 日本色婷婷| 五月丁香六月色| 婷婷五月天亚洲精品| 色婷婷丁香五月天| 激情五月婷婷色色| 琪琪秋霞| 狠狠狠狠狠狠色| 超碰97在线观看免费| 久久精彩综合视频| 久久久久人妻| 激情图片亚洲| 亚洲激情亚洲激情| 99热成人| 亚洲无码 图片区| 久久天天天| 婷婷五月激情小说| 国产精产国品一二三在观看| 五月丁香久久综合| 99热只有这里有精品| 91性交在线播放| 色丁香五月婷婷婷| 熟女网站久久| 五月天激情日色在线| 5月婷婷激情6月| 五月丁香六月色| 日本97在线视频| 日屌日日操日日色| 丁香香蕉射射射| 欧美婷婷六月丁香综合色连续高潮抽搐| 天天摸天天透天天舔| 9九九久久精品无码专区| 98毛片| 亚洲综合在线视频| 玖玖五月| 婷婷丁香五月亚洲17cao| 91se精品国产| 天干天天干天天天天天| 五月婷婷啪啪| 久久精品4| 超碰在线免费9| 五月天激情日色在线| 日日操人人操| 国产69精品久久久久999小说| 婷婷色五月婷婷姐妹| 97干免费视频| 亚洲AV第二区国产精品| 天天干 夜夜爽| 五月停停99| 青青草原99热| 婷婷综合性爱网| 婷婷操逼网| 99国产精品久久久久久久久久久| 九九热视频精品2| 久久婷婷六月综合| 91精品婷婷国产综合久久| 激情图片婷婷| 神马欧美精| 99热这里| 亚洲色色五月天| 99热亚洲| 玖玖99精品视频| 天天干天天插| 久久久99日本大片| 婷婷综合视频| 极品另类| 激情综合99| 婷婷丁香激情综合色情| 内射综合网| 无码少妇高潮喷水A片免费| 丁香五月婷婷色综合| 日本不卡中文字幕| 亚洲狠狠色丁香婷婷综合久久| www天天爽| 色婷婷www| 91碰操| 六月丁香视频网站| www五月| 51精品国自产在线| 丝袜人妻| 久久99激情丁香婷婷小说网| 泰州成人视频| 婷婷色偷拍| 99热在线中文字幕| 亚洲中文字幕网| 日韩婷久| caopeng97日韩| 激情五月天电影| 中文字幕黄色电影网址| 日日干夜夜撸夜夜骑| www.99色| 4399欧美另类视频| 成片免费播放| 在线网黄| Av狠狠色丁香婷| 强辱丰满人妻HD中文字幕| 丁香五月婷婷俺也要去| 青青草婷婷久久| 9久久婷婷国产综合精品性色| 97人人射| 八戒青柠影视剧在线观看| 欧美成人网婷婷综合在线| 婷婷94s| 九九99香蕉在线视频播放| 99久久亚洲精品视频| 国产AV一区二区三区最新精品| 五月天激情网页| 71在线精品视频一区| 99视频在线精品免费观看2| 色婷婷丁香五月天在线视频 | 丁香亭亭久久| 日韩色色色色| 激情影院免费视频婷婷五月天| 婷婷久久免费| 停停综合色色| 日本va欧美va欧美va| 色综合久久久无码中文字幕999| 综合激情五月丁香9999久久精| 色五月大香蕉| 婷婷性爱影院| 五月婷婷与六月丁香图片激情| 伊人五月天97| 99热只有| 天天操五月天| 色99在线| 精典久久| 日本啪啪网| 草草操操| 五月天久久久| 大香蕉九九| 五月开心激情| 精品视频这里只有精品| 五月丁香偷拍| 99视频精品视频| 婷婷97狠狠成人网站| 午夜爱爱爱成人| 久久44| 久久人妻久久|