99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

eMMC BKOPS機(jī)制深度解析:從MMC協(xié)議到閃存后臺維護(hù)

eMMC BKOPS機(jī)制深度解析:從MMC協(xié)議到閃存后臺維護(hù) “MMC”這個詞我第一次認(rèn)真對待是在一次遠(yuǎn)程排查Android開發(fā)板卡頓的時候。設(shè)備連續(xù)寫了幾十GB日志界面開始間歇性掉幀dmesg里全是timeout重試SSH偏偏又能連上。同事丟過來一句“看看mmc bkops是不是在忙?!边@一句話把我從文件系統(tǒng)層直接按到了存儲芯片層。翻完eMMC 5.1規(guī)范才意識到這顆不起眼的黑色BGA芯片牽扯的是閃存介質(zhì)、控制器固件、內(nèi)核驅(qū)動三層協(xié)作的一整套邏輯。這也是為什么現(xiàn)在搜“MMC”相關(guān)熱詞幾乎都會帶著bkops一起出現(xiàn)——它就像eMMC的“加班時間表”平時看不見一出現(xiàn)就影響著設(shè)備性能。這篇就把這條線從頭捋一遍從MMC的起源講到eMMC內(nèi)部原理再拆開bkops這個關(guān)鍵詞最后落到工程實踐里的避坑經(jīng)驗。1. 三個字母MMC在不同圈子里各指什么1.1 先把最容易混淆的三樣?xùn)|西分清楚MMC這個縮寫在不同領(lǐng)域里各有歸宿。Windows運(yùn)維那邊CLI里敲mmc打開的是微軟管理控制臺攝影圈老玩家口中的MMC是九十年代末的多媒體存儲卡而在嵌入式、手機(jī)、平板、工控設(shè)備領(lǐng)域我們說的MMC幾乎都指向eMMC——embedded MultiMediaCard嵌入式多媒體卡。如果你拆過一臺老安卓手機(jī)的主板會看到存儲部分是一顆焊死的黑色方形芯片絲印上可能有“eMMC”“Toshiba”“Samsung”之類的字樣它就是eMMC。這里有個容易混的點(diǎn)MMC插卡、SD卡、eMMC三者是“血緣關(guān)系”但不是同一物種。MMC卡MultiMediaCard1997年由SanDisk和西門子推出的可拆卸存儲卡外形比SD卡略厚今天的新設(shè)備基本見不到了。SD卡從MMC演進(jìn)而來兼容MMC協(xié)議但增加了安全認(rèn)證與版權(quán)保護(hù)機(jī)制外形更薄后來統(tǒng)治了相機(jī)和開發(fā)板市場。eMMC在MMC協(xié)議基礎(chǔ)上為嵌入式場景重度改造直接焊在板上不可拆卸內(nèi)部自帶控制器整個存儲系統(tǒng)被封裝成一顆標(biāo)準(zhǔn)芯片。這三者的關(guān)系可以這樣記eMMC是“焊死的SSD思維產(chǎn)物”SD卡是“能拔下來的MMC后代”。但它們在命令協(xié)議層面共享了大量設(shè)計基因。1.2 一條時間線從可拆卸卡到手機(jī)標(biāo)配MMC的歷史起點(diǎn)是1997年MMCAMultiMediaCard Association成立。之后MMC標(biāo)準(zhǔn)歷經(jīng)1.0、2.0、3.0幾個版本數(shù)據(jù)線從1位擴(kuò)展到8位速度從2.5MB/s爬升到幾十MB/s。1999年前后SD卡從MMC分支出去SD卡在消費(fèi)市場上反超了MMC但MMC協(xié)議本身沒有死而是換了一條賽道活著。2004年前后MMCA并入JEDEC固態(tài)技術(shù)協(xié)會eMMC標(biāo)準(zhǔn)體系正式建立。此后JEDEC連續(xù)發(fā)布多個大版本eMMC 4.3引入Boot分區(qū)、RPMB重放保護(hù)內(nèi)存塊、可靠寫等能力這階段eMMC開始成為智能手機(jī)存儲標(biāo)配。eMMC 4.4 / 4.41完善系統(tǒng)喚醒、分區(qū)切換邏輯老設(shè)備上常見。eMMC 4.5加入緩存、Sanitize徹底擦除和本文重點(diǎn)的BKOPS機(jī)制。eMMC 5.0引入HS400模式理論帶寬達(dá)到400MB/s同時支持增強(qiáng)類可配置分區(qū)。eMMC 5.1修正了一批生產(chǎn)制造和可靠性細(xì)節(jié)是目前最后也是使用最廣的eMMC版本。后來UFSUniversal Flash Storage在中高端手機(jī)上逐步取代eMMC但eMMC沒有因此消失——它憑借低成本和成熟生態(tài)在平板、電視盒子、車載、工業(yè)設(shè)備、網(wǎng)絡(luò)設(shè)備里依然是海量存在?!皬S商還在大批量采購eMMC”這件事本身就說明這個標(biāo)準(zhǔn)依然有很強(qiáng)的工程價值。1.3 為什么廠商愿意為“標(biāo)準(zhǔn)化的閃存管理”買單早年用裸NAND做產(chǎn)品是件痛苦的事。三星、海力士、閃迪、東芝各家的顆粒接口不同、壞塊策略不同、ECC算法不同即使同一家廠商不同制程的顆粒行為也天差地別系統(tǒng)軟件得為每顆顆粒單獨(dú)適配開發(fā)周期和故障率都居高不下。eMMC的意義在于把NAND顆粒、控制器、FTL固件Firmware Translation Layer全部封裝進(jìn)一顆標(biāo)準(zhǔn)芯片對外暴露一套統(tǒng)一、穩(wěn)定的MMC命令接口。主控端不再需要關(guān)心底層顆粒是SLC、MLC還是TLC也不需要知道壞塊管理怎么實現(xiàn)更不用糾結(jié)磨損均衡算法是否有坑。系統(tǒng)只需要會發(fā)MMC命令、處理響應(yīng)就能穩(wěn)定使用任意供應(yīng)商的eMMC芯片。這種“標(biāo)準(zhǔn)化封裝”對產(chǎn)品研發(fā)來說省掉了大量底層適配工作對供應(yīng)鏈來說則意味著可以靈活切換多家顆粒供應(yīng)商而無需修改主板和驅(qū)動。用一句工程上的話總結(jié)eMMC把閃存管理的復(fù)雜度從系統(tǒng)軟件轉(zhuǎn)移到了芯片內(nèi)部代價是性能和靈活性稍打折扣但換來的是極大的通用性。2. 拆開一枚eMMC芯片BGA封裝里的三個角色2.1 引腳與物理接口CLK、CMD、DAT[7:0]和那些電源拿到一顆eMMC芯片最直觀的是它的BGA封裝常見球數(shù)在153、169、186等規(guī)格。引腳里最重要的幾組是CLK時鐘線主機(jī)提供決定傳輸速率。HS400模式下時鐘頻率可達(dá)200MHz。CMD雙向命令/響應(yīng)線主機(jī)發(fā)命令、設(shè)備回響應(yīng)都走這一條線。這里注意CMD線只有一根所以命令交互是半雙工的。DAT[7:0]8位雙向數(shù)據(jù)線實際支持1/4/8位三種總線寬度。位數(shù)越高一次吞吐越大。RST_n硬件復(fù)位低電平有效。這個引腳能讓eMMC在系統(tǒng)異常時快速回到初始狀態(tài)省掉軟件復(fù)位流程。VCC、VCCQ等電源引腳VCC供給主閃存核心VCCQ供給信號接口和控制器邏輯。不同速率模式對VCCQ的電壓要求也不同HS400通常要求1.8V。值得一提是eMMC的數(shù)據(jù)線是可配置的。系統(tǒng)上電后默認(rèn)工作在1位模式軟件讀取EXT_CSD了解設(shè)備能力后再通過SWITCH命令切換到4位或8位模式。如果驅(qū)動在初始化階段沒有正確配置總線寬度你會發(fā)現(xiàn)eMMC讀寫的吞吐低得可疑但并不會報錯——這就是那種“查了半天參數(shù)最后發(fā)現(xiàn)總線在8位模式下沒切過去”的問題。2.2 MMC協(xié)議的工作邏輯命令、響應(yīng)與塊傳輸MMC協(xié)議是典型的主從架構(gòu)。主機(jī)是唯一的發(fā)起方設(shè)備只能被動響應(yīng)。所有操作都由主機(jī)發(fā)送命令開始設(shè)備在完成命令后返回一個或多個響應(yīng)字。說人話就是主機(jī)問一句設(shè)備答一句全程不允許設(shè)備主動開口。初始化流程大概是這樣的CMD0GO_TO_IDLE把所有設(shè)備都拉到空閑態(tài)。CMD1SEND_OP_COND主機(jī)探測設(shè)備電壓范圍和工作條件直到設(shè)備返回“上電完成”。CMD2ALL_SEND_CID讓設(shè)備上報自己的身份信息CID包括廠商ID、產(chǎn)品名、序列號等信息。CMD3SET_RELATIVE_ADDR給設(shè)備分配一個短地址RCA之后的操作都用這個地址尋址。CMD9/CMD7等讀取CSD選定當(dāng)前操作的設(shè)備。CMD6SWITCH讀取或?qū)慐XT_CSD寄存器這是后續(xù)配置分區(qū)、總線寬度、DDR模式、bkops的關(guān)鍵命令。讀寫數(shù)據(jù)的流程則更直接主機(jī)發(fā)CMD17讀單塊或CMD18讀多塊再發(fā)CMD24寫單塊或CMD25寫多塊。多塊寫之前還可以用CMD23指定塊數(shù)避免由于邊界不確定導(dǎo)致跨塊寫被設(shè)備放大。這里要理解一個關(guān)鍵點(diǎn)MMC設(shè)備暴露給主機(jī)的地址空間是線性的、邏輯的。主機(jī)眼里這是一個又一個4KB的塊但設(shè)備內(nèi)部把這些邏輯塊映射到物理頁。這種“主機(jī)只管邏輯地址”的設(shè)計大大降低了上層軟件復(fù)雜度代價是每次寫放大、垃圾回收的實際情況主機(jī)并不能實時完全掌握。2.3 控制器和固件的三件大事映射、回收、磨損均衡eMMC內(nèi)部負(fù)責(zé)存儲管理的是一個微型“SSD主控”它內(nèi)置了FTL固件負(fù)責(zé)把上層邏輯地址翻譯成閃存物理地址。為什么要這套機(jī)制因為NAND閃存有兩條物理鐵律必須先擦除才能寫入而且擦的最小單位是塊Block一般大小為幾MB。寫的單位是頁P(yáng)age一般4KB或8KB但寫入量小于一頁時也會占掉整頁多余空間稱為“寫放大”。因此如果主機(jī)要覆蓋寫某個邏輯頁里的幾個字節(jié)FTL不會真的去覆蓋那塊物理頁而是把新數(shù)據(jù)寫入一個空閑物理頁再把邏輯到物理的映射表更新過去。原來那個物理頁就變成了“無效頁”等這一塊里無效頁攢多了控制器會觸發(fā)垃圾回收把仍有效的頁搬家到別的空閑塊然后整塊擦除。磨損均衡也在這里做文章。垃圾回收會讓有些塊被反復(fù)擦寫有些塊卻幾乎沒動過。FTL要做的是讓所有物理塊的擦寫次數(shù)盡量接近否則個別塊提前到壽命上限整個設(shè)備的可用容量就會縮水。動態(tài)磨損均衡處理頻繁更新的熱數(shù)據(jù)塊靜態(tài)磨損均衡則會把長期不動的靜態(tài)數(shù)據(jù)搬去磨損較少的塊讓那些低頻塊也參與消耗。這三件事全部由控制器在芯片內(nèi)部悄悄完成不占用主機(jī)CPU。這也是為什么eMMC“只是個存儲芯片”但對系統(tǒng)體驗的影響卻可以很大——控制器內(nèi)部一旦忙碌外面的命令就會排隊等待表現(xiàn)在應(yīng)用層就是I/O延遲波動。3. bkops這條熱搜詞背后閃存為什么要“偷偷加班”3.1 閃存不自律數(shù)據(jù)保持、讀干擾和擦寫不對稱如果你只看FTL的日常似乎只要GC和磨損均衡做好就夠了。但閃存還有一些更陰間的物理特性需要在“沒事做”的時候定期維護(hù)這類維護(hù)操作就是Background Operations簡稱BKOPS。第一個問題叫數(shù)據(jù)保持。NAND閃存里的電荷會隨時間慢慢泄漏尤其是TLC和QLC顆粒電荷窗口小泄漏風(fēng)險高。一顆eMMC設(shè)備可能出廠后放在倉庫里半年再上電讀取時發(fā)現(xiàn)某頁的比特翻轉(zhuǎn)已經(jīng)超出ECC糾錯能力。設(shè)備內(nèi)部的讀刷新Read Refresh機(jī)制要把那些快要失效的物理頁讀出來重新編程一遍防止靜默數(shù)據(jù)損壞。第二個問題叫讀干擾。頻繁讀同一個塊會讓相鄰塊里的浮柵電荷受到影響久而久之也會出現(xiàn)位錯誤??刂破餍枰ㄆ趻呙枘切┳x密集的區(qū)域把內(nèi)容搬到新位置并擦掉被“讀亂”的原始塊。第三個問題是磨損均衡的滯后性。FTL的靜態(tài)磨損均衡不會每次寫入都立即執(zhí)行因為頻繁搬動靜態(tài)數(shù)據(jù)反而會造成額外寫放大??刂破鲿鹊较到y(tǒng)有一定空閑資源時分批次地調(diào)整那些磨損不均的塊。這些維護(hù)操作必須在設(shè)備上電后、主機(jī)發(fā)命令的間隙完成因為eMMC不知道下一秒會不會掉電。如果它永遠(yuǎn)等不到“空閑”就會在主機(jī)的下一次讀寫時強(qiáng)行插隊表現(xiàn)出來就是突發(fā)延遲。3.2 Manual BKOPS與Auto BKOPS兩種觸發(fā)方式的門道eMMC 4.5開始JEDEC正式把BKOPS機(jī)制寫進(jìn)規(guī)范。大體分為Manual BKOPS和Auto BKOPS兩種。Manual BKOPS手動后臺操作邏輯如下主機(jī)在合適的時候執(zhí)行SWITCH命令去讀EXT_CSD里的BKOPS_STATUS字段。該字段會給出一個狀態(tài)常見狀態(tài)包括無需操作No BKOPS、需要操作BKOPS Needed、緊急操作BKOPS Urgent。如果狀態(tài)顯示需要或緊急主機(jī)通過SWITCH寫入BKOPS_START告訴設(shè)備“你可以執(zhí)行后臺維護(hù)了”。設(shè)備開始內(nèi)部維護(hù)期間主機(jī)依然可以發(fā)其他命令但性能必然受影響。設(shè)備維護(hù)完成后再把BKOPS_STATUS清回No BKOPS狀態(tài)。Auto BKOPS則更進(jìn)一步。如果主機(jī)在EXT_CSD的BKOPS_EN字段里寫入使能值設(shè)備就可以在內(nèi)部自己判斷時機(jī)在命令間隙自動啟動后臺維護(hù)不必每次都等主機(jī)來“催”。問題恰恰出在這里Auto BKOPS會讓設(shè)備更積極地做維護(hù)但也更不可控。你沒法精確知道它什么時候在“偷偷加班”某次大數(shù)據(jù)量寫入撞上它內(nèi)部GCI/O延遲就可能突然抬升。Manual BKOPS雖然可預(yù)期卻要求驅(qū)動和系統(tǒng)設(shè)計者配合好在空閑窗口主動觸發(fā)如果一直不觸發(fā)設(shè)備只能被迫在工作時刻占用帶寬體驗更差。內(nèi)核里對這兩種模式的取舍標(biāo)準(zhǔn)概括起來就是Devices with poor random write performance often benefit from enabling BKOPS。這句話翻譯成人話就是顆粒越差越需要系統(tǒng)主動幫它安排“加班時間”。3.3 一個真實卡頓案例持續(xù)寫入后性能為什么會崩我在調(diào)試那臺開發(fā)板時復(fù)現(xiàn)性能問題的方式很簡單用dd做幾百兆的持續(xù)寫入同時監(jiān)控iostat。正常前幾秒寫吞吐能到幾十MB/s。持續(xù)寫入幾十秒后吞吐會掉到個位數(shù)并且伴隨明顯的RTO波動。iostat里w_await從十幾毫秒飆到幾百毫秒甚至上秒。這時候查dmesg能看到mmc0: Timeout waiting for hardware interrupt這就是典型的設(shè)備內(nèi)部正在做維護(hù)而主機(jī)等不到響應(yīng)。繼續(xù)用mmc-utils的extcsd讀取可以看到BKOPS_STATUS已經(jīng)處于非No BKOPS狀態(tài)說明設(shè)備覺得自己“有事要做”但主機(jī)沒有及時給它維護(hù)窗口。這個案例復(fù)盤時問題不是設(shè)備壞了而是系統(tǒng)里IO調(diào)度策略太激進(jìn)。我們把所有線程都壓著寫沒有給eMMC留下任何空閑間隙設(shè)備找不到機(jī)會執(zhí)行內(nèi)部GC只能在下一次命令時強(qiáng)行“插隊”把性能波動放大給了每一個上層應(yīng)用。3.4 實操觀測在Linux下查看bkops狀態(tài)與壽命信息想驗證eMMC有沒有在忙后臺操作Linux下最直接的路徑是sysfs和mmc-utils。查看設(shè)備基本信息和壽命估算cat /sys/block/mmcblk0/device/life_time cat /sys/block/mmcblk0/device/pre_eol_infolife_time文件的格式通常是兩個十六進(jìn)制數(shù)分別對應(yīng)類型A和類型B的壽命估算。值越小越好例如0x01通常表示壽命消耗在10%以內(nèi)。pre_eol_info正常值是0x1對應(yīng)“Normal”如果出現(xiàn)0x2Warning甚至0x3Urgent說明保留塊耗盡程度已經(jīng)到了警告線。用mmc-utils看EXT_CSDmmc extcsd read /dev/mmcblk0在輸出里重點(diǎn)找這些字段BKOPS_EN0x01表示Auto BKOPS已使能。BKOPS_STATUS0x00表示當(dāng)前無需后臺操作非0則表示有維護(hù)需求。PRE_EOL_INFO生命周期預(yù)警信息。DEVICE_LIFE_TIME_EST_TYP_A / TYPE_B類型A/B的壽命估算。生產(chǎn)環(huán)境下建議把這些信息接入告警平臺定期記錄壽命消耗曲線。如果一臺設(shè)備life_time在很短時間從0x01跳到0x06不要猶豫優(yōu)先查散熱、掉電次數(shù)和寫入壓力大概率是環(huán)境或配置出了問題。4. 從手機(jī)到工業(yè)設(shè)備eMMC的真實應(yīng)用圖景4.1 手機(jī)上的eMMC存量巨大、體驗寬窄不一手機(jī)是eMMC最經(jīng)典的戰(zhàn)場。安卓早期到中期的存儲幾乎全靠eMMC從eMMC 4.3到5.1每一代升級都在解決體驗問題。后來UFS憑借全雙工、命令隊列等特性把順序讀速度拉到了千兆級別成為旗艦機(jī)首選。但定位入門機(jī)和低端平板的設(shè)備到今天仍在大量使用eMMC。eMMC在手機(jī)里的運(yùn)行方式簡單直觀Boot1分區(qū)存放引導(dǎo)加載器Boot2分區(qū)常用來放恢復(fù)系統(tǒng)RPMB分區(qū)存密鑰、防回滾計數(shù)器等安全數(shù)據(jù)用戶數(shù)據(jù)區(qū)則被分區(qū)成system、vendor、data等。啟動過程中ROM先讀Boot1拉起bootloaderbootloader再通過MMC命令讀取用戶分區(qū)的system鏡像逐步加載內(nèi)核和文件系統(tǒng)。由于eMMC內(nèi)部沒有命令隊列同一時刻只能有一個命令在跑所以多線程隨機(jī)讀寫很容易排隊。這就是為什么低端機(jī)玩一會兒微信就覺得卡——大量小文件隨機(jī)寫擠在一條命令隊列里吞吐自然上不去。UFS引入命令隊列后這個瓶頸被解除了但成本也上去了。4.2 工業(yè)與車載場景對壽命、溫度和確定性的苛刻要求消費(fèi)級eMMC已經(jīng)很成熟但工業(yè)和車載場景對存儲的要求要嚴(yán)苛得多。溫度是第一個分水嶺。普通消費(fèi)級eMMC工作溫度通常在-25°C到85°C工業(yè)級可以做到-40°C到85°C有些車規(guī)級產(chǎn)品甚至要求-40°C到105°C。溫度對NAND電荷保持的影響是指數(shù)級的高溫加速泄漏低溫又影響寫入穩(wěn)定。選型時一定要看顆粒供應(yīng)商明確標(biāo)注的溫度等級別拿消費(fèi)級片子冒充工業(yè)級用。壽命是第二個問題。車載設(shè)備往往要服役7到10年行車記錄儀一類設(shè)備會持續(xù)寫入視頻流。選TLC還是MLC、留多少OPOver-Provisioning空間、控制器固件的磨損均衡策略是否激進(jìn)這些直接決定幾年后設(shè)備是否突然“變磚”。經(jīng)驗上長時間連續(xù)寫入的場景盡量選壽命余量更大的顆粒類型或更高等級eMMC并配合溫度管理措施散熱片不是可選項。RPMB在工業(yè)和車載里也扮演重要角色。安全啟動的密鑰、設(shè)備唯一ID、防止固件回滾的計數(shù)器都存放在RPMB里利用HMAC-SHA256做訪問認(rèn)證能有效防止冷數(shù)據(jù)被惡意重放。如果新板卡連RPMB的基礎(chǔ)讀寫都調(diào)不通基本是密鑰管理流程和驅(qū)動配合沒做好。4.3 選型決策eMMC、UFS、SD卡還是裸NAND選存儲方案不要只迷信參數(shù)表先看你的系統(tǒng)軟件棧、成本約束和生命周期再決定接口。維度eMMCUFSSD卡裸NAND接口8位并行半雙工M-PHY串行全雙工SD協(xié)議/SPI自定義最高理論速度400MB/sHS400830MB/s起幾十到200MB/s取決于主機(jī)實現(xiàn)命令隊列無有無無軟件復(fù)雜度低中低高壞塊/磨損管理芯片內(nèi)部處理芯片內(nèi)部處理設(shè)備端主機(jī)必須自己做使用場景手機(jī)/平板/工業(yè)/車載旗艦手機(jī)/筆記本/高性能嵌入式相機(jī)/樹莓派/消費(fèi)電子定制SSD/極簡系統(tǒng)裸NAND看著便宜但把FTL、壞塊管理、ECC全交給主機(jī)端開發(fā)周期和風(fēng)險會顯著拉高不適合大多數(shù)產(chǎn)品團(tuán)隊。SD卡接口簡單但可靠性、溫度范圍和固定安裝方式都不如焊接式方案。UFS性能最好但成本高而且啟動流程、固件適配相對復(fù)雜。對絕大多數(shù)中低端嵌入式產(chǎn)品來說eMMC仍然是性價比和可靠性最平衡的選項。5. 工程落地避坑記錄對齊、掉電與壽命監(jiān)控5.1 分區(qū)對齊一個小設(shè)置影響整盤GC效率eMMC內(nèi)部光看邏輯塊地址好像很規(guī)律但物理頁、物理塊之間有固定對齊關(guān)系。如果系統(tǒng)給eMMC分區(qū)時起始扇區(qū)不是整數(shù)倍塊邊界對齊比如一個4KB塊被分成兩個分區(qū)跨邊界的寫入就會被FTL拆成多次內(nèi)部操作垃圾回收復(fù)雜度上升寫放大系數(shù)跟著惡化。排查方法很簡單parted /dev/mmcblk0 align-check optimal 1如果顯示不理想重新分區(qū)時讓起始扇區(qū)為8192的整數(shù)倍對應(yīng)4MB對齊這是一個兼顧性能和兼容性的常用做法。很多量產(chǎn)腳本里用fdisk時默認(rèn)起始扇區(qū)是2048在eMMC上雖然也能用但并不是所有顆粒的最優(yōu)選擇。別嫌這步麻煩分區(qū)對齊不對齊在長期運(yùn)行后的壽命和性能差異是能測出來的。5.2 掉電保護(hù)別以為eMMC能扛住一切eMMC控制器有緩存和內(nèi)部映射表掉電瞬間正在寫入的數(shù)據(jù)不一定落盤。雖然大多數(shù)eMMC有掉電恢復(fù)機(jī)制能保證已經(jīng)返回“寫成功”的數(shù)據(jù)不丟但如果系統(tǒng)沒有正確使用刷新命令數(shù)據(jù)可靠性還是打折扣。Linux下常見的坑是文件系統(tǒng)雖然掛在ext4上但沒明確開啟barrier或者上層應(yīng)用不關(guān)心fsync。壓力測試時大文件寫入看著完成了實際上數(shù)據(jù)還躺在內(nèi)存頁緩存里一斷電就丟。更隱蔽的是控制器內(nèi)部的寫緩存需要發(fā)送FLUSH_CACHE命令才能真正落盤。做掉電測試時我的做法是準(zhǔn)備一套循環(huán)腳本交替寫入隨機(jī)數(shù)據(jù)和校驗數(shù)據(jù)。每次寫完固定大小數(shù)據(jù)后調(diào)用fsync并記錄數(shù)據(jù)位置。隨機(jī)時間點(diǎn)切斷電源。重新上電后掛載文件系統(tǒng)并校驗已記錄的數(shù)據(jù)內(nèi)容。反復(fù)跑幾十輪才能對板子的掉電可靠性有底。只做一次冷啟動驗證根本不叫測試。5.3 用sysfs和mmc-utils做壽命監(jiān)控eMMC的壽命不會突然歸零它有明確的“提前量”。定期讀取下面這些信息能幫你預(yù)判設(shè)備剩余壽命。mmc extcsd read /dev/mmcblk0 | grep -E PRE_EOL|LIFE_TIME|BKOPS把每次讀取的結(jié)果記錄下來配合時間戳形成趨勢圖。如果看到pre_eol_info從Normal變成Warning就要開始規(guī)劃設(shè)備輪換或減少寫入了。如果BKOPS_EN一直處于未使能狀態(tài)而設(shè)備又頻繁出現(xiàn)性能抖動可以嘗試在系統(tǒng)啟動早期啟用Auto BKOPS再觀察延遲曲線。有些設(shè)備的壽命信息只能在“可編程區(qū)域”里讀少量廠商還會故意隱藏部分字段。遇到這種情況先確認(rèn)你使用的mmc-utils版本和內(nèi)核版本是否較新再查廠商手冊是否有專有命令。5.4 三個真實踩坑記錄坑一某批次設(shè)備使用半年后壽命估算數(shù)據(jù)異常偏高。排查鏈路是先看dmesg有無異常ECC錯誤再看life_time并配合寫入量估算最后發(fā)現(xiàn)是量產(chǎn)階段的持續(xù)寫入壓力測試次數(shù)過多導(dǎo)致顆粒磨損集中。解決方法是調(diào)整產(chǎn)測流程將全盤寫測試從每臺多次改為抽檢并加軟件升級階段白名單避免每臺機(jī)器都重復(fù)整盤刷寫。坑二開發(fā)板在做持續(xù)數(shù)小時的日志寫入測試時出現(xiàn)周期性卡頓。我一度以為是文件系統(tǒng)問題后來抓取iostat發(fā)現(xiàn)w_await周期性飆升再讀BKOPS_STATUS確認(rèn)是有后臺操作發(fā)生。解決方式是調(diào)整測試腳本每寫一段數(shù)據(jù)后主動追加sleep間隙同時在內(nèi)核配置里打開Auto BKOPS讓設(shè)備提前利用這些間隙做維護(hù)卡頓現(xiàn)象明顯緩解??尤彻た卦O(shè)備在高溫老化工序后上報的啟動時間變長。排查發(fā)現(xiàn)是高溫箱內(nèi)溫度達(dá)到85°C以上NAND讀干擾和電荷泄漏加重FTL頻繁做讀刷新和重試。解決方案是把老化溫度上限調(diào)低到70°C并在老化后的開機(jī)流程里增加文件系統(tǒng)自檢同時加入溫度降額控制邏輯高溫環(huán)境下主動限制寫入頻率。這三個坑有一個共同點(diǎn)都不是eMMC芯片“壞了”而是系統(tǒng)沒有充分理解存儲介質(zhì)的工作方式。對齊、掉電、溫度、維護(hù)窗口這些詞看起來是參數(shù)手冊里的小字實際卻是決定產(chǎn)品長期可靠性的關(guān)鍵?;氐介_頭那個問題“mmc bkops”為什么會被反復(fù)搜索因為它代表了eMMC性能世界里最不可預(yù)測的那部分。對普通開發(fā)者來說建議不要只停留在“性能變差就換芯片”的層面先學(xué)會看BKOPS_STATUS、壽命字段和寫放大數(shù)據(jù)很多時候優(yōu)化一個后臺操作的窗口比整體更換存儲方案更有效。我現(xiàn)在做新板卡選型時都會把BKOPS機(jī)制是否可調(diào)、壽命監(jiān)控是否有標(biāo)準(zhǔn)接口放進(jìn)評估表。存儲這行沒有玄學(xué)所有看似突然的故障翻開手冊都能找到源頭。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97精品综合久久| 99精品偷拍视频| 操日本色| 五月天激情小说网| 亚洲激情免费视频| 五月婷婷天天| 激情综合五月| 日本人妻伦在线中文字幕| 狠狠搞亚洲| 91爱操| 欧美日韩大黄| 激情九色| 久久精品熟女亚洲AV麻豆| 第四色五月婷婷| 色国产五月| 人妻五月天激情开心网| 久久性爱99国产| 五月丁香六月激情在线| 99热这里只有精品官网| bbwcuckold精品熟妇| 91美女啪啪| 不卡在线超碰| 26UUU精品一区二区| 天天久久人人| 国产免费一区二区在线A片视频| 色婷婷在线视频久| 99国产小视频2013| 久久婷婷成人| 踪合专区啪啪| 九九色精品| 天天爱天天做天天爽| 91在线就要啪| 日本色噜| 色欲色天天香综合| 婷婷玖玖五月天| 激情五月天婷婷| 久久久无码精品成人A片小说| 99无码免费视频| 91久久五月天| 久久免片| 99在线精品免费视频| 五月婷婷激情四季| 婷婷五月天激情电影| 五月婷婷久久综合| 婷婷91| 丁香激情网| 森林影视大全,最好看的2019年视频 | 婷婷五月天AV| 91人人爽久久涩噜噜噜| 九九99精品视频在线观看| 女人被男人吃奶到高潮| 激情五月天婷婷久久久久久久久久久| 久久婷婷青草五月天| 婷婷六月综合基地| 五月激情综合性爱| 92国产福利| 日韩久久日| WWW嗯嗯啊啊啊啊| 丁香六月五月天| 99婷婷国产最新视频| 久久婷婷成人综合色怡春院| 99∨VTV| 激情黄色五月天| 久久五月天婷婷视频| 五月丁香六月香香蕉| 第1影院之五月婷婷| 丁香婷婷欧美综合| 丁香六月婷婷社区| 亚洲综合在线播放| 色婷婷a| Av大香蕉| 色五月激情五月| 日本三级中国三级99| 91热网址| 丁香五月成人社区| 亚洲日韩成人三级av| 一本大道嫩草AV无码专区| 99热这里精品| 色婷婷99| 亚洲激情四谢| 色九区| 五月天小说激情| site:jszngf.com| 99热 免费| 梁铮版《蜘蛛女侠》在线| 26uuu欧美日韩| 男女99免费视频| 99re热精品在线视频| 久久久五月天| 激情综合色| 99热这里只有精品2024| 五月丁香啪啪网| 五月婷婷六月天| 中文字幕精品在线观看| 91久久婷婷| 久久伊人五月天| 99超级碰免费视频| 97久久超视频| 欧美精品999| 婷婷五月成年人| 五月天色婷婷小说| 99啪啪网| 青柠影视免费高清电视剧| 97婷婷五月丁香| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 少妇激情五月天| 中文字幕 中文字幕明步| 丁香五月社区| 婷婷久久内射| 亚洲色婷婷婷婷人人爽| 婷婷五月天视频亚洲| 生活片五区| 天天精品视频免费观看| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 日本久久婷婷| 99超超碰| 99热自拍| 婷婷丁香五月天激情| 婷婷色中文字幕| 成人综合网站| 97婷婷丁香| 噜一噜免费视频| 六月亭亭久久综合激情| 色五月婷婷亚洲| 亚洲亚洲人成综合网络| 91婷婷丁香五月| 狠狠88综合久久久久噜噜噜| 五月婷婷激情中文字幕| 亚洲综合网在线| 婷婷天堂视频| 激情小说 五月天| 99热综合网| 日日影院 | 亚洲在线成人| 狠狠干2007| 日本爆乳片手机在线播放| 思思热视频| 色五月综合网站| 五月天激情黄色小说在线观看| 五月婷婷婷婷婷| 色啪网| 午夜九九电影| 五月综合婷婷网| 骚。com| 五月天激情婷婷| www.久久久久久久久久.com| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 婷婷中文字幕欧美| 思思99精品视频在线观看| 五月婷婷天天| 婷婷五月丁香国产| 五月婷婷影视| 精品人妻伦一二三区久久| 任你干嘛免费视频播放| 午夜丁香六月婷| 五月天狠狠网| 婷婷丁香宗合888| 亚洲亚洲人成综合网络| 亚洲AV人人操| 婷婷综合在线| 久久综合九色综合97婷婷| www.97碰碰com| 伍月婷婷六月丁香| 九九色婷| 99爱视频免费看| www,色婷婷| 亚洲天堂碰碰婷婷| 99精色| 大香焦啪啪啪| 五月婷婷中文网| 日本色色网| 成人短视频免费| 激情五月丁香激情综合网 | 国产成人精品一区二三区熟女在线 | 97sese婷婷| 色国产五月| 国产激情视频在线观看| 狠狠干综合| 亚洲美女网Va| 色色五月天丁香婷婷| 五月丁香五月婷婷在线观看| 五月婷婷与六月丁香图片激情| 超碰在线视屏| 免费无码毛片一区二区A片| 艹B高清无码| 9 1大香蕉| 婷婷五月天综合网| 在线色色| 深爱激情婷| www日本熟妇99在线视频| 色必久悠悠影院| 六月丁香婷婷综合在线| 狠狠爱五月婷婷| 婷五月天| www九九热| 五月丁香免费视频| 日本天天综合| 玖玖九九超碰| 五月天激情视频| 婷婷六久久| 五月天狠狠草| 久久99激情| 99热免费精品| 99热9| 色婷网| 玖玖伦理电影| 青吴乐视频| 丁香五月天AV在线| 色娸娸综合网| 激情五月丁香亭亭| 色婷婷在线播放| 久久婷婷综合网| 婷婷天堂综合| 黑人巨粗进入警花疼哭A片| 天天综合五月| 97人妻碰碰碰碰碰久久久久久| 亭亭玉月丁香| 丁香六月婷婷综合激情欧美| 国产精品成av人在线视午夜片| 无码字幕中文| 天天色噜| 丁香五月婷婷综合视频| 九九九AAA热视频| 99色| 欧美色骚婷婷五月天| 免费看欧美成人A片无码| 婷婷开心激情综合五月天| 就爱日五月天| 亚洲精品视频在线| 亚洲五月天婷婷在线| 玖玖热99| 欧美色骚婷婷五月天| 夜夜穞天天穞狠狠穞AV美女按摩| 六月99天天婷婷激情综合| se色99| 综合九九中文字幕| 久综合九综合99| 久热这里| 五月婷婷六月爱| 99玖玖视频| 婷婷五月综合色小姐小说| 婷婷五月天激情在线| 97精品综合久久| 亚洲狠狠终合停停终合| www.婷婷| 色99色| 日本成人噜噜噜| WWW.五月天9999| 精品导航在线x不卡| 99热这里全都是精品| 婷婷五月天亚洲| www.狠狠色.com| 91怕怕网| 五月天色色色网| 深爱激情综合| 天天色亚洲| 婷婷五月丁香综合激情| 五月天天爽| 色青青视频| 久久五月天激情美女| www.com亚洲网站在线免费| 国产麻豆视频| 午夜在线成人网站免费观看| 婷婷碰碰| 五月天色欧美| 久久亚洲无码| 日韩超碰在线| 99操逼| 久久婷婷网| 亚洲视频码| 日韩国产在线精品| 欧美性生交XXXXX无码小说| www.色综合| 天天肏天天肏天天肏| www,av好吊操| 天天色天天| 思思热视频| 中文字幕婷婷五月天在线观看| 99成人精品六| 五月丁香在线婷婷美女| 激情亚洲网| 日韩另类在线观看| 五月伊人91| 亚洲亚洲人成综合网络| 九九婷婷网五月天| 婷婷五月色激情欧美激情| 无码日本精品XXXXXXXXX| 国产婷婷五月在线视频| 日韩野外 无套| 丁香五月综合激情啪啪| 色色五月天婷婷| 99久久九九| 操一区| 开心婷婷五月| 久久九九思思| 久久久五月婷婷| 国产激情在线| 亚洲色欲欧美一区二区三区| 久久开心五月婷婷| 五月综合久久| 丁香五月天堂网| 久久女婷| 九九热青青草| 大香蕉520| 99热这里在线精品| 五月婷婷影| 9九色首页| 免费黄色片子| 九九九九操逼| 影院久久久| 97婷婷在线| 二色AV| 亚洲视频另类| 色青五月天| 这里有精品| 久久婷婷91| 情欲禁地| 5五月综合网亚洲| 国产人妻777人伦精品HD| 五婷婷综合网| 色色色色色色色色网站| 精品人妻伦一二三区久久| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 色婷婷五月天小说| 九九热精品视频九九| 偷拍视频五月天| 欧美丁香六月激情视频| 色五月激情五月天| 蜜臀av粉嫩av懂色av| 国产婷婷五月在线视频| 成年人最刺激的综合网| 婷婷性爱| 人妻丰满精品一区二区A片| 国产人妻777人伦精品HD| 青草视频在线播放| 精品久久久人妻| 超碰AAAAAAV| 久久伊人日日夜夜| 热99这就是精品视频| 26uuu精品一区二区| 色五月激情五月| 四色五月婷婷| www综合久久| 亚洲精品网址| 99re热视频这里只有综合亚洲| 丁香五月婷中字幕| 色婷婷狠狠18| 婷婷丁香97| 久久激情五月婷婷| 日产精品一线二线三线芒果| se.久久视频在线观看| 七七色色综合| 99久久a线观| 婷婷激情五月天亚洲综合| 五月丁香婷婷综合视频| 五月色丁香婷婷综合| 婷婷综合另类| 台湾综合丁香五月蜜桃| 深爱激情五月婷婷| 五月婷婷丁香六月| 激情丁香五月| 荡乳尤物3HP1V5| 欧美黄色一级| 婷婷五月激情四月综合 | 激情av| 中文字幕成人| www91久久| 啪啪色激情五月天| 亚洲这里只有精品| 欧美成人精品A片免费一区99| 婷婷五月激情欧美大胆视频| 超碰精品手机在线| 亚洲激情综合色站| 亚洲视频色婷婷| 97日本在线播放| 天天人人天天爽| 99re在线观看| 五月开心婷婷网| 色婷婷狠狠爱| 俺也去婷婷五月天第五色| 五月婷婷综合激情网| 97资源欧美日韩大香蕉超碰一区| 日本婷久久| 激情五月,激情综合网| 九色色| 亚洲xx在线| 六月五月婷婷| 精品九九网| 99在热线免费视频| 九九人人自拍| 99热精品无码| 天天狠狠婷婷在线| 国产黄大片在线观看画质优化| 久久视频婷婷视频| 六月婷婷天堂| 欧美综合五月丁香六月婷| 丁香 久久| 亚洲操B| 色黄啪啪| 亚洲免费看片| 密臀久久| 日韩二区搞逼插逼毛片| 五月婷婷丁香婷婷| 国产伦理精品高清在线观看网站一区二区 | 五月丁香色欲| 超碰93在线观看| 久久一品区| 欧美六月| 噜噜噜久久| 人人妻人人澡| 丁香六月激情毛片| 色综合激情| 嫩草AV久久伊人妇女超级A| 99人人操人人爱久久久| 少妇性按摩无码中文A片| 精品人妻一区二区三区在| 超碰人人在线| 色一情一乱一乱一区91Av| 强辱丰满人妻HD中文字幕| 东京热免费视频| 亚洲无码11| 蜜桃婷婷狠狠久久综合| 五月色色激情网| 色欲久久99精品久久久久久| 五月婷婷亚洲色图| 噜噜久| 天堂成人A片永久免费网站| 天天操夜夜爽天天操| 婷婷五月综合网| 91人人妻人人操人人爽| 色五月婷婷五月天激情综合| 色色五月天com| 女力报到正好爱上你| 九九色网专区| 婷婷日日夜夜| 99er热精品视频| 自拍盗摄 另类| 免费一区二区三区| VfJxEwPH| 综合五月丁香97| 极品人妻VideOssS人妻| 全高清无码视頻| 国产精品电影网| 91碰超| 开心五月综合激情网| 9久久婷婷国产综合精品性色| 少妇2做爰HD韩国电影| 精品九九久久| 久久久免费精彩视频| 激情国产五月| 五月婷婷激情中文字幕| 91超碰九色| 六月丁香久久| 综合激情网| 密着浓厚中出乚交尾GvG935| 久久思思精品| 全高清无码视頻| 五月综合无码| 丁香婷婷六月激情综合| 丁香九月综合在线| 丁香九月激情| 99热这里只有精品一| 成人在线观看精品| 五月亭亭狠狠| www九九热| 五月婷婷六月天| 婷婷深爱五月亚洲综合| 婷婷狠狠干| 五月天激情小说欧美激情| 久9热视频| 亚洲综合五月| 五月伊人视频在线看| av一区二区电影免费在线观看| 激情五月影院| 99热99网| 香蕉视频性爱BB做爱| 色综合天天| 九九精品在线视频观看| 97人碰人操| 日本在线99| 激情六月丁香综合| 99精品偷拍视频| 99精品视频免费观看| 激情五月六月丁香| 996热re视频精品视频| 中字幕视频在线永久在线观看免费| 午夜婷婷五月天| 大香蕉中文| 91啪啪视频| 久久色这里只有精品| 97操在线视频| 色综合婷婷99| 九九精品热| 人人天堂操| 99碰| 狠狠色丁香乆乆| 成人综合AV| 色五月视频无码播放| www91在线| 狠狠狠狠狠干| 99riAv1国产在线观看| 91无码一起草| 天天日婷婷| 五月丁香亭亭操逼| 色婷婷yy久| 五月丁香六月情| 99热免| 九九热视频网站| 亚洲第一av| 久热免费视频| 天天日天天爽夜夜爽| 五月丁香激情婷婷综合字幕| 婷婷五月中文字幕| 国产一级黄色影片,| 天天干电影| 丁香五月天中文字幕| 五月天婷婷黄色视频| 色五月婷婷伊人| av九九| 97碰碰视频| 色婷婷五月天堂资源| 久热这里只精品| 新激情综合| 大香蕉久| 熟女激情五月天| 99无码精品| 成人性爱精品视频| 激情狠狠丁香月| 九九99久久| 婷婷五月天综合AV| www.99免费视频| www,99视频| 国产成人精品123区免费视频| 丁香五月自拍| 欧美日本黄色| 99九九玖玖| www.婷婷.com| 婷婷五月激情视频| 丁香五月激情综合啪啪| 99久久99热| 色呦呦免费观看| 一操久久| 日本女人久久| 亚洲成人无码网站| 九九综合色综合| 免费操超碰| 91制片厂久久久国产电影| 高清无码网址| 五月丁香大相交| 亚洲婷婷欧美婷婷| 成人网址在线观看| 久久九九@| 亚洲天堂aaaa| 丁香婷婷色九月| 五月婷婷丁香俺日污视频| 久久这里有| 另类综合网| 五月丁香六月婷婷亚洲| 四虎婷婷五月天| 色婷婷五月基地在线| 婷婷大美在线| 天天干夜夜欢| 婷婷五月激情在线视频| 人人色婷婷| 色噜噜狠噜噜视频| 天天噜日日噜综合无码| 丁香婷婷五月| 色情综合网| 国产成人亚洲综合A∨婷婷| 中文av网| 精品欧美一区二区三区久久久| 北京熟妇搡BBBB搡BBBB| 91919191919久久成人视频| 丁香狠狠干| 中文超碰视在线| 久久99免费视频| 97操碰在线视频| 秋霞成人毛片一级A片| 六月婷婷啪啪| 99热超碰| 夜夜天天天天天干天天爽| 久久婷婷在线| 久久久这里有精品| 91人人操人人| 天天干天天色综合| 精品一二三区久久AAA片| 婷婷丁香五月社区亚洲| 九色视频九色九色91jiuseshipin| 久草 tingting| 超碰啪啪网| 五月婷婷9| 色五月婷婷操逼| 亚洲综合网区| 精品综合五月| 这里只有精品2| 夜夜爽天天爽| 五月丁香六月婷综合成人综合 | 亚洲AAA| 婷婷五月丁香伊人网| 丁香婷婷视频在线| 丁香六月激情综合| 在线超碰免费| 综合精品99| 九九久久精品| 亚洲AV成人无码精品| www.yw尤物| 综合另类激情| 性日本激情| 亭亭五月激情亚洲在线| 久久激情五月婷婷| 欧美五月停| 五月丁香狠狠爱婷婷综合| 色色影院黄大片| 婷婷激情六月中文| 99免费在线视频| 久碰视频| 五月天婷婷社区久久综合| 丝袜人妻| 深爱激情五月婷婷| 午夜大香蕉| www色综合亚洲92| 日韩婷婷五月| 五月丁香成人网| 五月丁香六月成人| 97自拍视频网| 色噜噜综合网| 色婷婷色人人射| 婷婷五月电影院| JlZZJlZZ8JlZZ亚洲熟女| 婷婷精品在线| 天天拍久久| 亚洲成人影视在线观看| 91成人看| 丁香五月婷婷亚洲综合精品在线| 超碰成人在线观看| 九九精品9| www。五月天激情| 五月天婷婷影院影院观看| 国产精品久久久久久久久久免费| 色婷婷88| 欧洲高清免费久久| 东京热免费视频| 欧美日韩国产成人在线| 91男同| 五月婷婷手机在线| 熟妇人妻中文字幕无码老熟妇| 色婷婷丁香综合中文字幕| 99热日韩| 日韩在线看AV| 888精品福利地址| 日本在线va| 两性婷婷丁香五月| 五月丁香六月婷婷中文版| 久久xx| 九九综舍久久| 丁香五月五婷| 91干网站| 国产五月天激情小说| 4399人妻无码久久久| 99热网精品| 天天五月丁香五月| 久久九九99| 91成人看片| 午夜色丁香| 福利视频在线播放| 99re在线视频| 色色色热| 亚洲天堂有码| 六月丁AV| 琪琪狠狠干| 欧美噜噜免费观看| 九九人人操| 激情综合女人网五月播播| 五月丁香香蕉| 六月丁香激情| 激情AV| 丁香狠狠色婷婷| 婷婷色五月丁香六月欧美啪| 日本色色色| 婷婷久草| 激情q青青草在线婷婷| 九九在线精品| 天天插天天很| 99干免费视频| 久久人妻久久| 丁香久月婷| 五月婷婷婷丁香播| 婷婷中文无码| 天天干天天做| 婷婷99视频精品| 婷婷中文字幕| 丁香婷婷六月激情文学| 日欧一片内射VA在线影院| 天天操天天操综合| www.一区二区三区| 五月天开心婷婷激情网站| 超碰中文字幕在线| 色婷婷综合久久久久| 在线不卡视频| 白人荫道BBWBBB大荫道| 五月丁香青草综合啪啪| 激情婷婷五月天丁香| 丁香五月婷婷综合精品素人| 综合婷婷久久| 日本不卡高字幕在线2019| 亚洲综合视频网| 色日本五月天| 欧美综合婷婷欧美综| 国产高清av黄色看片| 激情五月天伊人av| 色婷婷五月色| 超碰免费在线| 久久性爱网站| 国产婷婷五月| 色色综合网站| 涩五月丁香| 狠狠 久久| 91操网| 思思热久久阴99| 性一交一乱一交A片久| 色五月婷婷av| 大香网伊人久久综合| 99视频精品8 | 免费色色色| 色操综合| 91玖玖| 东北婷婷五月天| 五月天丁香综合在线| 婷婷五月天亚洲| 亚洲精品色色色| 99视频九九热| 秋霞成人毛片一级A片| 无码AV免费精品一区二区三区| 天天色综合图片| 色婷婷久久综合| 激情都市另类| 色播婷婷五月天| 欧美性爱特黄一级aaaassss| 182TV大香蕉| 国产AV一区二区三区最新精品 | 久啪欧美| 91狠狠综合久久| 九九无码| 日本九九热| 五月婷婷色情| 丁香五月天AV在线 | 婷婷婷婷婷婷婷婷| 亚洲网站观看视频| 99热97| 五月天激情网图片 - 百度| 777久久久| 亚洲亚洲人成综合网络| 久热AA| 丁香五月婷婷色播艳门照| 台湾综合丁香五月蜜桃| 国产精品国产| 婷久久久| 欧美槡BBBB槡BBB少妇| 狼人婷婷久久| 日日夜夜狠狠操| 丁香五月日啪| www超碰| 99九无网码| 99久久婷婷五月| 男男野外做爰全过程69| 婷婷色六月| 五月天婷婷在线视频| 国产99视频永久免费| 婷婷在线播放av| 偷拍91九色| 色碰97| 国产偷人爽久久久久久老妇APP| 亚洲综合视频在线| 婷婷五月天天爽| 青青草蜜臀| 99精品色色| 99啪啪视频| 五月天婷婷社区久久综合| 成人亚洲精品久久久久 | 丁香五月AV综合| 五月丁香六月香香蕉| 久热伊人9| 国产女18毛片多18精品| 三十熟女| EEUSS鲁片一区二区三区| 五月天婷婷在线AN| 国产精品久久..4399| 婷婷色五天| 夜夜躁爽日日| 91九色中文字幕女在线观看| 天天操夜夜操| 五月天婷婷激情| 色色色热热热| 五月婷婷视频| 色噜噜狠狠色综无码久久合欧美| 综合婷婷都市激情| 色色 9| 激情综合激情五月一起草| 99热这里只有精品热| 就爱干 在线| 天天综合图片| 色五月成人在线| 五月天婷婷深深爱| 一本伊人色婷| 久久久久思思热| 色婷五月丁香久亚洲| renrencaoav| 激情纯色婷婷五月天在线不卡视频| 日本色色网站| 婷婷五月综合网| 任我肏| 丁香五月婷婷亚洲人| 97丁香五月天| 色色色色色色色色色999| 婷婷色Av| 久久99精品久久只有精品| 狠狠干夜夜干| 综合激情在线| 婷婷深爱五月| 思思9久久| 91嫩草国产线观看亚洲一区二区| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 99热精品99| 五月婷婷色五月| 丁香五月天啪啪| 热99一二三| 亚洲综合五月天婷婷| 99久久国产宗和精品1上映| 激情五月天婷婷色色色色色色色色色色色 | 日本操天堂| 色婷婷很很丝袜| 人人综合色| 久久超级碰视频| 9精品视频在线观看| 亚洲操操| 婷婷涩五月天综合| 丁香五月婷婷视频| 久色视频| 婷婷无五月无码视频| 亚洲成人无码片| 99五月婷| 色欲婷婷夜夜| 亚洲色色香蕉| 啊V视频在线观看| 农村熟妇高潮精品A片| 五月精品99综合| 免费看片在线观看| 丁香六月啪| 丁香五月婷婷丫| 婷婷丁香色情五月天| 五月婷婷99热| 国精产品一区一区三区免费视频 | 日本三级大片| 超碰啪啪网| 婷综合| 开心色播色五月婷婷| 五月天激情视频| 91久久99久久91熟女精品| 大香蕉丁香五月| 色八月婷婷| 深爱激情六月天| 这里只有精彩视频| 五月天婷婷久草丁香| 深爱女色婷婷丁香五月亚洲图区| 九九爱激情| 中文字幕成人| 激情国产五月| 91狠狠综合久久久久久| 天天草天天日| 中美日韩成人在线| 色一色综合| 亚洲第一黄网| 五月丁香六月婷婷久久| 狠狠干综合| 亚洲无aV在线中文字幕| 五月丁香色五月| 婷婷五月激情中文字幕| 国产肥白大熟妇BBBB视频| 99视频在线播放大全| 啪啪激情网站| 啪啪91| 国产.亚洲.欧洲视频在线| 手机激情网| 99热综合色图| 亚洲A片成人无码久久精品青桔| 五月天三级久久| 亚洲精品五月| 人妻久久久久久| 99亚洲精品视频| 无码人妻一区二区三区免费九色| 五月天精品视频| 超碰人人操| 五月丁香婷婷潮喷中文字幕| 激情综合色| 丁香婷婷大香蕉| 亚洲视频色婷婷| 久久久宗合视频88| 日韩操人| 日韩高清成人| 七月激情六月婷婷综合在线播放| 超碰精品手机在线| 五月天婷婷激情在线色图| 五月丁了香蕉综合| 久久久久久丁香五月| 婷婷在线视频| 激情五月丁香五月| 天天久综合| 国产婷婷婷| 亚洲欧洲色色| 欧美日韩成人在线| 狠狠爱婷婷爱| 色五婷婷在线视频| 丁香五月熟女| 亚洲五月天婷婷在线| 亚洲无AV在线中文字幕| 亚洲欧美综合7777色婷婷| 婷婷五月综合激情免费视频| 蜜臀久久99精品久久久久久酒店| 另类五月婷婷| 天天干天天做| 久久天天天| 五月丁香婷婷色| 国产精品成人AV在线| 天天射影院| 99久久精品国产色欲| 丁香五月六月综合激情| AV网在线观看| 人人看人人草人人摸| 国产av一区二区三区| 婷婷五月天激情综合婷婷五月天激情综合| 99热这里只有精品在线观看| 五月丁香色婷婷婷基地| 色情五月丁香| 九九视频精品这里只有| 777精品久无码人妻蜜桃| 五月天婷婷三级黄| 婷婷激情五月| va婷婷在线| 亚洲亚洲人成综合网络| 综合五月天天天天天五月| 国产精品天天狠天天看| 亚州性爱99| 五月丁香另类网| 26UUU精品一区二区c〇m| 日本91在线播放| 夜夜操激情| 午夜九九九九九九| 欧美激情综合色综合啪啪五月| 色播五月天婷婷老师| 成人精品人妻| 99热精品99| 99热这里只有精品2| 久久九九视频网站| 久久九九99| 亚洲久热无码| 九九99男女视频在线观看| 亚洲婷婷激情综合激情999精品| 丁香五月天狠狠操| 337p大胆噜噜噜噜噜91Av| 婷婷丁香色五月亚洲| 色偷偷AV亚洲男人的天堂| 婷婷五月AV| 久久人视频| 婷婷久久五月天丁香| 婷婷五月天色| AA片在线观看视频在线播放| 激情五月天小说| 色碰干| 丁香五月婷婷基地| va亚洲中文在线| 九九精品热播| 久久丁香五月婷婷| 天天日婷婷| www.无码com| 六月丁香啪啪啪| 五月丁香啪啪激情| 97caop| 激情五月婷婷五月| 深夜男女福利刺激影院一区完整| 开心激情站| 六月丁香成人网| 五月丁香婷婷久久| 性按摩玩人妻HD中文字幕| 欧美成人色婷婷| 亚洲AV中文在线| 日本熟妇乱妇熟色A片蜜桃| 久热这里只有精品视频免费观看| 99久久精品色老| 成人国产欧美大片一区| 强伦轩人妻一区二区电影| 色欲五月婷婷| 情欲禁地| 99无码视频| 五月丁香综合伦理片| 激情丁香久久| 婷婷色五月激情| 激情六月日韩| 日本一级一级一级一级| 色婷婷yy久| www久久99| 亚洲第一第二网站| 日韩三级片一区二区| 色吧99| 婷婷伊人网| 激情五月丁香亭亭 | 婷婷在线精品| 天天成人丁香美女AV| www.五月婷婷久久.com| 97luluse| 色色激情五月天| 俺去啦综合网| 国产日产成人亚洲欧美国产VA| 99人人干人人操| 狠狠干综合| 婷婷六月激情在线视频| 黄色大片又大粗又爽| 婷婷丁香五月天操逼| 色激情五月| 九九婷婷网五月天| 色婷婷五月天天天天天天天天天| 99久在线精品| 91九色在线观看免费| 天天日夜夜爽| 色99日韩| 另类小说激情五月天| 亚洲舔观看| 玖玖国产视频一区| WWW久| 91嫩草国产线观看亚洲一区二区| 色色日本| 久久3p| 丁香六月久| 五月色精品| 美女丁香五月天| 九色视频91疯狂| 熟美女麻豆| 丁香伍月婷电影全集| 婷婷丁香成人| 五月六月婷| 丁香五月六月欧美| 久久99热免费| 99re思思| 操人无码| 操一区| 久9精品视频| 很很色丁香久久停停| 丁香五月激情五月| 操操操B| 免费无码毛片一区二区A片| 99在线精品视频| 五月丁香影院| 99爱视频| 婷婷五月天激情开心网| 狠狠色噜噜狠狠| 五月天色婷婷成人| 天天操夜夜肏| 五月天伊人日日噜影片AV| 翔田千里aV中文字幕| 在线五月婷婷小电影| 日本久久人| 久久日韩婷婷五月| 大香伊人婷婷影院| 五月丁香婷婷99| 色婷婷yy久| 日韩野外 无套| 色yeye色综合| 婷婷五月综合免费在线| 免费成人中文字幕| 9久操| 日韩精品无码AV| 九九精品re免费视频| 大香久久综合网| 日本无码专区| 一区操| 乱精品一区字幕二区| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲熟妇AV乱码在线观看| 五月香六月婷| 综合久久六月| 五月丁香六月激情欧美综合| 婷婷丁香五月精品| 激情五月综合ì香亚洲| 五月婷婷综合色啪| http://www.lingjunshare.com/| 性爱电影科技贸易有限公司| 婷婷久久六月费| 视频色色色色色色| 精品三区影院| 激情五月综合网最新 | 亚洲第精品| 99秘 在线| 99精品免费欧美小视频 | 欧美色婷婷| 婷婷激情视频欧美视频自拍视频欧美剧 | 婷婷五月天激情电影| 婷婷九月综合| 丁香五月Av| 江苏少妇性BBB搡BBB爽爽爽 | 九色七七| 丁香亭亭久久| 天天激情综合| 五月天婷婷永久免费视频| se影音资源在线观看| 91丨九色丨熟女丰满| 99re在线观看| 亚洲欧洲中文日韩久久AV乱码| 日韩一级| 人妻aV在线| 激情五月黄色小说| 狠狠草婷婷| 色停停五月天| 婷婷丁香宗合888| 色色热| 丁香婷婷成年| 大香蕉 伊人夜| 亚洲va日| 亚洲色 视频| 99热综合色图| 99热精品在线在线| 久久婷婷艹| 亚洲另类电影| 六月婷婷影院| 色色色国产| 中文字幕精品无码一区二区| 国产黄色av| 无码地址| 天天草比天天爽| 色五月婷婷五月| 综合福利网| 99精品超在线播放| 欧美又粗又大一区二区在线观看| 五月天婷婷成人资源站| AV在线资源| 大香蕉220| 影音先锋一区二区三区| 初夜av| 婷婷五月色综合| 亚洲AV在线免费看| 啪啪丁香五月| 五月六月激情| www.婷婷.com| 久久久色情| 五月婷六月综合在线观看| 热思思| 九九热在线视频| 秋霞九九无码| 91九九| 99视频在线精品免费观看2| 婷婷99狠狠躁天天躁中| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 97视频.干com| 国产精品久久久60086| 五月丁香婷婷综合| 日韩人人操| 综合久色五月| 久久多色| 91久久国产综合久久| 大香蕉啪啪啪| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 婷婷性爱综合| 精品99只有。| 婷婷中文字幕| 色综合网页| 99丁香五月婷| 久99久精品| 9色免费网| 亚洲婷婷婷| 婷婷五月激情网| 秋霞日本免费毛片A片| 五月丁香龟婷婷| 激情五月综合网| 91色噜噜狠狠狠狠色综合| 丁香 婷婷 亚洲 熟女| 91久久久久久久| 欧美人人操| 五月婷婷激情五月| 婷婷五月丁香亚洲| 婷婷丁香视频在线观看免费 | www.97碰碰com| 日韩五月婷婷久久| 亚洲 无码 中文字幕 中出| 九九伊人网| 色综合中文| 五月婷婷在线视频观看| 9l视频自拍九色9l黑人| 啪啪婷婷五月天激情| 99热老司机| 丁香五月天.com| 99re热视频这里只精品| 婷婷丁香五月社区亚洲| 亚洲亚洲激情| 夜夜谢天天干| 97操视频| 激情性爱五月天| 色情五月婷| 亚洲乱码w在线观看| 丁香五月久久社区| 激情综合五月激情XXXX| 人人摸人人干| 五月丁香啪啪啪| 五月天婷婷在线视频| 色婷五月天| 九月激情网| 99 re视频一区| 99久久99久久| www激情网站| 天天干天天拍| 青青草Avb在线| 九九这里有精品| 日韩有码久久| 色情五月停停丁香| 婷婷综合玖玖五月| 五月丁香色婷婷婷基地| 国产亚洲精品久久久久久豆腐| 婷婷五月综合婷婷| 囯产精品久久欠久久久久久九大| 91超碰人人操| 天天爽天天操| 激情综合五月激情17| 97色色网| 26uuuavcom| 午夜不卡久久精品无码免费| 天天操天天爽天天爱| 无码少妇高潮喷水A片免费| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99色综合| 九九草热在线观看| 色五月,com| 5月婷婷激情网| 人妻操日日| 成人视频在线免费播放| 免费看片在线观看| 九九热在线视频,| 97成人操| 成人丁香五月| 99丁香五月婷婷在线| 黄网在线观看免费| 九九99免费视频| www.91久久| 日本在线噜噜| 91超级碰人人操| www99在线观看视频| 超碰chaompinm| 强壮的公次次弄得我高潮A片日本 | 狠狠操天天操综合| www.久操| 激情五月天综合网| 欧洲综合视频| 久久激情综合| 日日夜夜小色哥| 婷婷综合在线播放| 日韩人妻无码专区| 91婷婷五月天综合视频| 色婷婷四虎| 狼友超碰| 亚洲丁香五月美女| 五月黄色婷婷| 在线日韩视频| 丁香五月天欧美| 91热手机在线| 99综合网| 五月丁香狠狠| 97热在线精品| 婷婷五月花| 天天弄天天操| 色情五月丁香婷婷网|