99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux下ACPI設(shè)備管理實戰(zhàn):從電源管理到固件異常排查

Linux下ACPI設(shè)備管理實戰(zhàn):從電源管理到固件異常排查 1. 先搞懂ACPI在Linux里到底管什么1.1 ACPI不是“驅(qū)動”而是一整套電源和硬件描述規(guī)范很多接觸Linux不久的朋友看到“acpi設(shè)備”這幾個字第一反應(yīng)是“這又是哪個驅(qū)動”。這個理解不算全錯但容易把人帶偏。ACPI的全稱是Advanced Configuration and Power Interface也就是“高級配置與電源接口”它是一套由Intel、Microsoft、Phoenix等公司聯(lián)合定義的軟硬件接口規(guī)范不是某個具體的設(shè)備驅(qū)動。你可以把它理解成硬件主板和操作系統(tǒng)之間的一本“使用說明書”加“遙控器”。主板廠商把CPU、內(nèi)存、PCIe設(shè)備、電池、風(fēng)扇、溫度傳感器、睡眠喚醒等能力用ACPI定義的描述語言寫進(jìn)一張叫做DSDT或者SSDT的表單里操作系統(tǒng)啟動時去解析這份表單才知道這臺機(jī)器有哪些電源相關(guān)設(shè)備、按鍵怎么處理、休眠狀態(tài)支持到哪一級。放在Linux語境下看ACPI承擔(dān)的工作非常核心讀取電池電量上報、響應(yīng)筆記本蓋子開合事件、處理電源鍵和睡眠鍵、協(xié)調(diào)CPU頻率與C狀態(tài)切換、管理風(fēng)扇轉(zhuǎn)速和溫度傳感器甚至包括一些非電源類的硬件信息描述。也就是說從電源到電池再到各種傳感器這些“ACPI設(shè)備”并不像PCIe網(wǎng)卡那樣有獨立的物理芯片而是由固件通過標(biāo)準(zhǔn)接口向內(nèi)核呈現(xiàn)的邏輯設(shè)備。1.2 Linux內(nèi)核里ACPI子系統(tǒng)的分工邊界Linux內(nèi)核里處理ACPI的主要代碼路徑在drivers/acpi目錄下另外acpid這樣一個用戶態(tài)守護(hù)進(jìn)程負(fù)責(zé)把內(nèi)核上報的ACPI事件轉(zhuǎn)發(fā)給用戶態(tài)腳本。內(nèi)核側(cè)和用戶態(tài)的職責(zé)劃分得比較清楚內(nèi)核負(fù)責(zé)解析表、注冊設(shè)備、上報事件、維護(hù)sysfs接口用戶態(tài)則根據(jù)事件去執(zhí)行具體動作比如合蓋掛起、按電源鍵彈關(guān)機(jī)菜單等。這里有個容易混淆的點很多人把電源管理Power Management和ACPI當(dāng)成一回事。實際上電源管理是一個更大的范圍其中包括ACPI、CPU調(diào)頻驅(qū)動如intel_pstate、cpufreq、設(shè)備運行時電源管理runtime PM等。ACPI更多承擔(dān)“硬件描述 事件上報 低級控制接口”的角色具體的頻率調(diào)節(jié)策略還是由內(nèi)核的調(diào)頻框架去實現(xiàn)。所以排查Linux電源問題的時候不要把鍋全甩給ACPI有時候問題出在intel_pstate的參數(shù)上有時候出在圖形會話的logind配置上反而與ACPI沒多大關(guān)系。2. 日常最常用的ACPI設(shè)備查看與管理命令2.1 /sys/class/acpi目錄走一圈進(jìn)入正題之前想說一句我在給別人排查ACPI問題的時候十次里有八九次是從ls /sys/class/acpi開始的。這個目錄是內(nèi)核ACPI子系統(tǒng)的用戶態(tài)窗口里面幾個關(guān)鍵的子項建議你提前熟悉。battery目錄電池設(shè)備節(jié)點每個電池對應(yīng)一個BATx子目錄里面有capacity、status、voltage_now等屬性文件。要寫電池相關(guān)腳本的話讀取這些屬性比調(diào)dbus接口更底層也更可靠。ac_adapter目錄交流電源適配器狀態(tài)AC0/AC1之類的子目錄里能看到online文件返回1表示插著電源。thermal_zone目錄熱區(qū)節(jié)點每個thermal_zone代表一個溫控區(qū)域里面有temp文件直接讀出溫度單位通常是毫攝氏度。event目錄這是與acpid通信的關(guān)鍵節(jié)點內(nèi)核把電源鍵、合蓋、插拔電源等事件寫到這個設(shè)備節(jié)點上用戶態(tài)的acpid通過讀取它來獲取原始事件流。power_supply目錄實際上是一個符號鏈接集合指向/sys/class/power_supply下的設(shè)備部分發(fā)行版會把電池適配器統(tǒng)一放在這個目錄里。兩個目錄內(nèi)容有重疊但power_supply這個命名空間在驅(qū)動側(cè)更通用不只是ACPI在用。實際寫腳本時很多老手喜歡直接用cat /sys/class/power_supply/BAT0/capacity去讀電量。但這里要注意不同機(jī)器上電池名稱不一定叫BAT0有的叫BAT1聯(lián)想的ThinkPad上很常見。所以寫健壯的腳本時建議先用通配符去遍歷BAT*目錄再做后續(xù)處理。2.2 acpid與按鍵事件處理KDE和GNOME桌面上合蓋掛起、電源鍵彈菜單這些動作是由logind和桌面環(huán)境的電源管理模塊處理的不依賴acpid。但在服務(wù)器環(huán)境或者極簡窗口管理器下acpid往往是唯一處理電源鍵事件的手段。安裝acpid后在/etc/acpi/events/下能看到一堆事件規(guī)則文件每個文件定義“哪個事件觸發(fā)哪個腳本”。比如默認(rèn)配置里有一個button/power規(guī)則會把電源鍵事件轉(zhuǎn)給/etc/acpi/powerbtn.sh腳本處理腳本里可以寫關(guān)機(jī)邏輯。最容易踩的坑是桌面環(huán)境已經(jīng)接管了電源鍵你又裝了acpid并且沒有關(guān)掉系統(tǒng)自帶的電源鍵處理按一次電源鍵會出現(xiàn)“彈菜單執(zhí)行關(guān)機(jī)腳本”的雙重動作。解決辦法是檢查/etc/acpi/events/下有沒有用disable關(guān)鍵字注釋掉系統(tǒng)自帶規(guī)則或者確認(rèn)桌面環(huán)境的電源管理設(shè)置里關(guān)閉了對應(yīng)處理。2.3 電池、溫度、風(fēng)扇相關(guān)節(jié)點除了/sys/class/acpi還有個高頻使用的路徑是/sys/class/thermal和/sys/class/power_supply。查看trip point溫控閾值可以讀/sys/class/thermal/thermal_zone0/trip_point__temp設(shè)置策略時向/sys/class/thermal/thermal_zone0/policy寫入已有的策略名稱。風(fēng)扇轉(zhuǎn)速有些機(jī)器會暴露在/sys/class/hwmon/hwmon/fan*_input下也有些在thinkpad_acpi驅(qū)動的/proc/acpi/ibm/fan里。判斷一個溫度傳感器是不是由ACPI提供可以看/sys/class/thermal/thermal_zone*/type如果輸出的是ACPI說明該熱區(qū)確實來自ACPI如果輸出的是x86_pkg_temp則說明來自CPU自身的溫度寄存器兩者不是同一條路徑。我在幫朋友調(diào)筆記本風(fēng)扇策略的時候發(fā)現(xiàn)某些AMD平臺上ACPI熱區(qū)和x86_pkg_temp報告的溫度能差5到8度原因是兩者采樣的傳感器位置不一樣。所以不要只看一個溫度值就下手多個來源交叉對比才是正路。3. 從“win11 acpi 驅(qū)動異常導(dǎo)致電源和電池頁面打不開”說開去3.1 Windows下的ACPI驅(qū)動異常是怎么來的熱搜詞里有個很有意思的詞條“win11 acpi 驅(qū)動 異常導(dǎo)致電源和電池頁面打不開”。這正好說明ACPI驅(qū)動異常并不是Linux獨有的煩惱Windows那邊一樣有而且表現(xiàn)形式更讓人肉疼——設(shè)置頁面的“電源和電池”直接打不開。這個問題的根源多數(shù)在固件表上。Win11對ACPI固件的某些字段要求比Win10更嚴(yán)格特別是電池的_BIF、_STA方法返回值格式、DSDT表里的包層級Package nesting等地方。老機(jī)器廠商沒有按新規(guī)范寫固件Win11的acpi.sys解析時報錯直接導(dǎo)致電源設(shè)置頁面崩潰。常見的修復(fù)方式包括更新BIOS、用廠商工具更新Embedded Controller固件還有人在網(wǎng)上分享手動反編譯DSDT再重新編譯后替換的“神操作”其實風(fēng)險挺高不推薦普通人照搬。這件事對Linux用戶的借鑒意義在于電源和電池相關(guān)的“打不開”“讀不到”這類癥狀不要只懷疑操作系統(tǒng)這一層先想想固件表有沒有問題。Windows那邊報ACPI異常同型號機(jī)器在Linux下幾乎不可能完全回避。因為DSDT/SSDT表是固件的一部分跟操作系統(tǒng)無關(guān)只是內(nèi)核解析時容忍度不同而已。3.2 Linux下ACPI異常的表現(xiàn)形式Linux下ACPI驅(qū)動異常的呈現(xiàn)方式跟Windows不完全一樣最常見的現(xiàn)象包括電池電量讀不出來capacity文件里永遠(yuǎn)顯示0或者status總是Unknown。插拔電源適配器后系統(tǒng)沒反應(yīng)/sys/class/power_supply/AC*/online不更新。合蓋后無法睡眠或者睡眠后無法喚醒。溫度傳感器有幾個zone讀取報錯桌面小組件直接顯示空值。dmesg里刷一堆AE_NOT_FOUND、AE_AML_PACKAGE_LIMIT之類的錯誤。如果你遇到這些情況第一步不是重裝系統(tǒng)而是先把/var/log/kern.log或者dmesg里的ACPI相關(guān)行抓出來看。很多時候從日志就能直接定位到具體的ACPI表和方法名再順著名字去查這臺機(jī)器在Linux社區(qū)有沒有已知問題。3.3 定位步驟與日志分析我一般按下面這個順序排查ACPI異常這套思路對Windows和Linux都適用只不過日志來源不太一樣確認(rèn)固件版本去官網(wǎng)查最新BIOS優(yōu)先更新BIOS再談其他。抓取當(dāng)前內(nèi)核日志journalctl -k -b | grep -i acpi或者dmesg | grep -i acpi重點看error、warn、fail關(guān)鍵字。查看ACPI表的加載情況/sys/firmware/acpi/tables/目錄下列出DSDT、SSDT、FACP等文件用acpidump可以導(dǎo)出完整表。解析異常方法從dmesg里找到出錯的方法名比如_BIF、_STA、_PSR用iasl反編譯DSDT后查看對應(yīng)實現(xiàn)判斷是返回值格式不對還是邏輯錯誤。決定繞行方案如果單臺機(jī)器只是某個方法報錯多數(shù)情況下可以用內(nèi)核引導(dǎo)參數(shù)或者ACPI驅(qū)動參數(shù)繞過去比如按下文提到的acpi_osi參數(shù)。但如果是批量部署的機(jī)器都出問題那就得考慮反饋給廠商修固件了。4. ACPI錯誤與內(nèi)核日志排查實戰(zhàn)4.1 用dmesg快速抓取ACPI異常實戰(zhàn)中我習(xí)慣用下面這條命令先看整體情況journalctl -k -b | grep -Ei acpi|apei|battery|thermal | head -n 80內(nèi)核啟動階段產(chǎn)生的ACPI log通常非常密集如果不加過濾會被海量其他日志淹沒。看到下面這幾種關(guān)鍵詞要多留意AE_NOT_FOUND內(nèi)核去查某個ACPI對象方法或設(shè)備時沒找到。常見原因是DSDT里沒有對應(yīng)的定義或者SSDT沒有正確加載。AE_ALREADY_EXISTS重名對象沖突一般發(fā)生在多個表都定義了同一個設(shè)備時。AE_AML_PACKAGE_LIMITAML代碼里包元素個數(shù)超出了解釋器限制這個跟固件的AML實現(xiàn)bug關(guān)系很大。AE_AML_BUFFER_LIMIT / AE_AML_OPERAND_TYPE同樣指向固件AML代碼的取值越界或者類型錯誤。如果是啟動階段就出現(xiàn)的ACPI錯誤很多時候加載順序和中斷配置也有影響可以試著重啟后在內(nèi)核引導(dǎo)參數(shù)里加acpioff看看是否不再報錯。但要記住acpioff是不能長期使用的關(guān)掉ACPI意味著失去電源管理、電池讀取、溫度控制等一堆能力只能用來做二分定位判斷問題是不是出在ACPI路徑上。4.2 常見錯誤碼與BIOS問題的關(guān)系很多人一看到ACPI報錯就懷疑是內(nèi)核問題其實真實情況恰恰相反大量ACPI報錯的根因在BIOS固件內(nèi)核只是如實報告了固件里的缺陷。比如Dell老款XPS系列在Linux下常見的ACPI Error: Method parse/execution failed后來通過BIOS更新修復(fù)。又比如ThinkPad某些機(jī)型的EC固件Embedded Controller在電池信息返回上有Bug導(dǎo)致Linux里電池狀態(tài)更新滯后最終靠更新EC固件解決。有個小經(jīng)驗可以分享如果你在Linux下看到某個ACPI方法報錯先去Windows的設(shè)備管理器里看有沒有對應(yīng)異?;蛘呷スP記本廠商的論壇翻一翻如果Windows那邊也有同樣問題基本坐實是固件的鍋內(nèi)核老哥是真的在替BIOS背鍋。4.3 使用acpidump與iasl進(jìn)行ACPI表分析需要深入分析時我會裝一個包叫acpica-toolsDebian/Ubuntu下是acpica-toolsFedora系是acpica-tools或者acpica。這個包提供兩個關(guān)鍵工具acpidump和iasl。# 導(dǎo)出當(dāng)前機(jī)器的ACPI表 sudo acpidump -o acpi_tables.dat # 把表的二進(jìn)制格式轉(zhuǎn)成可讀的ASL源碼 acpixtract -a acpi_tables.dat iasl -d dsdt.datiasl反編譯后得到的dsdt.dsl文件是全人類可讀的ACPI機(jī)器語言。搜索出錯的設(shè)備名或者方法名比如搜_BIF可以看到這個電池信息方法到底返回了哪些內(nèi)容。對照ACPI規(guī)范檢查返回包的結(jié)構(gòu)經(jīng)常一眼就能發(fā)現(xiàn)問題。比如規(guī)范要求_BIF返回一個包含13個整數(shù)的包固件卻只給了12個這在Windows下表現(xiàn)為電池頁面打不開在Linux下表現(xiàn)為電量讀出來是0或者直接返回錯誤。需要說明的是反編譯DSDT并且重新編譯后刷回BIOS屬于“改固件”的高危操作現(xiàn)在多數(shù)主板也不允許直接刷修改過的固件。所以普通用戶老老實實把反編譯當(dāng)作“排查工具”用就好改表這條路留給極少數(shù)資深玩家。5. 服務(wù)器與嵌入式場景下的ACPI特殊話題5.1 服務(wù)器上ACPI的職責(zé)遠(yuǎn)不止電源鍵談到服務(wù)器Linux很多人覺得ACPI的戲份應(yīng)該不大畢竟服務(wù)器又不怎么休眠。但服務(wù)器上的ACPI反而更復(fù)雜因為涉及物理機(jī)功耗管理、CPU熱插拔、內(nèi)存熱插拔、PCIe熱插拔例如某些企業(yè)級平臺支持熱插拔NVMe、錯誤上報APEI/CPER等能力這些都是靠ACPI表來描述的。做運維的朋友可能在日志里見過APEI相關(guān)的報錯比如GHESGeneric Hardware Error Source這是ACPI規(guī)范里的錯誤上報機(jī)制。帶外管理控制器比如BMC檢測到內(nèi)存糾錯事件通過APEI表把錯誤信息塞給OSLinux里/var/log/mcelog或rasdaemon會記錄這些。所以服務(wù)器上ACPI不僅是電源管理還是硬件錯誤信息的“傳聲筒”。排查硬件故障時先看ACPI相關(guān)日志能省去很多盲目換配件的時間。從裝機(jī)角度看服務(wù)器網(wǎng)卡、RAID卡做SR-IOV或者PCIe直通時依賴ACPI的PCI路由表來分配中斷。有些主板BIOS里ACPI設(shè)置不當(dāng)會導(dǎo)致直通設(shè)備中斷不可用最典型的表現(xiàn)是虛擬機(jī)里網(wǎng)卡丟中斷或者吞吐量忽高忽低。這時候去BIOS里檢查ACPI的PCIe interrupt routing選項比在系統(tǒng)里瞎調(diào)參數(shù)管用得多。5.2 嵌入式Linux里ACPI與設(shè)備樹的取舍嵌入式平臺的老工程師一提到ACPI就皺眉頭“我們這里用設(shè)備樹Device Tree不用ACPI那套”。這個說法在很長一段時間里是對的傳統(tǒng)嵌入式設(shè)備跑Linux都是靠DT描述硬件但近幾年x86嵌入式平臺和部分ARM服務(wù)器也開始支持ACPI。兩者的差異本質(zhì)上是描述硬件的方式和哲學(xué)不同設(shè)備樹是操作系統(tǒng)外部的靜態(tài)描述ARM平臺的主流做法ACPI是固件和OS之間的動態(tài)協(xié)商機(jī)制x86平臺的默認(rèn)選擇。如果是在嵌入式Linux里做ACPI設(shè)備開發(fā)最常見的工作是確認(rèn)固件側(cè)是否正確生成了ACPI表。很多SoC廠商提供的參考平臺ACPI表的質(zhì)量并不高需要自己用acpidump導(dǎo)出來檢查。比如某個SoC的I2C控制器在ACPI表里需要描述它的時鐘頻率和中斷號寫錯了直接導(dǎo)致外設(shè)探測不到。這種情況下異想天開地去改內(nèi)核代碼不如先改對ACPI表。5.3 與電源管理、熱詞中的“省電”“尋道算法”等話題的關(guān)聯(lián)熱搜詞里有一條“l(fā)inux設(shè)置磁盤尋道算法”表面看跟ACPI毫無關(guān)系其實在特定場景下是有交集的。筆記本和移動工作站上內(nèi)核的塊設(shè)備層會根據(jù)電源管理策略調(diào)整I/O調(diào)度器行為比如在ACPI報告系統(tǒng)進(jìn)入低功耗狀態(tài)時部分存儲設(shè)備會降低轉(zhuǎn)速或者進(jìn)入更深層的電源狀態(tài)。NVMe設(shè)備也有類似機(jī)制APSTAutonomous Power State Transition就跟ACPI的狀態(tài)管理協(xié)同工作。所以你在設(shè)置磁盤尋道算法時如果系統(tǒng)電量管理和ACPI配置不合理可能會出現(xiàn)“明明設(shè)置了某個調(diào)度器但性能表現(xiàn)卻飄忽不定”的情況。另外嵌入式平臺做低功耗設(shè)計時經(jīng)常需要根據(jù)ACPI電池狀態(tài)動態(tài)降頻或者調(diào)整外設(shè)電源域。這就體現(xiàn)出ACPI作為統(tǒng)一接口的優(yōu)勢不管內(nèi)核調(diào)頻代碼還是設(shè)備驅(qū)動都能通過同一套狀態(tài)機(jī)制知道系統(tǒng)當(dāng)前處于什么供電水平。如果ACPI電池上報異常嵌入式系統(tǒng)可能誤以為一直插著電源從而拒絕進(jìn)入省電模式整機(jī)電流居高不下這在便攜設(shè)備上是非常要命的Bug。5.4 聊聊“軟件提權(quán)”話題時ACPI為什么常被提起熱搜詞里有“l(fā)inux提權(quán)”這本身是個安全話題。早年確實出現(xiàn)過基于ACPI表操作的漏洞利用例如替換或篡改ACPI表最終實現(xiàn)在內(nèi)核態(tài)執(zhí)行代碼。但伴隨內(nèi)核模塊簽名校驗、ACPI表校驗機(jī)制和安全啟動的普及這類利用門檻已經(jīng)大幅提高。現(xiàn)在討論ACPI與提權(quán)的關(guān)系更多是提醒系統(tǒng)管理員物理接觸機(jī)器的攻擊者可以通過修改啟動參數(shù)比如acpioff或自定義acpi表路徑來削弱系統(tǒng)約束所以對物理環(huán)境安全要有足夠的重視。作為運維人員我可以很坦白地說比起研究ACPI提權(quán)手法守住機(jī)房物理門禁和UEFI密碼的收益大得多。6. 常見問題速查表與個人經(jīng)驗補(bǔ)充6.1 常見ACPI問題速查表下面這張表整理了我這幾年在Linux下遇到頻率最高的ACPI問題及其處理方向有類似癥狀可以直接照著線索往下查。癥狀可能原因快速排查命令應(yīng)對方向電池電量顯示0或UnknownDSDT的_BIF/_BST返回異常cat /sys/class/power_supply/BAT0/uevent更新BIOS檢查_STA返回值合蓋不能睡眠蓋子開關(guān)ACPI事件未生效journalctl -k -b | grep -i lid檢查logind配置HandleLidSwitch插拔電源系統(tǒng)無響應(yīng)ac_adapter狀態(tài)未上報cat /sys/class/power_supply/AC/online更新BIOS檢查_PSR方法溫度傳感器部分讀不到thermal_zone注冊失敗ls /sys/class/thermal/用sensors-detect檢查驅(qū)動dmesg刷ACPI Error固件表不規(guī)范journalctl -k -b | grep -i acpi更新BIOS反饋廠商睡眠后無法喚醒喚醒源配置錯誤cat /proc/acpi/wakeup檢查能觸發(fā)喚醒的設(shè)備Windows電源頁面打不開固件ACPI表兼容Win11問題無Windows側(cè)觀察更新BIOS重點排查EC固件服務(wù)器出現(xiàn)APEI報錯硬件層錯誤上報journalctl -k -b | grep -i apei用rasdaemon記錄定位硬件6.2 幾個實操避坑技巧講幾個平時文檔里不太會寫、但我實際踩過的細(xì)節(jié)。第一個是kernel啟動參數(shù)里acpi_osi和acpi_override的使用。有些ThinkPad機(jī)器在自帶Windows系統(tǒng)的DSDT里那套表現(xiàn)很正常但Linux下風(fēng)扇策略很激進(jìn)或者電池閾值不生效你可以嘗試在內(nèi)核參數(shù)里加上acpi_osiWindows 2020這樣的字符串讓AML代碼走“兼容Windows分支”某些固件里確實設(shè)計了兩套行為。但這屬于case by case的偏方不能保證每臺機(jī)器都能改善而且加錯參數(shù)可能讓ACPI事件徹底失靈。改之前記好原參數(shù)方便回滾。第二個是虛擬機(jī)里的ACPI問題。在虛擬機(jī)里做ACPI調(diào)試時很多人會忽略“虛擬固件和物理固件完全不同”這一點。比如QEMU/KVM里看到的ACPI表是QEMU生成的跟宿主機(jī)的固件無關(guān)。你想在虛擬機(jī)里復(fù)現(xiàn)某臺物理機(jī)的ACPI錯誤基本沒門。所以做ACPI故障復(fù)現(xiàn)一定得在真機(jī)上跑虛擬化環(huán)境只能用來測試ACPI事件邏輯比如模擬電源鍵按下測試acpid腳本是否正常響應(yīng)。第三個是關(guān)于內(nèi)核模塊加載順序的問題。ACPI驅(qū)動模塊一般在內(nèi)核啟動早期就加載如果你發(fā)現(xiàn)自己改的驅(qū)動模塊與ACPI模塊加載有先后依賴別直接systemctl restart一堆服務(wù)正確做法是確認(rèn)initramfs里包含對應(yīng)模塊。尤其在使用mkinitcpio或dracut的發(fā)行版上ACPI相關(guān)模塊缺失會導(dǎo)致開機(jī)直接跳過某些電源功能之后想再加載也晚了。遇到“電源功能死活不生效”的怪問題先檢查initramfs里有沒有必要的ACPI模塊避免在錯誤的方向上浪費時間。第四個經(jīng)驗是關(guān)于修改ACPI表之后的驗證方式。前面說過直接刷回被修改的DSDT很危險但在開發(fā)調(diào)試階段可以用initramfs里的acpi_override能力把修改過的表放到指定位置讓內(nèi)核加載驗證效果后再決定是否要長期使用。具體路徑是/sys/firmware/acpi/tables/對應(yīng)的表文件配合內(nèi)核參數(shù)acpi_override即可。需要注意開啟Secure Boot的機(jī)器往往不允許加載與簽名不符的ACPI表這個方案在純Ubuntu安全啟動模式下經(jīng)常被擋下來。如果只是臨時驗證可以先臨時關(guān)掉Secure Boot驗證完再恢復(fù)。6.3 挖掘ACPI日志背后的更多信息在實際運維中我還會特別關(guān)注ACPI日志與其它子系統(tǒng)日志的交叉信息。比如有一次排查一臺服務(wù)器頻繁內(nèi)存糾錯的問題最初只盯著EDAC的日志看半天沒頭緒。后來無意中發(fā)現(xiàn)dmesg里有一段APEI返回的錯誤結(jié)構(gòu)體順著CPER結(jié)構(gòu)定位到具體的DIMM槽位問題一下子就清晰了。所以請記住一個原則ACPI日志不只是“電源管理日志”它經(jīng)常承載著硬件底層的錯誤通報信息。當(dāng)你看到ACPI日志里出現(xiàn)帶物理地址或者Slot號碼的錯誤記錄別忽略它去查對應(yīng)的CPER說明很可能省掉整機(jī)檢測的大工程。再補(bǔ)充一個實際運維中常見的小場景公司內(nèi)部幾千臺云物理機(jī)偶爾有宿主機(jī)上報電池異常。雖然數(shù)據(jù)中心里的物理機(jī)電池一般只是給RAID緩存供電容量不大但一旦電池狀態(tài)上報錯誤有些RAID卡會直接把寫緩存策略降級為Write Through導(dǎo)致存儲性能瞬間暴跌。這種問題從應(yīng)用層看像是存儲故障實際根源是ACPI電池信息上報異常。處理辦法通常是更新BMC固件或者RAID卡固件必要時在監(jiān)控系統(tǒng)里針對電池狀態(tài)建立獨立告警項避免被“存儲性能下降”這個表象帶偏排查方向。最后關(guān)于ACPI設(shè)備的排查還有一點很建議大家養(yǎng)成習(xí)慣在改動任何系統(tǒng)配置前先備份當(dāng)前的ACPI表數(shù)據(jù)和日志。因為ACPI問題往往跟固件行為強(qiáng)相關(guān)同一個報錯在不同的BIOS版本下含義可能完全不同。有備份才能回頭做對比確認(rèn)是升級BIOS還是調(diào)整內(nèi)核參數(shù)解決了問題也好在下次同類問題出現(xiàn)時直接套用成熟的排查路徑而不是每次都從零開始看日志。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热这里只有精品7| 九色综合五月天婷五月| 丁香六月五月婷婷| 69堂午夜视频最新地址| 极品另类| 久久精彩视频18| 五月天婷婷激情| 操操操www.com| 国产精女同一区二区三区久| 色五月婷婷基地| 一区二区三区四区无码| 色9色| 国产精品成av人在线视午夜片| 爱婷婷都市激情| 超碰chaompinm| 99热10在线高清播放| www.五月丁香| 激情五月五月婷婷| 99色在线观看视频| 这里只有精品99www| 婷婷久久影院| 久热天堂| 丁香婷婷五月综合欧美另类| www.99热| 五月婷婷在线视频| 337p大胆噜噜噜噜噜91Av| 青青夜夜狠狠夜夜狠狠| 久久黄A片| 男人天堂AV在线一区二区| 疯狂做受XXXX高潮A片动画| 天天日天天插| 色婷婷五月天视频网站| 婷婷五月视频| 婷婷丁香五月综合激情小说| 操熟女成人网| 丁香婷婷综合激情五月色| 婷婷激情综合网| 婷婷婷五月香蕉| 狠狠狠狠狠狠| 日本欧美成人片AAAA| 五月天婷婷综合| 亚洲色综久久五月| 日日爽天天| 欧美色播综合在线观看| 色婷婷五月天天天天天天天天天| 丁香五月综合久久八| 久久色天堂| 热热99爱爱| 亚洲免费看片| 91碰碰碰| 五月丁香啪啪啪| 99久热这里只有精品视频删减版| 久碰久操| 婷婷六月丁香在线| 青草性爱视频| 婷婷丁香激情五月| 久久这里有| 五月天开心成人网| www.五月天婷婷姐姐| 激情宗合哪里能看| 另类小说五月天激情| 日韩色色网| 五月天久久综合| 99色日本| 九九热精品| 色色吧综合| 午夜色丁香| 日逼影音先锋AV男人资源站| 色九九七七| 五月丁香久久色| 九九精品婷| 冬月かえでAV无码播放| 91人人操.COM| 婷婷激情五月天在线视频| 天天干,天天舔| 草综合网| 日本激情五月天‘| 99成人在线观看| 五月天桃色深爱网| 天天骑天天操| 超碰操日| 综合另类视频| 人妻videos人妻高清| 天天插天天很| 婷婷丁香18| 五月丁香婷婷爱| 综合激情在线| 日日夜夜干| 色五月激情五月| 日韩专区五月天婷婷丁香| 久草婷婷网 | 国产五月天激情小说| 啪啪干伊人婷婷| 爱婷婷五月| 色综合激情| 美女丁香五婷婷| 亚洲激情婷婷| 国产精产国品一二三在观看| 青青草Avb在线| 六月丁香婷婷色狠狠久久| 久久久99免费视频| 人人综合五月人人婷婷| 天天肏在线观看| 欧美色五月| 五月婷婷很很色| 国产中文字幕在线视频免费观看| 九九色逼| 热99AV网站| 精品99视频| 丁香六月婷婷久久综合| 丁香五月婷婷欧美成人色图| 天天五月香欧美| 婷婷五月天激情亚洲小说| 四色99久久| 婷婷五月天综合网| 久久精99| 777.色色| 色狠狠综合网| 天天婬色综合| 天天日天天摸天天| 色九月婷婷综合| 二色av| 潘金莲AAAAAAAAAA| 久久综合这里只有精品1| 激情小说之五月| 色五婷婷开心缴| 日本欧美在线| 色婷婷综合在线| 五月婷六月综合在线观看| 五月天夜夜爱夜夜操| 色婷婷大香蕉| 九九精品碰| 色婷婷电影| 色丁香五月综合网| 极品人妻VIDEOSSS人妻| 先锋五月婷婷丁香草草| 99热这里只有精品青草| 天天躁日日躁狠狠躁日日躁2022年5月9日| 色婷婷19| 天天肏天天肏天天肏| 国产乱子轮XXX农村| 婷婷五月天VI| 天天草天天爱| 丁香婷婷影院| 91精品国产91久久久久青草| 成人AV中文字幕| 99色爱| 97在线综合| 久久精品亚洲热| 思思re99视频在线观看| 日韩精品一品二区三区的使用体验| 五月婷庭丁香在线| 成AV人片一区二区三区久久| 六月婷婷色综合| 国产激情综合五月久久| www.久久99精品| 五月婷婷久久开心网| 激情99热| 猫咪伊人久久| 99视频在线播放大全| 色色婷婷综合| 伊人影院久久网| 秋霞学生妹一二级| 99色色网| 夜夜做天天爽| 韩国中文字幕91| 天天摸.天天mo| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 亚洲另类婷婷五月综合| 久久精品国产一区二区三区四区| 26uuu色噜噜精品一区| 人妻视频在线| 五月婷婷三级| 丁香五月六月综合激情| 天天日日人| www久久99com| 日韩成人综合网| www色五月| 日韩aaaaa| 日韩有码一区| 色色色色网| 久久3级片| yazhouzonghesese| 五月丁香啪啪网| 天天干夜夜想| 天天色亚洲| 亚洲婷婷基地| 亚洲成人一区| 丁香月五月天婷婷久久| 91性高潮久久久久久久久| 91热久久| 婷婷99狠狠躁天天躁| 五月天色色色| 大地9中文在线观看免费高清| 99这里只有精品| 丁香五月网站| 婷婷成人基地| 亚洲激情.com| 精品99视频| 亚洲秘 无码一区二区三区妃光/1| 丁香婷婷五月综合| 丁香色五月婷婷17C| 婷婷天天日婷婷| 婷婷激情中文综合| 思思热99er| 色丁香五月天婷婷| 色婷婷综合久久久久| 九九re精品视频在线观看| xxxx久| 婷婷五月天综合网| 五月婷婷就去色| 婷婷婷狠狠| 99热精品在线播放| 亚洲综合99| 久久xxxx| 九九九九这里只有精品| 色综合激情| 婷婷五月天综合中文| 日本不卡高字幕在线2019| 五月婷婷干| 婷婷六月香| 一级A片天天操夜夜操| 五月色激情综合网| 中文字幕在线播放视频| 天天干天天干天天干天天干天天干天天 | 狠狠久久婷五月| 桃色Av色哟哟| 久久久色情| 棕合影院色色| 色婷婷狠狠久久综合五月| 葵花AV在线| 五月天色区| 久99久在线| 少妇性BBB搡BBB爽爽爽视頻 | 丁香五月激情六月综合| 婷婷激情四射网| 婷婷色综合| 婷婷五月天六月综合| 中文字幕不卡网站| 开心五月婷婷| 激情六月婷婷| 99视频这里只有久久精品| www.99精品视频| 婷色五月| 久久丁香五月| 亚洲色综合性| 婷婷五月综合婷婷| 五月亭亭色| 狠狠色色| 五月婷网| 丁香婷婷五月天在线视频| 婷婷色婷婷| 五月天社区| 色噜噜狠狠色综| 色九九九综合| 青草视频在线观看视频| 色五月激情婷婷| 九九精品视频在线6| 婷婷五月综合网| 狠狠精品干练久久久无码中文字幕| 99爱视频在线| 久热只有这里精品| 天天人人天天爽| 亚洲另类av| 熟女强人妻一区二区三区四区无| 天天色天天操天天射| 免费五月婷婷网| 久久九九怡红院| 精品99在线观看| 这里只有精品在线视频在线观看| 激情亚洲色图片丁香综合| 久久精品91视频| 桃色五月婷婷| 国产又粗又大又爽又黄| 国产在这里只有精品| 丁香久久| 96五月丁香熟女| 天天干狠狠操| 做爱夜夜干天天操| 久久伊人五月天| 婷婷天天五月天| CHINESE熟女老女人HD视频| 91久久久久久久久| 9l视频自拍9l九色9l成人| 丁香五月在线观看完整版| 9九热视频| 男人天堂AV在线一区二区| 丁香成人视频| 深爱激情av| 日韩激情婷婷五月天| 国产亚洲99久久精品| 亚洲无码黄色| 婷婷五月综合啪| 久久五月天影院| 五月天激情小说| 丁香五月电影| 五月丁香六月激情在线| 99热这里只有精品55| 人人操插| 91viP在线看| 综合在线色婷婷| 五月婷导航| 三十路磁力链接| 久久与婷婷| 日韩无码一区二区三区四区| 人妻系列久久久久久久久久久| WWW.桔色成人.COM| 91 九色大美女| 成人精品视频99在线观看免费 | 婷婷玖玖丁香| 99久久玖玖| 黄色AAAA韩国guochansanji | 五月天婷婷av| 色五月婷婷 成人| 99熟女| 99视频内射三四| 丁香五月婷婷激情网| 久久久香| 久久99热免费| 丁香婷在线| www.深爱激情| 久久久大香蕉| 成人在线99| AAA久久| 大香蕉久| 婷久久高清| 亚洲成人AV一区在线观看| 久久久久五月丁香| 人妻九九九九| 五月激情四射网站| 激情五月婷婷色综合| 大鸡巴伊人网| 丁香五月婷婷大香蕉| 碰碰操91| 激情无码五月天| 就99这里只有精品| 婷婷俺去也| 色色丁香五月天| 婷婷综合| 999热视频精品99免费在线| 五月激情婷婷四射| 性爱网五月天| 日韩人妻白浆视频系列| 99热 免费| 天天干天天干天天干| 久久久久久久11111111111| 五月丁香久久网| 五月丁香婷爱在线| AA片在线观看视频在线播放| 99色这里| 五月花婷婷最新| 丁香桃色网| 五月丁香香蕉| 婷婷9月天| 七七九色| 热婷婷av| 日本99热| 天天综合永久| 五月丁香亭亭| 丁香五月社区| 九九99男女视频在线观看| 久久婷婷五月丁香网| 婷婷色色综合激情| 大香线蕉伊人| 精品日本视频444| 亚洲久久日| 99热无码精品| 中文字幕精品在线观看| 婷色影院| 九九热视频精品2| 日日夜夜爽爽| 狠狠五月天| 5Www色5夜| 丁香五月自拍| 五月天色图| 五月丁综合在线观看| 欧美激情VA永久在线播放| 99在线免费视频| 9色在线视频精品观看| 91日韩在线| 久久色五月天综合网| a在线观看| 久久精品熟女亚洲AV麻豆| 丁香五月色色| 国产成人AV在线播放| 一点色成人网| 另类图片天天影视在线观看| 久久久久人妻| 久久五月天丁香| 九九热再线九九视频免费在线观看| 丁香五月天之婷婷影院| 超碰人人插| 色狠狠999综合网| 性生活视频98791| 亚洲AV久久久久久久久久久久久久久久| 综合AV在线| 综合网亚洲| 日本V在线观看不卡视频网站| 成人做爰A片免费看网站找不到了| 国产成人精品一区二区三区视频| 五月丁香婷婷色| 丁香五月婷婷色情综合| 久久精彩视频18| 一夜福利不卡| 久久激情网| 成人电影在线免费试看| 五月天综合在线| 久久久91精品| 丁香五月综合在线播放 | 亚洲精品白浆高清久久久久久| 婷婷五月天色色| 色五月婷婷九月| 五月婷婷黄网站大全| 日韩人人操| 五月开心深深爱激情综合| 成人在线高清| 丁香五月偷拍| 日韩一级网站| 99色综合| 天天日天天爽| 五月天堂婷婷| 开心五月综合激情网| 久婷| 999热在线视频| 久热99热| 久久婷青青草原| 欧洲一区二区| 激情五月综合网最新| 色五月丁香六月婷婷| 91九九| -91九色大屁股| 9色在线视频| 色老久久| 97色色综合| 综合亚洲六月婷婷在线| 久久97| 色播五月天天| 99只有精品| 超91在线视频| www.99热在线观看| 日本99热| 欧美搡BBBBB摔BBBBB| 丁香五月AV综合激情| 五月婷婷六月天| 精品一区二区三区四区五区六区介绍| 成人国产欧美大片一区| 99热无码| 影音先锋毛片网站| 无码99| 丁香五月婷婷成人综合| 操草草草| 97色欧美| www.激情在线| 国产精品男人AV不卡| 人妻久久久久久久久久久| 丁香五月婷婷老师网站| 欧洲一区二区| 97色色色视屏| 丁香五月六月婷婷综合| 久久99精品九九久久久婷婷| 国产肥白大熟妇BBBB视频| 五月丁香六月婷婷玖玖| av成人在线播放| www.精品久9| 999热这里只有精品| 久9视频免费播放| 婷婷丁香色情五月天| 五月的丁香六月的婷婷| 在线VA视频| 视频这里只有精品| 99人人精品| 色色色色色色色色色色色色色色,网站| 色婷婷成人做爰A片免费看网站| 9久久久久久久久久久| 日韩色五月| 亚欧州精品视频| 激情五月天网站| 欧美日本va| 在线中文字幕视频| 日本久久九| 亚洲成人在线免费| 欧美综合五月丁香六月婷| 日本3级片一区2区| AV五月婷婷露脸| 亚州操操| 亚洲无码性爱| 91九色在线| 丁香月六月| 伊人激情啪啪| 日韩啪啪自拍| 天天操夜夜操| 免费97碰碰| 深爱网深爱综合网| 无码人妻激情| 91综合网| 婷婷成人基地| 人妻综合网| 另类图片婷婷五月天| 涩综合网| 九九99九九精品视频| 五月色婷婷综合| 激情五月丁香六月综合AVXXXX| 啪啪一区| 大香蕉在线观看9| 九九RE视频在线精品| 奇米网大香蕉| 成人草榴视频| 9久精品| 丁香婷婷九月| 五月婷婷啪啪啪啪| 91dy.av| 色婷操逼| 激情综合色婷婷啪啪六月天| 超碰69天堂| 伊人91| 影音先锋激情网| 天天摸.天天mo| 五月丁香激情五月天| 99热99精品在线观看| 天天操夜夜橾| 五月天六月色| 在线看片h站| 婷婷久久影院| 国产Va视频| 国内精品玖玖| 99久久6| 五月激情四射网站| 色综合久久44| 性天天中文网| 婷婷色色综合激情| 日本婷色| 91久久日日| 日本精品干| 爆乳熟妇一区二区三区爆乳照片| 97干综合网| 日日干天天爽| 五月丁香婷婷综合视频| 丁香五月丁香伊人| 激情五月激情综合俺也去婷婷小说| www.99精品在线| 欧美操我| 色婷婷AⅤ| 五月丁香婷婷老司机| 96丁香婷婷九月蜜桃综合久久| 亚洲国产无线乱码在线观看| 五月天丁香| 天天干,天天日| 五月叮香啪| 五月婷婷色色| 久久狠狠干| 五月天婷婷色色| 五月婷婷六月天| 五月天激情网站| 色色色色色网| 大香蕉天堂| 色婷婷五月色| 色九九综合| 五月天色色色| 亚洲综合五月天| 久噜久噜| 五月婷婷开心综合| 五月天婷婷丁香导航| 亚洲人成色A777777在线观看| 丁香婷婷激情| 久久久久亚洲AV成人无码电影| 99精品久久久久| 婷婷97碰碰| 亚洲AV日韩无码| 五月丁香五月婷婷| 久久综合九九| 国自产拍偷拍精品啪啪一区二区| 天天久综合网永久入口18| 五月Huangsewang| 十二区无码| 日韩精品电影| WWW久久久| 丁香五月在线伊人| 丁香五月天啪啪激情综和网| 色亚洲欧洲| 五月天狠狠网| 大香蕉啪啪啪| 操B视频在线播放| 碰久久精品w| 爆乳熟女一区二区三区爆乳| 丁香五月婷婷六月婷婷| 26uuu亚洲色| 久热A| 欧美日本黄色| 欧美韩国日本| 手机在线视频观看9| 色欧美影院| 亚洲色婷婷| 丁香五月综合福利视频导航| 色五月在线播放| 99视频内射三四| 99精品国产乱码久久久人妻| 中文字幕第四色.999| 99色| 久久99免费视频网站| 桃色激情五月天| 久久这里在精品视频| 婷婷丁香在线播放| 久久激情综合| 26uuu成人网| 99视频精品视频| 大战熟女丰满人妻AV| 26uuu.| 人妻熟女一区二区AV| 99精在线| 激情综合无码| 婷婷婷久久| 中文无码婷婷| www.99成人视频| 久久九九热视频| 久热99狠| 美女五月天婷婷| 久久综合五月| 免费视频WWW在线观看网站| 久久五月情| 97资源碰碰| 这里只有精品视频在线看| 久久久ww| 免费色婷婷| 伊人久久大香蕉网| 色五开心五月五月深深爱| 亚洲AAA| 狠狠爱婷婷| 日韩艹比| 五月丁香综合网色欲| 丁五月激情视频免费| 欧美性猛交XXXX乱大交极品| 激情综合网站| 99爱免费在线视频| 99热官网| 97视频91| 91色在线 | 日韩| 五月婷婷久久大片| 五月丁香激情五月天| 激情久久久久久久久久| Www.se.久久| 激情婷婷五月天网址| 婷婷操久久| 亚洲韩国日产综合AV| AV伊人青草丁香六月| 九九性视频| 色玖玖| 婷婷色色网| 综合成人小说婷婷| WWW色色色COM| 人人看人人草人人摸| 天天日天天日天天搞| 淫视馆aV二区一区| 99综合自拍| 婷婷狠狠色| 99视频热99| 五月色 亚洲| 五月伊人网| 99久久99久久综合| 亚洲天堂aaaa| 999激情视频| 北条麻妃九九九国产精品视频| 丁香五月激情网| 99爱在线精品视频免费观看| 婷婷激情五月天桃花网| 99精品视频免费| 五月综合视频| 5月婷婷综合| 欧美婷婷综合| 99这里只有免费的小视频在线观看| 丁香五月社区| 大香蕉视频婷婷| 五月熟妇婷婷久久| 2025超碰| 蜜桃婷婷狠狠久久| 九九久久99| 再綫Av免费視品| 免费观看全黄做爰的视频| 五月色婷婷影视在线电影| 99色| 五六月丁香激情视频| 国产成人AV| 五月丁香综合伦理片| 开心婷婷五月| 婷婷中文字幕在线| 99热99美国在线观看| 99色区| 骚逼视频一区2区| 综合色影院| 婷婷五月天播| 久久婷婷五月天大香蕉| www九九| 五月狠狠| 婷婷五月激情网站| 八戒青柠影视剧在线观看| 99热在这里只有免费精品| 五月丁香婷婷激情爱爱| 五月婷婷香| 99热这里只有精品50| 九九热婷婷| 99国产精品久久久久久久久久久| 青青草网武则天| 丰满少妇乱A片无码| 天天插天天爽| 思思精品视频| 99精品视频偷拍| 性天天中文网| 婷婷五月天综合在线| 婷婷五月天六点丁香五月| 婷婷五月色网| 99爱视频在线观看这里只有精品| 婷婷五月图片小说网| 天天日日夜夜爽。| 综合色色婷婷| 丁香五月亚洲| 五月丁香婷婷在线| 热九九精品| 极品嫩草| 4399在线日本A片| 五月丁香六月欧美综合| 色五月激情五月| 天天操夜夜操| 天天肏天天舔AV| 操操国产| 青娱乐美女福利视频美臀| av免费人人| 这里只有精品视频99| 婷婷伊人网| 91视频一起草| 九九色影院| 色网站99| 99久久免费精品| 婷婷少妇激情| 人人色人人弄人人操| 亚洲av无码精品色午夜| 26uuu四色| 99视频九九热| 99A片| 人妻激情视频| 99这里只有免费的精品| 天天日,天天干,天天操| 国产成人综合网| 中国无码av| 激情婷婷黄色五月| 丁香六月婷婷综合激情欧美| 五月天久久婷婷| 日韩一区二区A片免费观看| 日韩大片艹艹| 六月丁香婷啪射| 天天日,天天干,天天操| 婷婷丁香社区| 中文字幕不卡+婷婷五月| 国产精品色婷婷99久久精品| 五月婷婷激情| 丁香五月天电影| 久久这里只| 丁香五月婷婷香| 九九99精品视频在线观看| 五月天色婷婷综合| 五月天丁香婷婷视频网址| 91av无码| 婷婷五月色情| 黄色片区子| 丁香五月天导航| 伊人久久婷婷| 日本色道视频网站| 99re99热| 色色色.COM| 久久这里只有精品热在99| 狠狠精品干练久久久无码中文字幕 | 国产精品人成A片一区二区| 99色免费观看全部| 五月婷婷影视| 亚洲成人一区| 婷婷激情综合无月| 最近中文字幕2019视频1| 日在线V视频在线播放| 八戒青柠影视剧在线观看| 色啪影院| 五月婷婷丁香啪啪| 人人妻人人澡人人爽| 五月婷婷影视| 97香蕉人人在线观看| 九月综合| 婷色五月天| 亚洲最大视频| 九九99偷拍视频| www,婷婷| 99免费青青蜜臀| 99热这里只有免费精品| 九月丁香八月婷婷加勒比| 六月色丁香中文字幕| 久久爱综合| 日本一道久久| 第四色婷婷色五月| 2022人人操人人看| 五月婷婷六月色| 色色色色av777| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 婷婷伊人綜合中文字幕| 欧美韩日AAA网站| 人人色人人弄人人操| 五月婷婷婷婷婷婷艺术| 91刘玥视频在线观看| 五月婷婷中文| 亚洲操b| 五月天婷基地| 日本97人人| 99热99在线| 丁香伍月婷电影全集| 五月天停停基地| 五月综合激情久久| 伊人婷婷色| 中文字幕性爱丰满| 激情深愛五月視頻| 丁香五月香蕉| 丁香五月婷婷av影院| 五月天婷婷AV| 久久精彩视频99| 日韩 mm 不卡| 婷婷久久久| 丁香婷婷六月天| 五月天色婷婷网| 久久久五月婷婷| 丁香五月综合图片在线观看| 五月丁香久人妻中文| 牛牛色av| 日本不卡高字幕在线2019| 超碰三级片| 日日干日日s| 五月丁香六月久久| 97精品综合久久| 五月综合丁香婷婷| 亚洲无码影片| www热久久yy9| 综合久久久| AV在线大香蕉| 超碰人人色| 激情亚洲婷婷| 亚洲精品国产成人AV在线| 在线另类| 夜夜做夜夜愛| 婷婷五月电影| 国产亚洲成AV人片在线观黄桃 | 色综合99| 五月停亭六月,六月停亭的英语| 天天做天天爱天天高潮| 色噜噜狠噜噜视频| 91色在线/日韩| 五月天婷婷基地| 99ER热精品视频| 99精品国产在热久久| 996er热| 大香蕉欧美在线| 99热国产这里只有精品| 五月综合无码| 99在线热| 91蜜桃婷婷狠狠久久综合9色| WWW夜夜| 丁香五月婷婷色播艳门照| 色五月天综合| 色丁香久综合在线久综合在线观看| 婷婷五月 丁香六月| 视色综合| 婷婷五月综合久久中文字幕| 久久99综合| 激情淫乱男女| 99九无网码| 六月色婷婷色| 色婷婷六月激情| 日日操天天| 97色婷| 99超碰欧美| 丁香玖玖| 能看的av片| 日本九婷婷| 五月婷婷激情综合av| 婷婷五月电影院| 精品久久久91久久影视网| 丁香五月天婷婷91| 开心四月婷婷在线色播播| 五月婷婷综合久久| 亚洲丁香五月天在线视频| 中文国产五月天| 色综合99| 九九色video| 日韩一66精品| 亚洲操B| 久99久视频免费观看| 婷婷五月综合欧美在线播放| 九九99一区| 99精品视频网| 六月婷婷七月丁香| 天天插综合| 国产成人综合电影| 欧美视频在线观看噜噜| 91操碰| 亚洲第二AV| 天天插天天狠| 操人久久| 亚洲成人av在线| 五月天综合| 九九视屏| 九九色综合九九色| 亚洲成人AV电影在线| 99熟女| www色色com| 99热综合| 97色碰| 五月花成人网| 岛国资源网| 婷婷丁香午夜综合影视| 国产伊人五月天| 狠狠狠狠狠狠草| a久久免费视频| 色色五月天婷婷丁香| 97视频91| 97干在线视频| 婷婷大香蕉| 色五月婷婷综合| 99热在线播放| 91九九精品| 久久久18| 色色欧美色色| 婷婷五月天激情五月天网站| 99热在线观看| 天天噜噜| 五月丁香激情怕怕| 337p大胆噜噜噜噜噜91Av| 亚洲成人在线播放| 婷婷五月天基地| 国产美女精品| 色婷婷伊人| av一级棒av| 激情综合网五月丁香| 精品激情| 翔田千里aV中文字幕| 婷婷D区| 色色色色网站| 97激情五月天| 996er热| 嫩草AV久久伊人妇女超级A| 69激情小说| 超碰一区二区| 久热成人| 丁香激情综合| 99色婷婷| 色欲AVV| 内射综合网| www99热| 五月香蕉网| 丰满少妇猛烈A片免费看观看| 日本九婷婷| 五月婷丁香在线视频在线| 狠狠爱夜夜| 国产精品久久久久久久久久| 五月天精品| 丁香五月激情婷婷| 色婷婷成人做爰A片免费看网站| 日日噜噜夜夜狠狠久久丁香六月| 亚洲99视频| 伊人大香五月天| 色伊人啪| 日韩操啪| 日韩成人网址| 久久婷婷视频| 色六月丁香婷婷狠狠干| 丁香五月香蕉| 激情av在线| 成人在线高清| aaa久久久| 96丁香六月婷婷蜜桃综合久久| 亚洲激情精品| 99色视频在线观看| 天天日日天天| 天天草婷婷五月| 深爱五月婷婷开心中文字幕| 九九人人自拍| 色亭亭九月| 久久性都花花世界成人免费视频 | 五月丁香AV在线| 东北婷婷五月天| 日本色婷婷五月天成人电影| 91干| 激情五月天婷婷激情| 操笔无码| 丁香六月婷婷综合麻豆| 在线观看五月婷婷网| 综合亚洲六月婷婷在线| 五月丁香六月婷婷激情网| 色久女| 色五月婷婷影院| 天天做天天双| 精品国产一区二区三区四区阿崩| 亚洲色涩视频| 色噜噜综合网| 国产寻花在线| 一区二区乱视频码| 欧美va亚洲va在线播放| 婷婷五月天性色| 狠狠撸激情综合丁香五月天俺来啦| 99久久国产综合精品五月天喷水\| 激情婷婷五月综合| 丁香激情五月少妇| 国产全是老熟女太爽了| 五月婷婷伊| 原琪琪色影院| 五月天激情婷婷丁香| 天天色亚洲| 91精品国产99久久久久久天美| 伊人五月天| 精品人妻伦九区久久AAA片| 日韩日比视频在线| 久久青青日本视频| 婷婷激情性爱| www.人人操人人看人人想人人摸 人人人人操,COM | 丁香 亚洲 久久| 久久久18| 26UUU欧美| www99热| 亚洲色99综合天堂| 丁香久久五月婷综合| 狠狠色噜噜狠狠狠888了| 丁香五月社区| 国产偷人爽久久久久久老妇APP| 九九在线视频| 丁香五月天综合| 天天透天天干| 五月丁香六月情婷婷久久| 日韩久热| 亚洲综合五月天| 婷婷中文无码| 丁香婷婷五月天在线视频| 五月天操逼激情| 婷婷五月成人| 五月开心深深爱激情综合| 天天爽天天操| w婷婷五月婷婷w| 亚洲天堂aaa| AV人人操| 亚洲色色色色色色色色色| 91激情五月开心| 五月天婷婷激情在线色图| 大波美女VA网站| 99久久6| 狠狠爱综合| 久久久婷| 五月丁香六月成人| 操操国产| 久久99热这里只有精品首| 激情综合五月激情17| 婷婷五月在线播放| 五月丁香综合色婷婷| 午夜做爱影院| 操97在线观看| 久热视频这里只有精品68| 伊人激情AV一区二区三区| 熟女五月天久久综合| 可以免费观看的AV| 91日韩在线| 白人荫道BBWBBB大荫道| 婷婷爱五月天人人爱| 伊久大香蕉| 色欲五月天| 67194线路二在线观看| 五月情婷婷| 九九综合网色全集| 丁香五月人妻| 日本三级中国三级99人妇网站| 超碰成人av| 五月丁香五月综合欧美| 性热视频99精品| 永久精品| 亚洲丁香五月在线观看| 爆乳熟女一区二区三区爆乳| 99久久网站| 亚洲激情97五月天| 五月婷婷久久综合| 最新无毒无码AV| 97色色综合| 六月丁香深深爱| 手机在线视频观看9| 五月丁香婷婷爱激情综合网| 亚洲成人网址在线观看| 国产精产国品一二三在观看| 日本欧美成人片AAAA| 人与禽A片啪啪| 色婷婷综合久久| 色色狼人综合| 婷婷久久五月| 婷婷四色五月| wwwC0maV五月花| 91狠狠色| 色婷婷基地 | 操逼视频网址| 欧美丁香五月| 色色啊| 亚洲激情精品| 激情久久久久久久久久| 色婷视频| 五月婷色丁香| 大香蕉五月婷婷| 99这里精品| 亚洲第一综合| 婷婷五月天a| 99热国品免费| 97人人看一| 九九中文色色| 亚州男人天堂婷婷五月| 激情综合网五月丁香| 永久地址 色| 天插天啪天啪天啪| 丁香五月婷婷久久综合激情网 | 五月婷婷六月少妇激情| 激情五月六月婷婷综合啪啪| 色色色在线免费视频| 色婷婷综合网| 丁香九月激情| 色色丁香婷婷| 色色激情五月| 婷婷丁香五月网| 99精品视频免费| 婷婷丁香五月天中文字幕| 120分钟婬片免费看| 中文字幕婷婷在线| 国产激情一区| 亚洲传媒在线观看| 亚洲妇女熟BBW| 99热在线看| 五月婷婷婷| 国产午夜精品一区二区三区四区| 国产乱子轮XXX农村| 亚洲V国产V欧美V久久久久久| http:色情日本com| 人与禽A片啪啪| 色婷婷呢狠禁久禁| 97干资源在线观看| 91九色国产熟女| 六月丁香大香蕉| 中文字幕视频在线播放| 五月丁香香蕉| 玖热精品综合视频| 天天日夜夜高潮| 26UUU精品一区二区Com| 国产精品色色色色| 色狠久| 五月丁香成人网| WWW.夜夜操.com| 五月天综合| 五月婷婷丁香网| 96精品成人无码A片观看金桔| 亚洲一区国产传媒| 婷婷五月激情中文字幕| Av在线资源| 丁香五月 六月婷婷首页| 欧美性猛交 XXXX 乱大交| 99riAV国产精品视频| 丁香美女五月天婷婷| 免费播放AV| 综合在线色婷婷| 六月丁香AV| 色色网站免费观看| 偷偷与邻居做爰完整视频| 五月丁香久久综合精品| 丁香六月婷婷综合| 免费AV播放| 色色色色五月天| 99九九精品视频| 538在线精品| 色色色色色色色色网站| 桃色五月婷婷| 日韩ac不卡无码| 欧美精品熟女一区二区| 99热在线观看亚洲区| 我去色色网五雨天| 丁香六月婷婷久久综合| 97成人丁香| 91综合在线| 在线播放中文字幕| 人妻精品久久久久久| 任你干嘛免费视频播放| www.久久综合| 婷婷五月天成人五月天| 91 影音先锋| h在线看免费版在线看| 综合狠狠干| 人人草人人爱| 人人爱人人摸人人澡| 99热热热国产超碰| 九九热欧美| 激情综合六月| 亚洲色婷婷久久99精品91| www99在线观看视频| 色婷婷视频| 91碰免费视频| 91无码高清| 一起草Av| 久久久久久久,99精品视频| 激情五月天影院| 99久久久久| 婷婷D区| 草做免费在线观看| 久久艹 五月天| 爱之国产色情综合| 激情六月丁| 小泽玛利亚视频一区二区| 五月婷婷伊人在线| j五月香在线| 综合在线丁香五月| CHINESE熟女老女人HD视频| 婷色五月天| 欧美一级色| 九九精品热播| 99re8在这里只有精品| 老师高潮流白浆喷水的A片| www.日韩艹| 疯狂做受XXXX高潮A片| 婷婷五月天激情综合| 99日韩| 婷婷五月色丁香在线看| 五月婷婷碰碰| 五月天狠狠| 思思99久久| 亚洲va国产va天堂va综合va| 激情综合五月激情17| 色欲婷婷五月天| 超碰免费人人肏| 天天天天干| 久热91| 久色网址| 亚洲综合色婷婷| 婷婷五月天电影网| 激情五月天电影| 激情 婷婷 插| 五月婷人妻| 九九视频这里只有精品在线播放| 超碰国产av| 婷婷五月丁香香蕉| 激情六月婷婷啪啪| 另类少妇人与禽zOZZ0性伦| www.婷婷五月| 婷婷综合| 六月丁香激情网| 久久五月婷婷丁香| 亚洲激情婷婷| 99爱精品| 丁香五月婷婷亚洲综合精品| 99热这里只有精品3| 精品A√| 五月天色婷婷激情综合| 伊人婷婷99热精品| 99精品国产在热久久婷婷| 99热国产在| 97操在线资源| 成人va在线播放| 无码色| 91色情播放| 五月丁香综合久久| 五月天激情小说| 美女va| 五月天堂婷婷| 丁香六月婷婷高清| 丁香五月六月激情久久| 五月丁香六月婷婷网| 开心激情站婷婷五月天| 五月婷婷免费在线观看视频| 五月六月丁香激情|