99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux服務(wù)器配置查看:CPU核數(shù)、內(nèi)存與硬盤容量詳解

Linux服務(wù)器配置查看:CPU核數(shù)、內(nèi)存與硬盤容量詳解 我接手過不少服務(wù)也幫同行排查過幾次故障。有個(gè)很典型的場景客戶說服務(wù)器卡得厲害讓幫忙看看登錄上去第一件事就是確認(rèn)這臺(tái)機(jī)器到底有幾個(gè)核、多少內(nèi)存、硬盤多大。本來以為一句話的事結(jié)果發(fā)現(xiàn)不少人在這上面栽過跟頭——不是命令記不全而是把輸出看錯(cuò)了。比如以為/proc/cpuinfo里processor有多少個(gè)物理核就有多少個(gè)或者看到free -h顯示的內(nèi)存總?cè)萘勘葮?biāo)稱小了一大截直接慌了。這篇文章就把這三件事徹底講透從命令到原理從輸出解讀到實(shí)戰(zhàn)坑點(diǎn)一次說清楚。這篇適合剛接觸Linux的運(yùn)維新手、準(zhǔn)備面試的技術(shù)人員以及所有需要快速摸清服務(wù)器配置的人。我不打算只丟幾個(gè)命令給你那沒什么意義。關(guān)鍵是把每個(gè)命令背后的邏輯講明白這樣換一臺(tái)機(jī)器、換一個(gè)場景你都知道該怎么查、怎么看、怎么判斷結(jié)果靠不靠譜。1. 為什么要手動(dòng)查看這些信息從一次故障排查說起說個(gè)我自己的經(jīng)歷。有次處理一個(gè)性能問題應(yīng)用層各種慢開發(fā)那邊一口咬定是服務(wù)器配置不夠說要申請(qǐng)加資源。我上去一看CPU核數(shù)確實(shí)不多內(nèi)存也看著吃緊硬盤好像也快滿了。當(dāng)時(shí)差點(diǎn)就被帶偏了直接寫報(bào)告申請(qǐng)擴(kuò)容。后來仔細(xì)一看發(fā)現(xiàn)是另一個(gè)服務(wù)把CPU跑滿了和配置沒什么關(guān)系。這里有個(gè)教訓(xùn)如果你連“這臺(tái)機(jī)器真實(shí)配置是多少”都說不準(zhǔn)排查問題等于蒙著眼睛走路。還有一類場景是資產(chǎn)管理。公司幾百臺(tái)服務(wù)器型號(hào)不同、時(shí)期不同配置五花八門。你想統(tǒng)計(jì)一下總共多少個(gè)核、多少內(nèi)存總不能一臺(tái)臺(tái)開機(jī)箱看吧在云環(huán)境里更麻煩——你買的是4核8G的云主機(jī)可實(shí)際分配到你的容器里的資源到底是多少只有登錄進(jìn)系統(tǒng)看才能拿到真實(shí)數(shù)據(jù)。再有就是新接手項(xiàng)目的時(shí)候。老員工交接說這臺(tái)機(jī)器配置很高隨便跑。你接手了總得自己確認(rèn)一下吧??孔煺f沒用拿到系統(tǒng)里實(shí)際的數(shù)字才靠譜。像lscpu、free、df、lsblk這些命令就是最快、最準(zhǔn)的核實(shí)手段。這些場景背后有一個(gè)共同點(diǎn)你需要的不是“大概多少”而是“精確到多少”。CPU是幾核幾線程內(nèi)存是總?cè)萘慷嗌?、可用多少硬盤是物理盤多大、文件系統(tǒng)可用多少。這些東西在系統(tǒng)里都真實(shí)記錄著只是你需要知道去哪看、看哪個(gè)字段。下面我按CPU、內(nèi)存、硬盤三個(gè)方面分別展開每個(gè)部分都會(huì)把命令列出來把關(guān)鍵字段的含義講清楚最后再補(bǔ)上我實(shí)際使用中踩過的坑。2. CPU核數(shù)從/proc/cpuinfo到lscpu的完整解讀2.1 先區(qū)分兩個(gè)概念物理核與邏輯核查CPU核數(shù)之前必須先搞清楚一個(gè)基本問題你要的“核數(shù)”到底是什么。一臺(tái)物理機(jī)上CPU是插在主板上的一顆CPU叫一個(gè)“物理封裝”通常也叫一個(gè)Socket。每一顆CPU內(nèi)部有多個(gè)物理核心叫做物理核。而操作系統(tǒng)看到的往往是“邏輯核”或者叫“邏輯CPU”。這中間的差額就是超線程Hyper-Threading技術(shù)帶來的——一個(gè)物理核可以被系統(tǒng)識(shí)別為兩個(gè)邏輯核為了充分利用計(jì)算單元。打個(gè)比方。物理核就好比一個(gè)廚師超線程就是這個(gè)廚師左右手各拿一把鏟子同時(shí)炒兩口鍋。對(duì)客人來說他一個(gè)人頂兩個(gè)人用但他畢竟還是一個(gè)人。CPU的算力并非兩個(gè)邏輯核就等于兩倍的物理核可能只提升20%-30%。所以在判斷“這臺(tái)機(jī)器夠不夠用”時(shí)物理核數(shù)更加重要邏輯核數(shù)則決定了操作系統(tǒng)層面能并發(fā)跑多少線程。這就是為什么很多人栽跟頭的地方看到系統(tǒng)里顯示的CPU數(shù)量很多以為性能很強(qiáng)。實(shí)際上可能是超線程虛增的數(shù)字。2.2 lscpu命令最直接、最準(zhǔn)確的查看方式在絕大多數(shù)Linux發(fā)行版上lscpu都是最省事的查詢方式。它從系統(tǒng)信息中收集CPU相關(guān)的所有數(shù)據(jù)并整理成易讀的表格。lscpu輸出大致如下Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 8 On-line CPU(s) list: 0-7 Thread(s) per core: 2 Core(s) per socket: 4 Socket(s): 1 NUMA node(s): 1 Vendor ID: GenuineIntel CPU family: 6 Model: 142 Model name: Intel(R) Core(TM) i7-8550U CPU 1.80GHz Stepping: 10 CPU MHz: 998.400 ...重點(diǎn)看幾個(gè)字段CPU(s)邏輯CPU總數(shù)也就是操作系統(tǒng)看到的執(zhí)行單元總數(shù)。Thread(s) per core每個(gè)物理核有幾個(gè)線程也就是超線程的比例。如果是1說明沒有開啟超線程如果是2就是開了超線程。Core(s) per socket每個(gè)物理CPU封裝上有幾個(gè)物理核。Socket(s)插槽數(shù)也就是物理CPU顆數(shù)。它們的關(guān)系是邏輯CPU總數(shù) Socket數(shù) × 每顆CPU物理核數(shù) × 每個(gè)物理核的線程數(shù)用上面這個(gè)例子驗(yàn)證1 × 4 × 2 8。和CPU(s)顯示的8一致。所以這臺(tái)機(jī)器的物理核是4個(gè)邏輯核是8個(gè)。如果要論“真正的計(jì)算能力”說4核比較實(shí)在如果說“系統(tǒng)并發(fā)能力”可以說8線程。2.3 /proc/cpuinfo的字段為什么processor不能直接當(dāng)物理核數(shù)lscpu本質(zhì)上讀取的也是/proc/cpuinfo的數(shù)據(jù)只是做了匯總。/proc/cpuinfo是虛擬文件系統(tǒng)/proc里的一個(gè)文本文件記錄著系統(tǒng)啟動(dòng)時(shí)探測到的每個(gè)邏輯CPU的詳細(xì)屬性。直接用cat查看也沒問題但信息量很大通常配合grep使用。grep -c ^processor /proc/cpuinfo這條命令會(huì)統(tǒng)計(jì)以processor開頭的行數(shù)得到的就是邏輯CPU總數(shù)。很多人會(huì)在這里犯一個(gè)錯(cuò)誤以為這個(gè)數(shù)字就是物理核數(shù)。如果你在一臺(tái)開啟了超線程的機(jī)器上執(zhí)行會(huì)發(fā)現(xiàn)返回8但物理核其實(shí)只有4個(gè)。所以這條命令統(tǒng)計(jì)的是邏輯核不是物理核。想進(jìn)一步確認(rèn)物理核數(shù)和CPU顆數(shù)需要看physical id和core id兩個(gè)字段grep physical id /proc/cpuinfo grep core id /proc/cpuinfophysical id表示這個(gè)邏輯CPU屬于哪一顆物理CPUcore id表示它屬于那顆CPU上的哪個(gè)物理核。理論上統(tǒng)計(jì)唯一的physical id數(shù)量就是CPU顆數(shù)統(tǒng)計(jì)唯一的physical id core id組合數(shù)量就是物理核總數(shù)。不過說實(shí)話在生產(chǎn)環(huán)境里我不太推薦手動(dòng)去數(shù)這些字段又麻煩又容易錯(cuò)。直接用lscpu就完了。了解/proc/cpuinfo的存在是為了讓你理解lscpu的來源出了問題的時(shí)候知道該去哪里排查。2.4 nproc與taskset當(dāng)前進(jìn)程能用幾個(gè)核還有一個(gè)命令叫nproc很多人容易忽略。nproc直接輸入返回的就是當(dāng)前shell可用的處理器數(shù)量。這個(gè)值通常等于邏輯CPU總數(shù)但在某些受限環(huán)境比如容器、cgroup限制了CPU配額中它會(huì)反映實(shí)際可用的數(shù)量。nproc --all加上--all顯示的是所有邏輯CPU數(shù)量不受cgroup限制影響。這里有個(gè)常見場景你在容器里跑服務(wù)用nproc發(fā)現(xiàn)只有2但lscpu顯示主機(jī)是8核。這時(shí)候不要慌是容器配額限制了你只能用2個(gè)核不代表你的程序只能跑2個(gè)線程但調(diào)度器確實(shí)只會(huì)讓你用到這么多。排查容器資源問題的時(shí)候nproc比lscpu更接近真實(shí)可用的情況。另外如果你只想知道某個(gè)具體進(jìn)程跑在哪個(gè)CPU上可以用tasksettaskset -cp PID它會(huì)輸出該進(jìn)程允許使用的CPU列表。做性能分析時(shí)這個(gè)信息能幫你確認(rèn)進(jìn)程是否被綁核了綁得合不合理。2.5 查看CPU核數(shù)的避坑經(jīng)驗(yàn)我在實(shí)際使用中遇到的坑基本集中在三點(diǎn)第一把邏輯核當(dāng)物理核。這個(gè)前面說過了判斷性能上限時(shí)容易誤判。特別是買云主機(jī)、選物理服務(wù)器時(shí)銷售說的“8核”可能指邏輯線程也可能指物理核一定要問清楚。在Linux系統(tǒng)里lscpu里的Core(s) per socket和Socket(s)才是準(zhǔn)確的物理核信息。第二容器里看到的核數(shù)不對(duì)。你在一臺(tái)8核宿主機(jī)上起了個(gè)容器限制只能用2個(gè)核。進(jìn)入容器執(zhí)行l(wèi)scpu有的環(huán)境依然會(huì)顯示宿主的8核有的會(huì)顯示2核取決于運(yùn)行時(shí)和內(nèi)核版本。判斷容器內(nèi)可用資源的可靠依據(jù)是nproc以及cgroup里的cpu.max或cpu.cfs_quota_us配置。第三NUMA架構(gòu)下核數(shù)分布。大型服務(wù)器會(huì)有多個(gè)NUMA節(jié)點(diǎn)lscpu輸出里會(huì)包含NUMA node(s)和每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的CPU列表。做性能優(yōu)化時(shí)盡量讓進(jìn)程的內(nèi)存分配和CPU執(zhí)行在同一個(gè)NUMA節(jié)點(diǎn)上避免跨節(jié)點(diǎn)訪問帶來的延遲。這個(gè)細(xì)節(jié)如果前期沒注意后面壓測的時(shí)候性能會(huì)差得離譜。3. 內(nèi)存容量free、/proc/meminfo與單位換算的坑3.1 free命令最常用的內(nèi)存查看工具查看內(nèi)存容量第一反應(yīng)基本都是free。free -h輸出的樣子total used free shared buff/cache available Mem: 7.6Gi 2.1Gi 1.2Gi 245Mi 4.2Gi 5.1Gi Swap: 2.0Gi 0B 2.0Gi這里的關(guān)鍵是看懂幾列total內(nèi)存總?cè)萘俊sed已使用的內(nèi)存。free完全空閑的內(nèi)存。shared共享內(nèi)存主要是tmpfs之類的文件系統(tǒng)用掉的。buff/cache用于緩存和緩沖的內(nèi)存這部分雖然被占用但可隨時(shí)釋放給應(yīng)用程序使用。available真正可用的內(nèi)存它是free加上可回收的buff/cache。很多新手看內(nèi)存只盯free那列覺得內(nèi)存快沒了嚇得不行。實(shí)際上buff/cache是大功臣Linux會(huì)盡量把空閑內(nèi)存用作緩存來提高性能應(yīng)用需要時(shí)再釋放。所以判斷內(nèi)存夠不夠優(yōu)先看available。容量的單位也需要注意。free -h里的Gi是Gibibyte吉比字節(jié)也就是1024進(jìn)制的GiB而硬盤廠商和很多云廠商習(xí)慣用GB十進(jìn)制1GB1000MB。所以free -h顯示7.6Gi實(shí)際相當(dāng)于8GB左右但不會(huì)正好等于標(biāo)稱8GB。這不是系統(tǒng)“吃了”內(nèi)存而是單位換算差異。如果習(xí)慣用MB來看可以執(zhí)行free -m用兆字節(jié)為單位顯示更直觀total used free shared buff/cache available Mem: 7776 2157 1233 245 4385 5224 Swap: 2047 0 20473.2 /proc/meminfo與dmesg查詢物理內(nèi)存的另一種方式free的數(shù)據(jù)來源實(shí)際上是/proc/meminfo。直接查看這個(gè)文件字段更完整cat /proc/meminfo開頭幾行MemTotal: 7959808 kB MemFree: 1263352 kB MemAvailable: 5349876 kB Buffers: 23588 kB Cached: 4197880 kB SwapCached: 0 kB ...MemTotal就是總內(nèi)存單位是kB。注意這里的kB是1024字節(jié)的KiB和前面說的單位問題一樣。如果你想查物理內(nèi)存條的信息比如有幾個(gè)內(nèi)存插槽、每個(gè)插槽多大、什么頻率free就無能為力了。這時(shí)候用dmidecodesudo dmidecode -t memory輸出很長重點(diǎn)看Size字段和Locator字段。如果某根內(nèi)存條沒插Size會(huì)顯示No Module Installed。這個(gè)命令在排查物理機(jī)內(nèi)存故障、確認(rèn)是否雙通道、統(tǒng)計(jì)整機(jī)內(nèi)存容量時(shí)非常實(shí)用。不過dmidecode需要root權(quán)限而且虛擬機(jī)環(huán)境下看到的信息可能是虛擬化軟件模擬出來的不完全等于真實(shí)物理內(nèi)存條信息。云主機(jī)尤其如此。3.3 為什么內(nèi)存總?cè)萘靠雌饋肀葮?biāo)稱小很多人剛接觸服務(wù)器時(shí)會(huì)發(fā)現(xiàn)一個(gè)現(xiàn)象買的是16GB內(nèi)存free -h顯示total只有15Gi甚至更少。第一反應(yīng)是系統(tǒng)有問題、被偷了。其實(shí)原因不復(fù)雜。一是單位換算。標(biāo)稱的16GB是十進(jìn)制的GB系統(tǒng)里顯示的是二進(jìn)制的GiB。16GB除以1.024的三次方約等于14.9GiB。二是硬件保留。集顯會(huì)占用一部分內(nèi)存作為顯存BIOS或固件也會(huì)保留一部分。尤其集成顯卡的機(jī)器顯存共享內(nèi)存占用多少取決于BIOS設(shè)置和驅(qū)動(dòng)。云主機(jī)如果配置了顯卡直通或GPU實(shí)例也會(huì)有一部分內(nèi)存被保留。三是內(nèi)核預(yù)留。內(nèi)核本身和早期啟動(dòng)代碼需要占據(jù)少量內(nèi)存MemTotal是系統(tǒng)可用物理內(nèi)存已經(jīng)減去了這部分。所以正確的心態(tài)是物理內(nèi)存容量以dmidecode和系統(tǒng)dmesg里的信息為準(zhǔn)操作系統(tǒng)層面能用的MemTotal作為一個(gè)動(dòng)態(tài)值。兩者有差異只要差異不大5%以內(nèi)基本都是正?,F(xiàn)象。3.4 查看內(nèi)存的避坑經(jīng)驗(yàn)遇到內(nèi)存相關(guān)的問題我總結(jié)了幾條經(jīng)驗(yàn)第一不要只看free列。free列小不代表內(nèi)存不夠。真正要看的是available。如果available持續(xù)見底swap用得越來越多那才是真的緊張。第二注意swap和內(nèi)存的關(guān)系。Swap是磁盤上的交換分區(qū)內(nèi)存不足時(shí)把不常用的內(nèi)存頁換到磁盤。它只是“急救包”性能遠(yuǎn)不如物理內(nèi)存。如果發(fā)現(xiàn)系統(tǒng)大量使用swap應(yīng)用響應(yīng)變慢那是內(nèi)存告急的信號(hào)不是swap越大越好。第三云主機(jī)查內(nèi)存要加上容器視角。你買了8G內(nèi)存的云主機(jī)但里面跑了很多容器每個(gè)容器占用一部分。宿主機(jī)內(nèi)存夠不代表容器內(nèi)夠。排查的時(shí)候一層層看宿主機(jī)free、容器free、進(jìn)程top缺一不可。第四total這個(gè)數(shù)值在虛擬化環(huán)境里可以變得很虛。有些超賣嚴(yán)重的云平臺(tái)宿主機(jī)內(nèi)存不足時(shí)會(huì)開啟內(nèi)存氣球balloon機(jī)制動(dòng)態(tài)調(diào)整虛擬機(jī)可用內(nèi)存。你會(huì)發(fā)現(xiàn)free里的total并不穩(wěn)定甚至?xí)兓?。遇到這種情況直接找云廠商確認(rèn)資源規(guī)格比自查更靠譜。4. 硬盤容量df與lsblk各有側(cè)重4.1 df命令從文件系統(tǒng)角度看可用空間說到硬盤容量大家最先想到的是df。df -h輸出Filesystem Size Used Avail Use% Mounted on /dev/vda1 99G 56G 38G 60% / tmpfs 3.8G 0 3.8G 0% /dev/shm /dev/vdb1 492G 120G 347G 26% /datadf反映的是文件系統(tǒng)的容量和使用率。這里的Size是文件系統(tǒng)總?cè)萘縐sed是已用Avail是可用Use%是使用率。這個(gè)命令解決的是“我的磁盤還夠不夠用”的問題是運(yùn)維日常最常用的。有個(gè)細(xì)節(jié)需要注意df的Size是文件系統(tǒng)層面的不完全是物理磁盤的大小。比如LVM邏輯卷、RAID磁盤陣列、云盤經(jīng)過文件系統(tǒng)格式化后都會(huì)有一些元數(shù)據(jù)開銷。所以Size通常比對(duì)應(yīng)的塊設(shè)備容量略小。100GB的磁盤文件系統(tǒng)大小可能是99GB左右這是正常的。-h選項(xiàng)是human-readable自動(dòng)選擇合適的單位。也可以用-T查看文件系統(tǒng)類型df -Th輸出會(huì)多一列Type顯示ext4、xfs、overlay等文件系統(tǒng)類型。這個(gè)信息在后續(xù)排障時(shí)很有用比如overlay是Docker容器典型的文件系統(tǒng)掛載方式。4.2 lsblk命令從塊設(shè)備角度看物理盤容量如果說df是“文件系統(tǒng)的視圖”那lsblk就是“塊設(shè)備的視圖”。它列出的是系統(tǒng)中所有的磁盤和分區(qū)以及它們之間的掛載關(guān)系。lsblk輸出NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 253:0 0 100G 0 disk └─vda1 253:1 0 100G 0 part / vdb 253:16 0 500G 0 disk └─vdb1 253:17 0 500G 0 part /dataTYPE為disk的是物理磁盤part是分區(qū)。SIZE顯示的是塊設(shè)備大小這里是十進(jìn)制的GB。lsblk能讓你一眼看出機(jī)器掛了幾塊盤、每塊盤多大、分成了幾個(gè)區(qū)、分別掛載到哪里。如果想看更詳細(xì)的信息包括磁盤型號(hào)、序列號(hào)、傳輸類型可以加-d參數(shù)lsblk -d -o NAME,SIZE,MODEL,SERIAL,TRAN這在資產(chǎn)管理時(shí)很有用能直接列出物理盤信息。那為什么df看到的和lsblk看到的不一樣因?yàn)閷硬灰粯印sblk看到的是磁盤和分區(qū)df看到的是建立在分區(qū)之上的文件系統(tǒng)。中間還可能隔著LVM、RAID、加密層。所以兩塊盤做了RAID 1lsblk看到兩塊都是1TB但實(shí)際可用空間只有1TBdf看到的總?cè)萘恳彩?TB??次锢碛脖P總?cè)萘亢瓦壿嬁捎萌萘康膮^(qū)別就在這里。4.3 查看硬盤總?cè)萘康恼_姿勢(shì)如果問題是“這臺(tái)機(jī)器物理硬盤總共多大”答案是所有disk類型設(shè)備的SIZE之和。lsblk就能直接回答。如果問題是“我能用的存儲(chǔ)空間有多少”答案是df里各自掛載點(diǎn)的Size之和排除tmpfs、loop設(shè)備這類虛擬文件系統(tǒng)。這里有個(gè)很常見的坑很多服務(wù)器會(huì)用LVM做邏輯卷管理。lsblk輸出里會(huì)有l(wèi)vm類型的設(shè)備比如NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 100G 0 disk ├─sda1 8:1 0 1G 0 part /boot └─sda2 8:2 0 99G 0 part └─vg_data-lv_root 253:0 0 99G 0 lvm /這種情況下物理盤是sda100GB被分成兩個(gè)分區(qū)其中一個(gè)分區(qū)用作LVM物理卷再劃給邏輯卷lv_root掛載到根目錄。df看到的就是邏輯卷的容量lsblk能看到LVM的層級(jí)關(guān)系。4.4 為什么df顯示的和廠商標(biāo)注的容量差很多還有一類高頻疑問買了500GB云盤lsblk顯示容量不足500Gdf顯示更小。原因有幾層最外層是單位差異。操作系統(tǒng)通常用二進(jìn)制單位顯示GiB云廠商和硬盤廠商用十進(jìn)制GB。500GB的標(biāo)稱容量在lsblk里顯示為465.7G這很正常任何硬盤都這樣。中間層是文件系統(tǒng)元數(shù)據(jù)。創(chuàng)建文件系統(tǒng)時(shí)會(huì)預(yù)留一部分空間給inode、文件系統(tǒng)日志、塊位圖等。ext4一般默認(rèn)預(yù)留5%給root用戶用于防止磁盤寫滿導(dǎo)致系統(tǒng)無法啟動(dòng)。這部分可以從tune2fs -l /dev/vdb1里查看到。最內(nèi)層是備份和快照。云盤做快照時(shí)快照也會(huì)占用存儲(chǔ)池空間但一般不會(huì)影響你看到的塊設(shè)備容量。不過如果你用的是本地盤某些RAID級(jí)別如RAID 5、RAID 6會(huì)用一部分容量做校驗(yàn)可用容量會(huì)進(jìn)一步縮水。所以查看硬盤總?cè)萘坑胠sblk看塊設(shè)備查看實(shí)際可用空間用df兩者結(jié)合才能對(duì)存儲(chǔ)狀況有完整認(rèn)知。4.5 查看硬盤容量的避坑經(jīng)驗(yàn)第一別在根目錄掛載點(diǎn)一查就說“磁盤滿了”。df -h看到/滿了先看是不是有東西在被刪除文件仍被進(jìn)程占用。lsof | grep deleted能看到這類情況。系統(tǒng)不會(huì)自動(dòng)釋放但很多時(shí)候重啟進(jìn)程就好。第二云盤擴(kuò)容后別忘記擴(kuò)文件系統(tǒng)。云平臺(tái)面板上把云盤從100G擴(kuò)到200G系統(tǒng)里lsblk看到的是200G了但df看到的還是原來的大小。因?yàn)榉謪^(qū)表和文件系統(tǒng)還沒擴(kuò)展。需要依次執(zhí)行g(shù)rowpart如果分區(qū)也需要擴(kuò)和resize2fsext4或xfs_growfsxfs。這個(gè)順序反了會(huì)直接報(bào)錯(cuò)。第三虛擬機(jī)里df可能看到虛擬磁盤小但lsblk里能看到物理機(jī)直通的整塊盤。在虛擬化環(huán)境里可能存在“磁盤直通”或“虛擬磁盤”兩種方式。前者能看到整塊物理盤后者只是一個(gè)文件。如果發(fā)現(xiàn)容量差異極大先確認(rèn)虛擬化層的磁盤類型不要盲目判斷物理磁盤出問題。第四區(qū)分個(gè)人電腦和服務(wù)器。個(gè)人電腦里/home和/往往在同一個(gè)分區(qū)df顯示的就是整塊硬盤。服務(wù)器上可能把數(shù)據(jù)盤單獨(dú)掛載到/data、/optdf輸出會(huì)有多行。統(tǒng)計(jì)總?cè)萘繒r(shí)把所有掛載點(diǎn)加起來才是合理的邏輯容量總和。5. 把三項(xiàng)信息串起來一條命令與腳本化方案前面把CPU、內(nèi)存、硬盤分開講了。但實(shí)際工作中我經(jīng)常要在一分鐘之內(nèi)把一臺(tái)服務(wù)器的大致配置摸清楚有沒有一條命令或者腳本能把這三樣信息一次性展示出來有。5.1 一條命令快速查看整體配置最簡單的做法lscpu | egrep 型號(hào)名稱|CPU\(s\)|Core\(s\) per socket|Socket\(s\) ; free -h | head -2 ; df -h | grep -v tmpfs把三組命令串在一起執(zhí)行完基本信息就都出來了。但是這樣輸出比較粗糙字段名稱也不統(tǒng)一。我可以給你一個(gè)更完整的組合命令echo CPU ; lscpu | grep -E ^CPU\(s\)|^Model name|^Core\(s\) per socket|^Socket\(s\)|^Thread\(s\) per core; echo; echo MEMORY ; free -h; echo; echo DISK ; df -h -x tmpfs -x devtmpfsdf -h -x tmpfs -x devtmpfs的作用是排除tmpfs和devtmpfs這兩類虛擬文件系統(tǒng)只看真實(shí)的磁盤掛載點(diǎn)。這是查磁盤容量時(shí)的小技巧。不過這樣的命令每次都要敲一遍很累。更推薦的做法是寫成一個(gè)腳本放在服務(wù)器上隨時(shí)用。5.2 寫一個(gè)sysinfo.sh小腳本這是我個(gè)人長期使用的一個(gè)簡化版本你可以直接抄也可以按需改#!/bin/bash # sysinfo.sh - 快速查看服務(wù)器CPU、內(nèi)存、硬盤配置 echo 主機(jī)信息 hostname uname -r echo echo CPU lscpu | grep -E ^CPU\(s\)|^Model name|^Core\(s\) per socket|^Socket\(s\)|^Thread\(s\) per core echo 物理核總數(shù): $(lscpu | awk -F: /^Core\(s\) per socket/{cores$2} /^Socket\(s\)/{sockets$2} END{print cores*sockets}) echo echo 內(nèi)存 free -h echo echo 硬盤 lsblk -d -o NAME,SIZE,MODEL,TRAN echo df -h -x tmpfs -x devtmpfs保存后加執(zhí)行權(quán)限chmod x sysinfo.sh sudo ./sysinfo.sh這個(gè)腳本的價(jià)值在于每次初始化新服務(wù)器時(shí)把輸出保存下來作為資產(chǎn)記錄的一部分。后面再做配置變更也有據(jù)可查。5.3 腳本化解決了什么問題我為什么強(qiáng)調(diào)腳本化因?yàn)槿巳馇妹钣袃蓚€(gè)問題一是容易漏看字段二是輸出不統(tǒng)一無法對(duì)比。比如你有一批機(jī)器都是“8核16G 500G”的規(guī)格。怎么驗(yàn)證如果一臺(tái)臺(tái)登錄敲命令不僅慢而且每個(gè)人的命令還不一樣有人說“8核”指邏輯核有人說指物理核。寫腳本統(tǒng)一輸出格式所有機(jī)器跑同一個(gè)腳本結(jié)果才能放在一起比較。配合ssh批量執(zhí)行的效果更佳for host in 192.168.1.10 192.168.1.11 192.168.1.12; do echo $host ssh $host bash -s sysinfo.sh done這樣一輪下來整批服務(wù)器的配置一目了然。雖然現(xiàn)在有一些自動(dòng)化運(yùn)維平臺(tái)能做到類似的事但掌握這個(gè)基本功在你手頭只有幾臺(tái)機(jī)器、沒有現(xiàn)成平臺(tái)的時(shí)候非常管用。5.4 進(jìn)階把信息輸出為JSON方便程序處理如果你稍微懂一點(diǎn)腳本可以嘗試把信息轉(zhuǎn)成JSON格式方便后續(xù)接入監(jiān)控系統(tǒng)或自建的資產(chǎn)管理平臺(tái)。簡單示例如下#!/bin/bash # sysinfo-json.sh cpu_info$(lscpu -J | jq -c .lscpu | map({(.field): .data}) | add) mem_total$(free -b | awk /Mem:/{print $2}) disk_info$(lsblk -J -d -o NAME,SIZE,MODEL | jq -c .blockdevices) echo {\cpu\: $cpu_info, \mem_total_b\: $mem_total, \disks\: $disk_info}實(shí)際使用中建議用Python寫更規(guī)范畢竟JSON拼接容易出錯(cuò)。這里只是給一個(gè)有編程基礎(chǔ)的朋友一個(gè)思路方向和示例。核心邏輯不變從系統(tǒng)文件或標(biāo)準(zhǔn)命令中讀取數(shù)據(jù)再按需格式化。6. 幾個(gè)容易翻車的細(xì)節(jié)服務(wù)器信息查看答疑匯總最后這部分我把這些年遇到的高頻問題集中回答一下。有些問題看著簡單但真到關(guān)鍵時(shí)候卡殼了就很耽誤事。6.1 processor編號(hào)是連續(xù)的物理核數(shù)就一定是這個(gè)數(shù)嗎不一定。上面已經(jīng)詳細(xì)解釋過processor是邏輯CPU的編號(hào)不是物理核編號(hào)。在開了超線程或者NUMA拓?fù)鋸?fù)雜的機(jī)器上物理核數(shù)少于processor的最大編號(hào)加1是常有的事。判斷物理核可以用lscpu那才是正規(guī)渠道。如果非要看/proc/cpuinfo就看每個(gè)CPU條目里的physical id和core id組合統(tǒng)計(jì)唯一組合數(shù)。6.2 內(nèi)存的GB和GiB到底差多少1GB 1000 × 1000 × 1000 字節(jié) 10^9 字節(jié) 1GiB 1024 × 1024 × 1024 字節(jié) 2^30 字節(jié)換算關(guān)系GB GiB × 1.073741824也就是說1 GiB約等于1.074 GB。標(biāo)稱8GB的內(nèi)存換算過來是7.45 GiB。再加上硬件保留free -h顯示7.6Gi甚至7.4Gi都是正常的。不要看到這個(gè)數(shù)字比標(biāo)稱小就疑神疑鬼換算一下心里就有數(shù)了。6.3 df顯示根目錄快滿了但lsblk里磁盤還有空間為什么要么是根目錄所在的分區(qū)比較小其余空間分給了別的分區(qū)要么是同一個(gè)卷組里邏輯卷分配不均。先用df -h找到各個(gè)掛載點(diǎn)的使用率再用lsblk看分區(qū)結(jié)構(gòu)。最常見的場景是數(shù)據(jù)盤和系統(tǒng)盤分開買根目錄50G數(shù)據(jù)盤100G/快滿了但數(shù)據(jù)盤空著。這種情況不是空間不夠是布局不合理。處理方式是把數(shù)據(jù)遷移到數(shù)據(jù)盤上或者用LVM重新分配空間。6.4 云主機(jī)上查到的信息能用嗎能用但要理解云主機(jī)的特殊性。云主機(jī)看到的CPU和內(nèi)存是宿主機(jī)分配給你的虛擬化資源它的值和你在云平臺(tái)控制臺(tái)上看到的規(guī)格一定是對(duì)應(yīng)的。如果發(fā)現(xiàn)lscpu顯示的物理核數(shù)和買的不一樣先別急著質(zhì)疑廠家——虛擬化層本來就會(huì)做資源抽象。比如你買了4核虛擬機(jī)上看到的可能是1個(gè)Socket、1個(gè)Core per socket、4個(gè)Threads per core。這種情況在云環(huán)境中很常見代表的是1個(gè)vCPU對(duì)應(yīng)宿主機(jī)上一個(gè)物理核心的超線程不影響正常使用。磁盤方面云盤通常以網(wǎng)絡(luò)塊設(shè)備的形式掛載lsblk里的設(shè)備名可能是vda、vdb、sda、sdb。容量以控制臺(tái)顯示的為準(zhǔn)系統(tǒng)里看到的會(huì)比標(biāo)稱值小一點(diǎn)點(diǎn)單位換算導(dǎo)致。如果擴(kuò)容后系統(tǒng)里沒生效參考前面說的growpart和文件系統(tǒng)擴(kuò)容流程。6.5 查看這些信息時(shí)哪個(gè)命令必須rootdf、lsblk、free、lscpu都不需要root普通用戶就能看。dmidecode需要root或者sudo因?yàn)樗x取的是BIOS/DMI信息屬于底層硬件數(shù)據(jù)。fdisk -l也需要root。如果你權(quán)限不夠優(yōu)先用lsblk和cat /proc/meminfo這兩個(gè)是無權(quán)限壓力的查詢方式。6.6 排查問題時(shí)CPU、內(nèi)存、硬盤應(yīng)該按什么順序看我的習(xí)慣是先看負(fù)載再看資源瓶頸最后才看配置。具體來說先用uptime看load average判斷系統(tǒng)整體忙不忙再用top或htop看CPU使用率、內(nèi)存使用率最高的進(jìn)程然后用df -h看磁盤空間最后用iostat看磁盤IO。配置信息并不是第一步就要查的除非你明確知道要評(píng)估容量、升級(jí)配置。很多人一上來就用lscpu、free、df查看配置結(jié)果配置沒問題問題出在滿跑的進(jìn)程上。順序反了排查效率低很多。把基礎(chǔ)命令用熟配合正確的排查思路才能事半功倍?;氐介_頭說的那個(gè)故障案例。那年我最后是怎么處理的先確認(rèn)了CPU、內(nèi)存、硬盤的真實(shí)情況發(fā)現(xiàn)配置并不低再看進(jìn)程發(fā)現(xiàn)有個(gè)定時(shí)任務(wù)腳本異常把CPU打滿了??车舢惓H蝿?wù)系統(tǒng)立馬恢復(fù)正常。整個(gè)過程如果缺少第一步對(duì)配置的準(zhǔn)確判斷很可能就誤判成“資源不足”不僅問題沒解決還白白花了一筆擴(kuò)容的錢。Linux系統(tǒng)里的這些查看命令看起來基礎(chǔ)但每一個(gè)都對(duì)應(yīng)著真實(shí)場景里可能出現(xiàn)的坑。把命令敲出來是門檻最低的一步搞清楚輸出背后的含義才是真正有用的技能。希望這篇內(nèi)容能幫你少踩幾個(gè)坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲精级| 亚州第一黄网| 亚洲精品永久久久久久| 99精品久久| 最近中文字幕大全免费版在线| 99热这里只有精品23| 色婷婷五月丁香色| 激情五月天丁香| 婷婷综合五月激情| 婷婷色五月天色| 五月天色图| 亚洲射激情| 91丨九色丨老熟女激情| 国产激情久久| 久久久人妻门| 丁香色五月 97干| 无码日本精品XXXXXXXXX | 色婷婷视频综合| 婷婷丁香成人五月天| av中文在线| 99这里只有精品在线| 国产婷婷五月| 99精品久久| 婷婷五月天欧美图片在线播放电驴| 97色啪| 亚洲综合色婷婷| 五月天激情小说婷婷基地| 99爱爱网| 97在线观视频免费观看| 99毛片| 婷婷五月天激情综合| 9 1 A v久久久| 99爱在线精品视频免费观看| 色五月丁香伊人| 丁香婷婷色| 日本精品人妻无码77777| 99热免费在线| 国产色色网站网址| 五月婷婷|欧美| 九九热在线精品视频| 六月 丁香 视频| 九九热av| 91免费试看| 亚洲色五月| 激情网五月婷婷| 亚洲不卡欧洲| 性爱111111| 大香蕉人妻| 五月婷婷精品无在线| 最新久久网址| 黄色av网站在线免费播放| 色久女| 6080av| 538任你爽视频不一样的| 精品人妻伦九区久久AAA片| 天天摸天天透天天舔| 七七九九色色| 日本三久久| 欧美三级巜人妻互换| 五月丁香亭亭| 就去涩涩丁香五月天| 六月丁香啪啪啪| 五月激情综合婷婷| 成人做爰A片免费看视频| 色五月婷婷五月| 五月天婷婷六月| 大伊香蕉玖玖爱| 亚洲人妻av伦理| 久久色五月| 婷婷五月中文字幕国产| 五月天激情综合网站| 久久精品女人天堂AAA| 色婷婷成人| 色婷另类| 无码任你操| aaaaaa片| 久久99婷婷| 丁香五月天日韩无码| 九九亚洲| 欧美熟女99| 99re热免费观看视频精品| 99免费综合网| 国产成人高清| Aα在线免费观看| 人与禽A片啪啪| 久久激情五月天| 婷婷六月视频| 欧美丁香六月激情视频| 久久只有这里精品免费| 黄网免费观看| 丁香五月婷婷综合精品素人| 五月丁香综合久久夜夜| 国内一级片| 9+1视频网址| 天天做天天爱| 五月婷婷丁香在线| 久久AV电影| 国产乱码久久| 免费亚洲婷婷中文字幕| 九热久| 久草婷| 乱岳熟女50岁| 色色无码| 26uuu欧美| 另类激情五月| www.色五月| 久狠日av| 丁香五月停停av| 六月综和久久| 丁香五月婷婷啪| 91婷婷色五月| 精品网站:999WWW| 97碰91| 国产精品美女久久久久AV超清| 人人摸人人搞| 操人91| 五月丁香色综合| 激情婷婷五月天日本系列| 丁香五月婷婷成人综合| 五月丁香激情综合啪| 伊久久婷婷| 五月丁香六月婷婷的女人| 婷婷色色综合| 久草丁香婷婷1024| 婷婷五月丁香亚洲| 中文字幕视频色婷婷| 99精品在线观看| 丁香六月婷婷色XXXXX| 成人电影在线免费试看| 狼人婷婷久久| 精品99在线| 夜夜撸夜夜骑| 五月婷视频在线| 五月天久久网站| 五月天婷婷深深爱| 99久久综合精品五月天| 99精品爱| 六月色国内综合| 337p午夜影院| 精品99只有。| 婷婷五月天天aV| 色婷婷六月精品| ...婷婷国产成人亚洲日韩| 激情婷婷| 天天插天天狠| 99热这里只有精品国产免费| 玖玖资源部在线播放| 99综合色色色| 再綫Av免费視品| 国产 码在线成人网站| 操97| 99热99在线| 狠狠色婷婷7777久| 掩去也综合五月视频| 国产99久久久| 亚洲婷婷在线播放十月| eeuus五月婷| 激情深爱五月婷婷| 色色网站在线免费观看视频| 五月色欧洲| 婷婷丁香五月精品| 五月丁香六月婷婷手机无线| 久久激情五月天| 丁香美女主播视频在线观看| 深爱激情丁香| 激情婷婷久久| 九月色婷婷| 激情综合色| 99re在线观看| 五月婷婷六月丁香| 亚洲av| 99re欧美精品| 我想看国产大学生口爆吞精的视频| 久久久久久久久久久久久久久久久精典| 美女视频图片久久91| 91/九色黑人| 91/九色黑人| 五月婷婷www| 狠干综合| 久久精品视频99| 五月丁香六月香香蕉| 色色婷婷五月天| 99re熱| 99热无码精品| 蜜桃婷婷丁香| 狠狠人人婷婷| 97久久人人操| 丁香激情网| 四川BBB搡BBB搡多人乱亂| 久草热8精品视频在线观看| 日逼AV影音先锋男人资源站| 996热re视频在线观看视频| 久久色午夜在线导航| www久久久久| 激情性爱五月| 婷婷五月亚洲激情| 五月婷婷婷自由综合| 五月激情天天干| 99视频精品在线| 91凹凸在线| 亚州色婷婷| 91热爆在线| 国产精品99久久久久久久女警| 一区二区三区四日本| 综合五月激情| 丁香狠狠色婷婷| 日韩成人中文字幕| 婷婷丁香五月精品| 亚洲狠狠干| 国产精品色婷婷99久久精品| 五月丁香婷婷综合| 六月婷婷综合网2| 综合 蜜月 婷婷| yellow视频在线观看91| 国产夫妻操逼内射视频| 狠狠色噜噜色狠狠狠综合久久成人波| 亚洲激情综| 亚洲这里只有精品| 亚洲久久天堂| 色玖玖导航| 婷婷导航| 色爱终和网| 五月激情综合网| 中文字幕在线日亚洲9| 久久婷综合| 激情五月综合网丁| 综合性爱网| 九九视频免费| 色深爱五月| 激情综合国产| 色婷婷基地 | AV中文字幕夜夜操b天天摸bb | 91碰九色| 婷婷五月色播网| 思思热精品免费视频| 丁香六月色婷婷| 色色色99| 久操香蕉| 在线中文av| 日操五月婷| 婷婷六月丁香欧美视频在线| 99色精品| 亚洲啪啪自拍| 日本va欧美va欧美va精品| 婷婷成人丁香色情基地30 | 国产成人精品一区二三区熟女在线| 色色丁香婷婷五月天| 五月婷六月| 九月婷婷综合八月丁香在线观看| 亚洲激情婷婷| 五月丁香激情啪啪| 91丨九色熟女丨首页| 婷香五月网在线| 涩涩涩.com| 亚洲天堂啪啪| 7777国产盗摄农村女人| 另类亚洲2| 99精彩视频在线观看| 九九激情| 国色天香成人网| 99久久亚洲国产| 五月婷婷六月丁香激情深爱| 青草五月天| 色色无码| 大香蕉九九操| 就爱操www com| 天天色天天操天天射| 国产精品美女| 久久嘟嘟丁香| 伊人久久婷婷五月天激情四射| 这里只有精品视频在线| 精品影院| 色五月超碰| 婷婷五月婷婷五月天| 激情五月天综合网| 热日韩欧美| 91 九色 熟女| 丁香婷婷视频在线| 中文成人在线| 91操人视频| 亚洲人成人五月天| 九九热免费视频| 亚洲无码www| 5月婷婷6月丁香aV| 亚洲综合久| 丁香九月激情在线视频| 国产噜一噜天天噜| 99精品一二三四视频| 天天久综合网永久入口18| 五月婷啪啪| 国产精品久久久久久五月天加勒比| 欧洲亚洲免费视频9| 91色综合网站在线| 久久AAAA片一区二区| 免费亚洲婷婷五月| 婷婷大香焦| 久久草大香蕉| www.99热| 亚洲日比视频| 99爱欧美| 色噜噜狠狠色综合日日| 亚洲无码你懂的| 天天爱天天做综合| 97干在线| 香蕉97碰碰碰超视精品| 狠狠五月激情婷婷直播片| 五月丁香婷婷基地| www,色婷婷| 五月丁香色婷婷综合| 亚洲色婷婷| 成人在线高清| 激情久久综合网| 可以免费观看的AV| www.91九色| 色人妻五月| 激情色色| 日韩欧美一级大黄网站| 欧美激情五月天| 久久九九激情五月天| 亚洲激情综合色站| 五月婷亚洲精品AV天堂| 丁香 亚洲 久久| 五月天婷婷五月| www.色99| 亚洲综合在线视频| 五月丁香好婷婷A片网| 精品无码片| 色播五月丁香综合| 久久99视频| 亚洲熟女色| 婷婷五月亚洲一本在线丁香| 婷婷久久色五月婷婷久久久| 丁香五月婷婷亚洲综合精品在线| 丁香婷婷激情| 婷婷五月天色色| 天天人人人人人人人人人人人| 久久XX日本综合| 天天爽天天弄| 亚洲综合色婷婷| 日本不卡中文字幕| 大香蕉久久婷婷| 色婷婷AV在线观看| 伊人五月天婷婷| 99精品国产乱码久久久人妻| 六月婷婷俺也去| 久久女婷| 91色在线/日韩| 丁香在线视频| 国产99久9在线| 99热这里只有精品18| 亚洲网在线观看| 亚洲日韩人妻操逼| 伊人婷婷五月天| 激情色色| 色优久久| 久久精彩免费视频精彩免费视频| 91精品久久久久久77777| av激情在线| 久久狠狠干| 丁香亚洲色综合| 丁香欧美| 99色热综合| 玖操97| 亚洲经典三级| 97涩涩丁香五月天| 亚洲精品一区中文字幕乱码| 91啪级电影| 可以免费观看的av| 婷婷五月天成人动漫 | Se.婷婷五月天| 深爱激情丁香| 六月婷婷天天操夜夜爽视频| 亭亭玉月丁香| 久久五月天激情婷婷| 九九这里有精品| 丁香婷婷久久| 79精品视频在线观看,| 国产 亚洲 在线| 久久人人九九| 四虎成人精品永久免费AV九九| 97影院一级片| 无码人妻电影| 五月丁香色| 99热99干| 日日夜夜狠狠| 五月天婷五月天综合网在线观| 91久久久久久| 色五月天综合| 狠狠插.com| 天天擼久久擼在线| 精品婷婷丁香五| 五月天激情啪啪| 欧美日韩国产一二区| 欧美爆乳一区二区三区| 丁香六月婷婷色XXXXX| 五月天狠狠网| 中文字幕五月久久婷| 五月婷婷丁香| 久久婷婷成人| 久久激情网| 国产伊人五月天| 欧美成人精品三区综合A片| 婷婷丁香五| 欧美成人AAA片一区国产精品| 婷婷五月天亚洲天堂| 精品少妇人妻AV无码专区偷人 | 四月婷婷五月丁香| 色五月琪琪| 99天堂网| 九九视频在线观看视频6 | 深爱婷婷色| 在线看片h站| 色婷婷五月天不卡| www,色综合| 天天色99| 激情综合色| 六月婷婷色综合| 综合在线丁香五月| 丁香婷婷浪潮AV久久综合| 久久久久丁香婷婷五月天| 99精品超在线播放| 婷婷色色网| 电影蜘蛛女| 乱精品一区字幕二区| 丁香六月视频免费观看| 九月av在线| 91色逼| jiujiu热在线视频| 久久精品99国产精品日本| 五月花婷婷丁香| yiqicaoav| 激情爱爱网站| 婷婷,五月天,丁香,第一| 欧美槡BBBB槡BBB少妇| 久久久久久久久久人妻| 丁香婷婷超碰 | 女人天堂AV| caopeng97日韩| 99精品综合在线| 欧美色色色色色色| 婷婷综合另类小说| a性生活久久无| 五月激情影院| 免费AAAAA网| 成人美女网| 99热在线观看精品| 91操片| 高清无码网址| 九九热只有精品| 婷婷六月激情| 色伦专区97中文字幕| 亚洲亚洲永久无码777777| 1区2区视频| 高清无码视频网址| 色五月综合婷婷| www.五月天色色色| 婷婷久久网| 五月停停丁香| 色综合久久综合中文综合网| 中文字幕日产A片在线看| 丁香六月天堂| 丁香婷婷五月综合色情| 中日韩美欧成人一区二区精品在线| 久久久久久人妻久久久久久久久久人妻久久久 | 日日操夜夜撸| 色五月开心婷婷| www天堂99| 久久婷婷内射| 五月丁香六月婷婷中合网| 五月久久| 天天做天天爱天天高潮| 亚美欧色影院| 超碰精品在线| 九色亚洲| 超碰91在线| 操日本人妻视频| 九月婷婷综合网| 九九热精品| 人人草人人视| 久久久婷| 亚洲精品九九| 五月天婷婷社区| 激情性五月天免费小说视频| 久99视频| 狠狠狠狠草草| 色五月播五月| 停停五月丁香| 婷婷五月综合色中文字幕| 97操碰日本女人| 亚洲五月天婷婷| 直接看的AV网站| 亚洲人妻av| 婷婷综合在线网| 色九月婷婷| 日韩av网址大全| 九九精品99| www.第四色99| 久久六月天| 四月婷婷丁香| 激情综合五月激情17| 亚洲啪啪精品| 综合激情在线| 色五月激情五月天| 久热这里这里有精品| 五月丁香综合久久夜夜| 色香蕉影院| 五月天久久婷婷| 日韩三级片一区二区| 人妻在线网站| 婷婷97狠狠成人网站| 中文字幕激情综合| 99爱最新免费视频在线观看| 另类视频综合| 99在线小视频| 成人精品视频99在线观看免费| 五月狠狠| 婷婷综合伊人丁香| 色一区高清| 丁香六月婷婷开心婷婷网| 中文字幕日产A片在线看| 玖玖在线| 丁香五月综合在线观看| 婷婷五月天Av| 天天操无码| 97超级碰碰碰久久久| 99操逼| www.婷婷.com| 国产资源91在线| 热99精品视频在线观看| 亚洲黄3级片网站欧美| 国产一级视频a| www.色婷婷| 丁香五月成人社区| 婷婷丁香激情五月| 青青.com| 五月丁香婷草| 色五月激情综合网站| 国产人妻777人伦精品HD| 日韩综合久久| 综合五月婷婷| 婷婷成人小说综合| 青青草a在线| 久久伦乱| 日本三级片片| 潘金莲AAAAAAAAAA| 人妻丰满精品一区二区A片| 亚洲成人在线免费| 日日撸夜夜操| 婷婷激情六月天视频| 丁香香五月激情免费视频| 超碰91人人操| 婷婷中文网站| 久久电影五月天丁香电影| 天天日天天插| 九九视频在线观看| 99热9999| 婷婷五月在线观看| 五月第四色| 激情五月丁香激情综合网| 婷五月丁香俺| 色婷丁香| 激情丁香六月| 久一网站| 91xxxx九色| 一级片无码| 国产亚洲精品久久久久苍井松| 99视频在线| 日本久久婷婷| 欧美色频| 九九热精品视频| 丁香五月激情综合啪啪| 米奇影视资源777狠狠色婷婷五月天激情网| 黄色99视频| 久久精典| 8区视频在线| 高清成人综合| 色婷在线视频| 亚洲AV电影美洲AV电影| 五月丁香激情综合网官网| 久久精品凹凸分类| 在线观看免费人成视频无码| 99热免费| 色婷婷99| 久色激情| 欧美激情五月天| 99热这里全是精品| 99视频自拍| 99热免费精品| 亚洲成人无码网站| 激情图片久久| 色色热| 97色色色| 国产这里只有精品| 思思热视频在线| 丁香五月电影| 色99网| 婷婷激情五月天激情| 五月丁香六月激情啪| 久久99热精品a片在线观看| 爱草视频在线观看| 五月永久激情| 日韩按摩二区| 人人综合五月人人婷婷| 天天操天天谢| 色婷婷激情视频| 婷婷激情欧美| 五月天激情婷婷小说| 狠狠狠五月婷婷六月丁香| 人妻操操色| 欧洲高清免费久久| 天天干天天叉| 欧美色爱五月天| 深夜激情网| 五月天综合婷婷| 99爱在线精品视频免费观看| 日韩三级高清无码| 99精品在线| 99视频网址| 久久总和99| 91se在线视频| 99热.com| 久/久精品99看9| 欧美操人| 鲁鲁色五月| 国内自拍97在线| 精品九九久久| 色色婷婷色色| 丁香五月综合激情啪啪| 丁香婷婷五月天激情四射| 九九热黄色| 超碰在线91| 99热 在线观看| 五月丁香激情综合网官网| 2025天天爽天天摸| 五月丁香花激情综合网| 五月丁香六月婷婷国产视频| 日日干日日| 婷婷性爱网| 天天精品视频免费观看| 国产精品18久久久| 婷婷五月激情基地| 色情五月天导航| 99狠狠| 超碰九色| 琪琪理论片| 五月丁香婷中文字幕 | 日本片日本片祼观看网站在线看中文版网页在线看 | 六月婷婷色宗合| 天天日,天天射,天天舔| 亚洲激情综合| 99视频在线| 成功精品影院| 99热草草| 91大屁股精品| 欧亚洲在线高清视频| www.99热最新视频8| WWW.桔色成人.COM| 思思久久精品| 91超碰在线观看| 欧洲色色| 五月综合激情久久| 吾爱AV导航| 久久婷婷五月丁香网| 精品九九在线观看视频| 在线综合婷婷| 99久久6| 操操天堂| 狠狠操狠狠插| 丁香五月色激情| 五月丁香激情综合啪啪| 久久五月丁香婷婷| 天天日天天操天天干| 人妻久久久久久久| 久久久激情| 国产成人片| 五月丁香天堂| 精品在线网站| 美女婷婷六月色| 丁香五月a| 超碰com| 91操操| 啪啪啪丁香五月| 久综合| 都市激情五月婷婷综合| 十月色综合| 久久xxxx| 亚洲狠狠色丁香婷婷综合久久| 无码九九九九| 久久中文人妻系列| 婷婷五亚洲| 中美日韩成人在线| 久久小说网| 97超级操操| 婷婷成人网五月天| 五月婷婷精品无在线| www.henhenl| 国产毛多水多女人A片| 久久婷婷大香蕉| 日本三级黄色大片| 五月婷久久在线| 日本色图综合| 99原创自拍视频在线观看| 性爱人人网| 影音先锋女人av鲁色资源网小说免费| 色激情五月| 99热在线播放| 婷婷色资源| 99ri精品| 天天操夜夜爱| 久久综合爱| 伊人久久大香线蕉精品| 啪啪 综合网| 狠狠擼综合| 天天操天天插| 久久久国产精品黄毛片| 狼人婷婷综合| 操逼123网| 婷婷99视频精品| av一级棒av| 五月婷婷激情性爱| 久久久人人人妻丝丝丝| www色五月| 五月婷婷亚洲天堂97色婷婷| 丁香婷婷黄网站| 欧美va亚洲va在线播放| 色婷婷狠狠爱| 丁香八月综合激情| 五月开心婷婷极品激情| 丁香六月成人| 激情五月综合网| 伊人狠狠色婷婷综合丁香一区| 婷婷在线五月天观看| 夜夜操狠狠操| 国产在线网| 九九aV| 夜丁香五月婷婷| 久热只有精品| 亚洲视频无| 天天成人综合| 欧美在线97| 97超级碰人人| 久久只有这里精品免费| 久久人人妻| AA片在线观看视频在线播放| 武则天精品久久| www.色色色色| 涩涩五月天| 超碰男人色| 丁香婷婷色六月| 超碰99热| 久热超碰91| 五月天婷婷永久免费视频| 精品久久艹| 五月丁香五月丁香五月丁香五月丁香91| 日日爽日日操| www.色综合| 欧洲区自拍| 日在线V视频在线播放| 五月天激情四射| 久久久人人操A V| 天天艹夜夜爽| 色五月天在线观看| 欧美日韩成人在线免费| 激情五月天免费视频| 欧美日韩aaa| 踪合专区啪啪| 天天搞天天色综合| 日韩免费视频| 伊人久久婷婷| 五月综合色| 沈娜娜av| 色 丁香婷婷| 五月婷婷AV| 婷婷va| 99免费视频在线观看爱| 婷婷五月花| 97久久超碰| 开心婷婷中文字幕| 日逼影音先锋男人资源站| 这里只有精品99视频| 色婷婷操逼| 情一色一乱一伦一91A| 五月婷婷婷婷婷| 色婷婷成人做爰A片免费看网站| 日韩ac不卡无码| 99热这里只有精品8| 亚洲精品第一国产综合亚AV | 99视频在线观看视频| 六月婷色六月| 人妻少妇色综合| 狠狠操狠狠爱| 五月丁香激情四射| 九九九九九九综合| 亚洲综合丁香五月天| 丰满少妇猛烈A片免费看观看| 狠狠色丁香五月婷巨| 日韩综合久久| 五月天婷综合| 色综合色色色| 丁香五月天日韩无码| 噜噜噜色噜噜| 日本不卡高字幕在线2019| 久久这里这里有精品免费视频| 97操碰视频| 99热资源在线| 91午夜激情| 激情五月天.色网| 日本性激情色播| 国产真人做爰视频免费| 青青草a在线| 伊人五月综合网| 久久九九爽| 99久久久久久| 中文字幕av在线播放| 久久五月丁香| 五月婷婷丁香网| 丁香五月六月婷婷殴美综合| 99精品综合| www.婷婷,com| 日本人妻伦在线中文字幕| 伦乱美欧| 九九性视频| 五月丁香爱婷婷深深| 国产无套精品一区二区| 日韩无码专区| 97色色婷婷| 婷婷永久在线| 国产激情综合| 亚洲成人在线免费| 99热偷拍| 五月丁香激情四射综合| 99热青青草| 国产精品成人AV在线| 91肏| 丁香激情四射| 五月婷中文字幕| 99九九精品视频| 大香蕉伊人99| 五月丁香婷婷久久| 99色婷婷视频| 丁香五月影院| 亚洲中文乱字字幕在线永久| 深爱婷婷基地| 五月丁香激情啪啪| 中文人妻主播久久| 国产精产国品一二三在观看| 5月婷婷6月丁香aV| 日本不卡一区二区三区| 白天AV月月| 五月丁香花成人社区| wwwC0maV五月花| ai97re99一本| 五月婷天天搞视频| 欧美月久久| 五月婷婷六月丁香五月| 五月久久婷婷天堂视频| 久久久香| www.久久99| 精品婷婷| www.狠狠狠.com| 在线看九一V图片| 色综合久久中文| 丁香六月婷| 8区视频在线| 丁香六月在线| 丁香六月色婷婷欧美| www.五月天| 国产丁香五月天婷婷| 色香蕉精品五夜婷| 久热精品视频| 丁香五月 激情文学| 天天日 天天草| 色五月婷婷操逼| 99热在线观看| 99热这里只有精品在线免费| 国产99久久久国产精品免费看| 五月丁香婷婷伊人| 丁香九色不卡aaa| 五月丁香激情综合| 欧洲不卡视频| 丁香五月天视频| 在线综合婷婷| 婷婷丁香大香蕉| 五月激情婷婷国产精品久久久久久| 久操干| 综合久久99| 情婷婷五月天在线| 曰韩五月丁香色婷婷无码| 五月丁六月香| 色婷婷国产精品综合在线观看| 狠狠色婷婷777| 丁香六月婷婷缴情欧美| 成人做爰黄A片免费看直播室男男| 色区域网站视频| 69精品无码一区二区三区| 婷婷激情人妻| 欧美情月伍月天| 久久久亚洲精品一区二区三区浴池| 999热成人在线综合网| 久久五月婷婷视频| 久9视频| 热热久久精品视频| 伊人狼人干| 色色国产| 天天情天天狠天天透| 777米奇影视第四色| 蜜乳中文字| 婷婷大乡焦噜噜| 亚洲热热视频| 国产热精品| 婷婷久久婷婷| 爱射综合| 色香五月天| 91精品综合久久久五月天| 成人av播放| 99热久久这里只有精品| 天天综合网~91| 久久WW| 五月丁香日本片| 99在线视频观看| 影音先锋天天日| 九九这里只有精品在线视频| 91无码一区人妻A片蜜| 天天影视天天爽天天草| 久久丝丝热| 激情网 久久| 激情亭亭五月| 深爱 五月天| 色婷婷av综合网| 色五月婷婷在线| 婷婷综合网在线| 亚洲天堂有码| 色五月六月| 热99re| 色婷婷超碰| 六月丁香网| 精品亚洲VA网站| 超碰人人操人人干| 日日干四虎| 久久小视频| 99热这里只有在线播放| 丁香六月欧美| 99热在这里只有精品| 六月婷婷亚洲| 亚洲成人av在线| 亚洲情综合五月天| 久久玖玖综合| 情欲综合网| 99丁香五月婷婷在线| 日本一级黄色电影| www.henhengan| 亚洲激情亚洲激情 | chaopengdaxiangjiao| 久久激情天堂| 狠狠肏综合网| 婷婷五月天精品| 五月丁香激情综合| 精品久久人妻| 秋霞学生妹一二级| 99九精品| 五月天婷婷综合网| 色色色综合网| 色五月丁香激情视频| 色香久久| 亚洲无AV在线中文字幕| 成人永久免费视频在线观看| 丁香六月视频| 伊人玖玖精品| 91操人人操| 嫩草视频在线观看| 狠色狠色综合久久| 大香蕉520| 91丨九色丨国产打屁股网站| 免费视频99| 九九99精品视频在线观看| 五月激情婷婷图片基地| 久久日九九| 99精品偷自拍| 久热黄色| 国色天香伊人狠狠色| 激情综合久久| 五月婷久草| 激情婷婷| 操97免费超级视频| 另类小说婷婷色| 婷婷亚洲影院| www.久操| 五月丁香六月| 五月天操逼网| 伊人五月天婷婷| 思恩热国产视频右线观看| 五月丁香婷婷99| 性做久久久久久久免费看| 91久久精品无码一区二区三区| 99热这里有精品2| 99免费综合网| 丁香五月激情月| 草草夜夜操| 超碰人人草| 色五月综合在线| 色的色综合| 色久女| 婷婷五月天天激情| 99热在线观看| 久久九色| 99热这里只有精品青草| 我爱婷婷五月天综合88| 久久伊人大香蕉| 五月花激情网| 激情九月婷婷九月| 五月丁香六月综合激情| 日本天天操| 狠狠干思思热| 九九热视频网站| 久久婷婷五月丁香网| 免费观看日韩成人av| 日本熟妇乱妇熟色A片蜜桃| 国产99久久久| 色狠狠婷婷| 爱婷婷久久视频| 开心 五月 综合| 婷婷月综合| 毛片九九九九九九| 国产精品成人AV在线观看春天| 日本色色网| 色综合五月| 日日艹思思热| 五月天无码视屏播放| 任你爽免费视频| 久99精品视频| 亞洲自怕| 最近中文字幕2019视频1| 色五月激情| 成人电影AV在线观看| 五月天婷婷在线AN| 亚洲色色色色| 噜噜噜噜噜日本视频| 亚洲九九夜夜| 欧美日比视频| 国产色香蕉精品五夜婷| 日本人人超碰| www五月| 人人爱操| 五月色丁香| 激情五月丁香亭亭| 99小视频网站| 襙逼网| 激情五月激情综合网一级丸片| 九九激情网| 第五婷婷伊人丁香色| 婷婷之玖玖| 一区二区无码视频| 免费三级黄色| 777精品久无码人妻蜜桃| 九九热最新地址| 婷婷的99视频网站| 丁香五月天婷婷激情| 婷婷丁香五月高清| 激情婷婷五月天在线观看| 深爱激情九九五月天 | 欧美人人超级碰| 五月丁香婷婷激情爱爱| 丁香伍月婷电影全集| 婷婷成人基地| 99无码视频| 五月丁香六月| 婷婷午夜天| 亚洲中文字幕网| 激情六月丁香| 一月婷婷色色| 九九亚洲| 99视频精品全部观看10| 日屌日日操日日色| 五月丁香六月婷婷综合网缴情| 26uuu欧美亚洲日韩| 婷婷五日b| 久久这有这里精品| .操區COm| 天天狠天天狠| 九九热视频精品2| 97色碰| 午夜大香蕉| 成人亚洲精品| 伊人超碰| 色色激情网| 97碰久久| 色色色色色色色色五月先| 五月久久婷婷丁香| 色碰碰| 九色91国产| 啪啪综合| 伊人色综合影院视频| 久久综合无| 黄色成人网站在线播放| 综合99综合久久久久久久| 97操碰碰无码视频| 亚洲免费99| 久久综合五月天| 国产 亚洲 在线| 91日本在线观看| 丁香五月大香蕉| 丁香无月在线观看| 色情五月天小说| 久热这里只有精品性色AV| 高清无码.com| 久久五月天激情婷婷| 亚洲激情图文小说| 激情99热| 久久五月天激情视频| 婷婷五月天亚洲激情戏精品| 五月婷婷深爱六月| 这里只有精品69| 五月丁香黄色视频| 中文av网| 色九月婷婷丁香| 丁香六月色婷婷| 丁香五月电影| 五月激情在线| 少妇人妻人伦A片| 五月丁久久| 日本三级99人妇网站| 日噜噜色| 9超碰在线| 五月天婷婷操逼视频| 色综合激情| 99精品视频免费在线播放| 色婷婷欧美在线| 久久99色色| 在线可以看的av网址| 五月婷婷之综合激情| 国产精品色| www.婷婷六月天| 五月丁香色| 国产伦亲子伦亲子视频观看| 激情操逼婷婷| a毛片二逼wwwwwwwwww| 婷婷性爱视频在线| 99九九综合久久九九| 秋霞免费三级片| 婷婷狠狠久久| 五月天激情网页| 五月激情婷婷在线| 丁香五月综合激情性爱| 99热在线观看| 五月丁香婷婷综合| 综合六月久久| 9 大屁股在线视频精品| 中文字幕97超级碰| AV九九| 色综合天天网| 丁香六月亚洲综合| 日本色五月| 亚洲中文字幕av| 五月丁香亭亭| 任你搞免费视频观看| 亚洲另类毛片| 久婷| 五月丁香好婷婷姑娘综合网| 久久这里只有国产视频| 五月天综合色| 香蕉婷婷| 国产欧美日韩综合精品一区二区| 亚洲AV久久久久久久久久久久久久久久 | 91热er| 色五狠狠| 婷婷激情人妻| 五月丁香偷拍| 字幕网AV中文字幕| 综合精品99| 激情综合色网| 情五月亚洲婷婷| 色色哒五月婷婷六月丁香| 97婷婷丁香| 色色婷| 高清免费在线视频| 婷婷综合视频| 夜夜骑日日操| 日日操天天爽| 激情综合色图| 91狠狠综合久久| 五月天婷婷色综合| 激情婷婷久久| 久久视频这里都是精品| 日本操逼九九九九58日本操逼| 伊人婷婷激情| 亚洲五月天天| 五月天色婷婷网| 色五月超碰| 婷婷五月天基地| 激情五月天.色网| 九九热10| 婷婷五六日| 九热视频| 丁香六月婷婷久久综合| 亚洲色就是色色色| 91人碰| Av狠狠色丁香婷| 日日艹思思热| 殴美日比视频| 高潮毛片又色又爽免费| 亚洲成人九九九| 丁香五月婷婷五月天在线| 五月丁香婷婷潮喷中文字幕| 久久性操| 爱久久小说下载网| 色综合偷拍| 伦乱美欧| 亚洲另类视频| 激情综合五月婷婷| WWW.五月com| 色色吧综合| 五月天色婷婷基地| 亚洲天堂爱爱| 黄色国久久| 精品女人九九九| 色婷婷色五月丁香| 欧美成人va| 日本三级日本三级99| 超碰在线个人观看| 五月丁香六月激情综合网| 激情网综合| 超碰99在线| 色婷婷亚洲综合网站| 九九人人操| 五月天久久综合婷婷丁香| 亚洲激情AV| 久久激情四射| 九九色中文| 色综合色综合色综合| 九九免费视频| www.久久99精品| 天天色月| 五月丁香六月婷婷在线观看| 成人丁香| 涩 五月 婷婷 狠狠| 操笔无码| 激情丁香五月| 无码人妻AV久久久一区二区三区| 吊色AV男人的天堂| 天天噪夜夜爽| 91婷婷色五月| 99热草草| 7月婷婷六月丁香| 激情五月天电影| 婷婷爱五月| 婷婷久久内射| 久久婷婷欧美| 超碰人人在线| 一区二区乱视频码| 凹凸7777操操操| 噜噜狠狠色综合久| 一二线视频 另类| 丁香花五月天激情| 成人超碰Av| 五月丁香六月婷综合成人综合| 九九九九九九综合| 六月丁香五月亭亭| 9色在线视频| 色亭亭九月| 深爱五月激情网| 亚洲综合另类| 婷婷五月丁香基| 久久这里只有精彩| 狠狠五月天| 91妻人人爽人人看片| 69热在线|