99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Linux性能調(diào)優(yōu)全攻略:sysctl網(wǎng)絡(luò)參數(shù)、磁盤(pán)IO與內(nèi)存優(yōu)化實(shí)戰(zhàn)

Linux性能調(diào)優(yōu)全攻略:sysctl網(wǎng)絡(luò)參數(shù)、磁盤(pán)IO與內(nèi)存優(yōu)化實(shí)戰(zhàn) 簡(jiǎn)介這份《LINUX性能調(diào)優(yōu)方法總結(jié).docx》是一份面向運(yùn)維工程師、系統(tǒng)管理員及后端開(kāi)發(fā)者的Linux性能優(yōu)化參考文檔內(nèi)容聚焦網(wǎng)絡(luò)性能與磁盤(pán)子系統(tǒng)兩大方向。資源以docx格式交付共1個(gè)文件包體約51KB輕量便于快速查閱。文中不僅給出了sysctl.conf內(nèi)核參數(shù)配置示例如TCP SYN Cookie、窗口縮放及緩沖區(qū)上限調(diào)整還講解了noatime掛載選項(xiàng)、hdparm磁盤(pán)測(cè)試等實(shí)用操作并提供fstab修改樣例與注意事項(xiàng)。對(duì)這些設(shè)置的具體位置、生效方式及適用環(huán)境做了清晰交代適合對(duì)服務(wù)器性能有調(diào)優(yōu)需求、希望獲得可直接參照方案的中級(jí)以上Linux使用者。文檔從內(nèi)核參數(shù)到文件系統(tǒng)掛載選項(xiàng)均給出可直接套用的配置片段對(duì)檢測(cè)時(shí)機(jī)和風(fēng)險(xiǎn)提醒也有說(shuō)明可當(dāng)作日常服務(wù)器維護(hù)或面試復(fù)習(xí)的速查清單。已有214人學(xué)習(xí)下載按要點(diǎn)整理、驗(yàn)證充分后可直接用于生產(chǎn)環(huán)境優(yōu)化參考。1. Linux 性能調(diào)優(yōu)方法總結(jié)這份文檔到底能解決什么做運(yùn)維的人大概率都經(jīng)歷過(guò)這種場(chǎng)景業(yè)務(wù)一上量TCP 連接數(shù)飆升應(yīng)用頻繁超時(shí)netstat -an里能看到幾百個(gè)SYN_RECV磁盤(pán) IO 長(zhǎng)期在 90% 以上。這時(shí)候翻到一份 Linux 性能調(diào)優(yōu)方法總結(jié)里面寫(xiě)滿(mǎn)了sysctl參數(shù)、hdparm命令、ulimit限制但如果沒(méi)有理清參數(shù)之間的關(guān)聯(lián)照著敲是很容易把生產(chǎn)環(huán)境調(diào)出問(wèn)題的。這份文檔的核心價(jià)值不在某一條命令而在它把網(wǎng)絡(luò)、磁盤(pán)、文件描述符、內(nèi)存四個(gè)調(diào)優(yōu)方向完整串在了一起。適合的人有兩類(lèi)一類(lèi)是剛接手服務(wù)器、需要從系統(tǒng)層面壓出余量的運(yùn)維新手另一類(lèi)是遇到連接數(shù)打不上去、磁盤(pán)響應(yīng)變慢、SYN 攻擊導(dǎo)致服務(wù)不可用等具體問(wèn)題的排查者。它最大的特點(diǎn)是參數(shù)直接可抄同時(shí)保留了proc接口、sysctl.conf、rc.local等多種落地方式這也是很多資料只給結(jié)論、不解釋生效機(jī)制的地方。2. 網(wǎng)絡(luò)參數(shù)調(diào)優(yōu)sysctl 機(jī)制與一套可落地的 TCP 配置2.1 proc 接口、sysctl 與內(nèi)核參數(shù)的關(guān)系網(wǎng)絡(luò)調(diào)優(yōu)前必須先搞清楚參數(shù)到底改在哪。Linux 內(nèi)核把運(yùn)行時(shí)的可調(diào)參數(shù)暴露在/proc虛擬文件系統(tǒng)下其中網(wǎng)絡(luò)相關(guān)的全部位于/proc/sys/net/目錄。比如/proc/sys/net/ipv4/tcp_syncookies這個(gè)文件的值就是內(nèi)核當(dāng)前是否啟用 SYN cookies 的真實(shí)狀態(tài)。直接對(duì)文件寫(xiě)入只能臨時(shí)生效重啟后一切歸零/proc目錄下的所有內(nèi)容本來(lái)就是內(nèi)存中的映射不是持久化存儲(chǔ)。sysctl的出現(xiàn)就是為了解決參數(shù)容易改、難以管理的問(wèn)題。它會(huì)讀取/etc/sysctl.conf中的配置幫你把值填充到對(duì)應(yīng)的/proc文件里。這樣你只需要維護(hù)一個(gè)配置文件就能在系統(tǒng)啟動(dòng)時(shí)自動(dòng)恢復(fù)所有調(diào)優(yōu)參數(shù)。執(zhí)行sysctl -p /etc/sysctl.conf則可以在不重啟的情況下手動(dòng)加載一次配置。這個(gè)機(jī)制是理解后面所有調(diào)優(yōu)動(dòng)作的前提。2.2 互聯(lián)網(wǎng)服務(wù)器的激進(jìn)網(wǎng)絡(luò)參數(shù)配置文檔里給出了一套比較激進(jìn)的網(wǎng)絡(luò)參數(shù)適合互聯(lián)網(wǎng)服務(wù)器尤其是并發(fā)連接數(shù)較高的 Web 場(chǎng)景。配置寫(xiě)入/etc/sysctl.conf示例如下。# Use TCP syncookies when needed net.ipv4.tcp_syncookies 1 # Enable TCP window scaling net.ipv4.tcp_window_scaling 1 # Increase TCP max buffer size net.core.rmem_max 16777216 net.core.wmem_max 16777216 # Increase Linux autotuning TCP buffer limits net.ipv4.tcp_rmem 4096 87380 16777216 net.ipv4.tcp_wmem 4096 65536 16777216 # Increase number of ports available net.ipv4.ip_local_port_range 1024 65000這套配置里每一行都有具體作用。tcp_syncookies用于防止 SYN Flood 攻擊導(dǎo)致的內(nèi)存耗盡tcp_window_scaling允許 TCP 窗口超過(guò)默認(rèn)的 64 KB 上限高延遲鏈路下下載速度提升明顯rmem_max和wmem_max分別把接收、發(fā)送緩沖區(qū)的上限拉高到 16 MB讓?xiě)?yīng)用能更快地丟出數(shù)據(jù)去服務(wù)下一個(gè)請(qǐng)求tcp_rmem和tcp_wmem是三個(gè)值依次代表最小值、默認(rèn)值和最大值內(nèi)核會(huì)根據(jù)連接情況在三個(gè)值之間自動(dòng)調(diào)整第三個(gè)值不能超過(guò)對(duì)應(yīng)的rmem_max、wmem_maxip_local_port_range擴(kuò)大可用端口范圍從默認(rèn)的 32768-60999 擴(kuò)展到 1024-65000意味著服務(wù)器可以同時(shí)支撐更多出站連接。修改完執(zhí)行sysctl -p /etc/sysctl.conf參數(shù)立即生效這種方式比echo寫(xiě)入多個(gè)/proc文件要簡(jiǎn)潔得多也方便后續(xù)回滾和審計(jì)。2.3 TCP 時(shí)間戳、SACK 與窗口伸縮的取舍文檔中還有一組被注釋掉的參數(shù)很多人會(huì)忽略它們的存在意義。net.ipv4.tcp_timestamps控制 TCP 頭是否攜帶時(shí)間戳選項(xiàng)開(kāi)啟后每個(gè)包要多出 12 字節(jié)。對(duì)高帶寬場(chǎng)景來(lái)說(shuō)時(shí)間戳能幫助內(nèi)核做更精確的 RTT 估算和防回繞序號(hào)判斷但對(duì)內(nèi)網(wǎng)低延遲環(huán)境或帶寬極其有限的環(huán)境關(guān)閉它能省下一定的協(xié)議開(kāi)銷(xiāo)。tcp_sack是選擇性應(yīng)答允許接收方只報(bào)告丟失的段而不是整個(gè)窗口都重傳。在有隨機(jī)丟包的鏈路尤其是無(wú)線(xiàn)鏈路上SACK 能避免重傳風(fēng)暴。文檔原樣給出的值是echo 1 /proc/sys/net/ipv4/tcp_sack這是默認(rèn)行為只有在確定鏈路不會(huì)丟包且想省 CPU 的場(chǎng)景下才考慮關(guān)閉。tcp_window_scaling則必須配合緩沖區(qū)上限共同調(diào)整只開(kāi)窗口伸縮但不提高wmem_max大窗口就是空話(huà)。三個(gè)參數(shù)本質(zhì)上都在改變 TCP 協(xié)議棧的行為調(diào)整前要用sysctl -a | grep tcp_看清當(dāng)前值調(diào)整后觀(guān)察吞吐量變化而不是一股腦全開(kāi)。2.4 網(wǎng)絡(luò)參數(shù)落地的三種方式對(duì)比除了/etc/sysctl.conf文檔還提到了/etc/rc.local和命令直寫(xiě)兩種方式。三種方式各有適用場(chǎng)景。落地方式生效范圍重啟后狀態(tài)適用場(chǎng)景sysctl -w 參數(shù)值立即生效僅當(dāng)前運(yùn)行內(nèi)核丟失臨時(shí)調(diào)優(yōu)、壓測(cè)驗(yàn)證修改/etc/sysctl.conf并執(zhí)行sysctl -p立即生效并持久化保留生產(chǎn)環(huán)境正式變更在/etc/rc.local中寫(xiě)echo命令每次啟動(dòng)執(zhí)行一次保留內(nèi)核版本較老、sysctl 不支持的參數(shù)我一般會(huì)優(yōu)先選第二種。/etc/rc.local的方式雖然也能持久化但排查時(shí)別人未必能一眼看出參數(shù)被設(shè)置在哪個(gè)文件里不符合配置集中管理的習(xí)慣。如果你維護(hù)的是多臺(tái)服務(wù)器建議把sysctl.conf納入配置管理工具統(tǒng)一下發(fā)避免每臺(tái)機(jī)器手工改出差異。3. 磁盤(pán)與文件子系統(tǒng)noatime、hdparm 與 ulimit 的正確改法3.1 atime 是磁盤(pán)性能的無(wú)形殺手磁盤(pán)在 LAMP 架構(gòu)里同時(shí)承擔(dān)靜態(tài)文件、模板、代碼、數(shù)據(jù)庫(kù)表與索引的讀取延遲高是它的固有特性。文檔第一個(gè)強(qiáng)調(diào)的動(dòng)作是禁用 atime 記錄。atime 全稱(chēng) access time每次讀文件時(shí)文件系統(tǒng)都要更新這個(gè)時(shí)間戳哪怕內(nèi)容沒(méi)變。系統(tǒng)管理員實(shí)際很少去查 atime但它帶來(lái)的寫(xiě)操作在訪(fǎng)問(wèn)密集的業(yè)務(wù)下會(huì)被放大成明顯的 IO 壓力。修改方式是在/etc/fstab第四列加noatime選項(xiàng)。注意改完 fstab 并不會(huì)立即生效需要重新掛載文件系統(tǒng)常見(jiàn)做法是mount -o remount /或者等下次重啟。下面是文檔中的示例結(jié)構(gòu)。/dev/VolGroup00/LogVol00 / ext3 defaults,noatime 1 1 LABEL/boot /boot ext3 defaults,noatime 1 2 devpts /dev/pts devpts gid5,mode620 0 0 tmpfs /dev/shm tmpfs defaults 0 0 proc /proc proc defaults 0 0 sysfs /sys sysfs defaults 0 0 LABELSWAP-hdb2 swap swap defaults 0 0 LABELSWAP-hda3 swap swap defaults 0 0擴(kuò)展一下relatime是比noatime更溫和的選項(xiàng)它只在 atime 早于 mtime/ctime 時(shí)才更新兼顧兼容性。如果你的業(yè)務(wù)有程序依賴(lài) atime 做文件訪(fǎng)問(wèn)判斷優(yōu)先用relatime而不是直接上noatime能避免一些日志采集類(lèi)的程序行為異常。3.2 hdparm 測(cè)速與 IDE 數(shù)據(jù)傳輸模式磁盤(pán)性能的另一個(gè)關(guān)鍵點(diǎn)是驅(qū)動(dòng)是否選對(duì)了傳輸模式。Linux 不一定能自動(dòng)探測(cè)出訪(fǎng)問(wèn) IDE 磁盤(pán)的最佳方式hdparm就是用來(lái)查明和設(shè)置 IDE 磁盤(pán)訪(fǎng)問(wèn)參數(shù)的工具。hdparm -t /dev/hda文檔中的示例輸出為T(mén)iming buffered disk reads: 182 MB in 3.02 seconds 60.31 MB/sec這個(gè)數(shù)字可以作為優(yōu)化前后的基準(zhǔn)。執(zhí)行測(cè)速前務(wù)必保證系統(tǒng)空閑否則其他進(jìn)程的 IO 會(huì)污染結(jié)果。常用參數(shù)整理如下參數(shù)作用示例-vi查詢(xún)磁盤(pán)支持的設(shè)置和當(dāng)前使用的設(shè)置hdparm -vi /dev/hda-c查詢(xún)/啟用 IDE 32 位 IO 支持hdparm -c 1 /dev/hda-m設(shè)置每中斷多扇區(qū)模式大于 0 代表每中斷傳輸?shù)淖畲笊葏^(qū)數(shù)hdparm -m 16 /dev/hda-d 1 -X啟用 DMA 并設(shè)置 IDE 傳輸模式hdparm -d 1 -X 69 /dev/hdaSCSI 和光纖通道系統(tǒng)的調(diào)優(yōu)依賴(lài)具體驅(qū)動(dòng)器型號(hào)文檔也明確說(shuō)了這點(diǎn)。對(duì)于這類(lèi)設(shè)備調(diào)優(yōu)命令應(yīng)該寫(xiě)進(jìn)rc.local或?qū)?yīng)的啟動(dòng)腳本里保證重啟后配置不丟。需要提醒的是hdparm的-X參數(shù)如果設(shè)錯(cuò)輕則磁盤(pán)讀寫(xiě)報(bào)錯(cuò)重則需要重啟才能恢復(fù)操作前先用-vi確認(rèn)當(dāng)前模式和設(shè)備能力。3.3 文件描述符與進(jìn)程數(shù)限制ulimit 的臨時(shí)與永久Linux 對(duì)每個(gè)用戶(hù)有最大進(jìn)程數(shù)和最大文件打開(kāi)數(shù)的限制。ulimit -a可以顯示當(dāng)前所有限制默認(rèn)每進(jìn)程可打開(kāi)文件數(shù)是 1024這對(duì)數(shù)據(jù)庫(kù)連接池、Java 應(yīng)用這種大量持有 socket 的場(chǎng)景來(lái)說(shuō)是明顯瓶頸。ulimit -u 10000 # 最大進(jìn)程數(shù) ulimit -n 4096 # 每個(gè)進(jìn)程可打開(kāi)的文件數(shù) ulimit -d unlimited # 數(shù)據(jù)段長(zhǎng)度 ulimit -m unlimited # 最大內(nèi)存大小 ulimit -s unlimited # 堆棧大小 ulimit -t unlimited # CPU 時(shí)間 ulimit -v unlimited # 虛擬內(nèi)存ulimit命令直接影響當(dāng)前 shell 會(huì)話(huà)臨時(shí)生效退出登錄就失效。永久修改要看具體目錄# 修改系統(tǒng)級(jí)限制 vi /etc/security/limits.conf# 以下內(nèi)容添加到 limits.conf * soft noproc 11000 * hard noproc 11000 * soft nofile 4100 * hard nofile 4100noproc是最大進(jìn)程數(shù)nofile是最大文件打開(kāi)數(shù)*代表所有用戶(hù)。還有一個(gè)細(xì)節(jié)/etc/profile加ulimit語(yǔ)句可以讓所有登錄用戶(hù)獲得同樣的限額但有些發(fā)行版需要確認(rèn)/etc/pam.d/login和/etc/pam.d/system-auth中存在pam_limits.so的加載行否則limits.conf不會(huì)生效。不同發(fā)行版中該模塊的路徑可能有差異建議用find /lib -name pam_limits.so確認(rèn)。4. 內(nèi)存與網(wǎng)絡(luò)防護(hù)參數(shù)看起來(lái)很美但容易翻車(chē)的那幾個(gè)值4.1 虛擬內(nèi)存參數(shù)bdflush 與 kswapd虛擬內(nèi)存調(diào)優(yōu)在文檔中被標(biāo)注為需要不停監(jiān)測(cè)的子系統(tǒng)因?yàn)閮?nèi)存參數(shù)改動(dòng)很容易影響到其他部分。vm.bdflush控制內(nèi)核把 dirty buffers 刷到磁盤(pán)的行為總共有 9 個(gè)參數(shù)文檔建議只改前 3 個(gè)允許排隊(duì)寫(xiě)入的最大緩沖區(qū)百分比、bdflush 即刻寫(xiě)的最大緩沖值、同步前緩沖區(qū)變 dirty 的最大百分比。sysctl -w vm.bdflush30 500 0 0 500 3000 60 20 0vm.kswapd控制內(nèi)核交換守護(hù)進(jìn)程的行為三個(gè)參數(shù)分別對(duì)應(yīng)每次掃描頁(yè)數(shù)量的四倍值、每次交換出去的最小頁(yè)數(shù)量、立即寫(xiě)入的頁(yè)數(shù)量。sysctl -w vm.kswapd1024 32 64這里必須踩一個(gè)實(shí)際的坑bdflush是 Linux 2.4 時(shí)代的內(nèi)核參數(shù)2.6 之后的內(nèi)核已經(jīng)把它換成了dirty_ratio、dirty_background_ratio、dirty_writeback_centisecs這一組更細(xì)粒度的參數(shù)。如果你在 CentOS 7、Ubuntu 18.04 及以后版本上執(zhí)行sysctl -w vm.bdflush大概率會(huì)得到error: permission denied on key vm.bdflush或者找不到該 key。遇到這種情況用dirty_background_ratio和dirty_ratio替代前者是內(nèi)存中臟數(shù)據(jù)占可用內(nèi)存的百分比閾值達(dá)到后后臺(tái)異步刷盤(pán)后者是進(jìn)程同步刷盤(pán)的閾值。4.2 網(wǎng)絡(luò)防護(hù)參數(shù)重定向、SYN cookies 與 ICMP網(wǎng)絡(luò)調(diào)優(yōu)不止是調(diào)速度還要防性能下降。文檔里有一整組 sysctl 命令專(zhuān)門(mén)處理安全問(wèn)題這些設(shè)置同時(shí)也保護(hù)著系統(tǒng)性能不被攻擊拖垮。sysctl -w net.ipv4.conf.eth0.accept_source_route0 sysctl -w net.ipv4.conf.lo.accept_source_route0 sysctl -w net.ipv4.conf.default.accept_source_route0 sysctl -w net.ipv4.conf.all.accept_source_route0 sysctl -w net.ipv4.tcp_syncookies1 sysctl -w net.ipv4.conf.eth0.secure_redirects1 sysctl -w net.ipv4.conf.all.accept_redirects0 sysctl -w net.ipv4.conf.all.send_redirects0 sysctl -w net.ipv4.icmp_echo_ignore_broadcasts1 sysctl -w net.ipv4.icmp_ignore_bogus_error_responses1accept_source_route關(guān)閉的是 IP 源路由選項(xiàng)防止攻擊者指定數(shù)據(jù)包路徑繞過(guò)防火墻secure_redirects只接受來(lái)自網(wǎng)關(guān)的可靠重定向send_redirects關(guān)閉則是因?yàn)榉?wù)器如果不是路由器就沒(méi)有義務(wù)告知其他主機(jī)路徑icmp_echo_ignore_broadcasts拒絕廣播 ping這能擋掉一部分 smurf 攻擊。這些配置很多發(fā)行版默認(rèn)已經(jīng)是關(guān)閉或啟用的狀態(tài)但顯式寫(xiě)入配置可以防止默認(rèn)策略在升級(jí)時(shí)被改動(dòng)。4.3 用 vmstat 驗(yàn)證內(nèi)存調(diào)優(yōu)效果前面多次提到修改后要監(jiān)測(cè)落在實(shí)處就是vmstat。它輸出的是 CPU、內(nèi)存、IO 的實(shí)時(shí)狀態(tài)調(diào)優(yōu)前后各取一段數(shù)據(jù)做對(duì)比是最基本的習(xí)慣。vmstat 5 5procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 0 482936 39016 1600360 0 0 0 1 124 319 1 1 98 0 0看輸出時(shí)重點(diǎn)對(duì)比bi和bo它們分別代表每秒從塊設(shè)備讀入、寫(xiě)入到塊設(shè)備的塊數(shù)。調(diào)優(yōu)后bi明顯下降說(shuō)明讀緩存命中率上來(lái)了或者 atime 禁用生效了。wa是 IO wait持續(xù)大于 30% 說(shuō)明磁盤(pán)已經(jīng)嚴(yán)重拖累 CPU。每次只改一個(gè)內(nèi)存參數(shù)、跑一輪壓測(cè)、記錄一次 vmstat是避免內(nèi)存調(diào)優(yōu)變成玄學(xué)的唯一辦法。5. 常見(jiàn)問(wèn)題與避坑參數(shù)不生效、內(nèi)核不支持、回退無(wú)門(mén)5.1 執(zhí)行 sysctl -p 報(bào)錯(cuò) Unknown key現(xiàn)象修改完/etc/sysctl.conf執(zhí)行sysctl -p時(shí)提示error: Unknown key。原因文檔是較早期內(nèi)核時(shí)代的寫(xiě)法部分參數(shù)在當(dāng)代內(nèi)核上已經(jīng)被移除或改名。例如net.ipv4.tcp_tw_recycle在 Linux 4.12 之后被刪除vm.bdflush被dirty_ratio系列取代。解決先執(zhí)行sysctl -a | grep 關(guān)鍵詞確認(rèn)當(dāng)前內(nèi)核是否支持該參數(shù)例如sysctl -a | grep tcp_tw。不存在的參數(shù)直接用#注釋掉不要為了讓 sysctl 全部生效而對(duì)內(nèi)核版本做降級(jí)那代價(jià)遠(yuǎn)大于收益。5.2 開(kāi)啟了 tcp_tw_recycle 之后NAT 環(huán)境大量連接被重置現(xiàn)象服務(wù)端開(kāi)啟了tcp_tw_recycleNAT 網(wǎng)關(guān)后的用戶(hù)訪(fǎng)問(wèn)出現(xiàn)大量連接被 RST業(yè)務(wù)偶發(fā)失敗。原因tcp_tw_recycle啟用后內(nèi)核會(huì)丟棄來(lái)自同一源 IP、時(shí)間戳遞增但小于上次記錄的連接而 NAT 環(huán)境下多個(gè)用戶(hù)共享同一個(gè)公網(wǎng) IP時(shí)間戳并不一定遞增內(nèi)核會(huì)誤判是舊連接重放。解決服務(wù)器面向公網(wǎng)且用戶(hù)經(jīng)過(guò) NAT 的場(chǎng)景直接不要開(kāi)啟tcp_tw_recycle。tcp_tw_reuse只作用于發(fā)起連接的一端對(duì) Web 服務(wù)器這種被動(dòng)接收連接的角色幾乎沒(méi)有副作用但仍然要確認(rèn)應(yīng)用對(duì)連接復(fù)用沒(méi)有特殊要求。兩者不要照單全收。5.3 ip_local_port_range 改錯(cuò)導(dǎo)致端口段沖突現(xiàn)象把net.ipv4.ip_local_port_range和某些服務(wù)監(jiān)聽(tīng)的固定端口設(shè)在了同一段出站連接出現(xiàn)Cannot assign requested address。原因本地端口范圍是給主動(dòng)出站連接用的源端口會(huì)從這個(gè)范圍內(nèi)選擇。若范圍內(nèi)包含服務(wù)本身監(jiān)聽(tīng)的端口內(nèi)核會(huì)盡量避免復(fù)用但范圍太窄或被服務(wù)占用太多可用端口耗盡。解決查看當(dāng)前占用情況用ss -s統(tǒng)計(jì) socket用cat /proc/sys/net/ipv4/ip_local_port_range確認(rèn)當(dāng)前范圍。把起始端口抬高到大于所有固定監(jiān)聽(tīng)端口比如1024 65000在多數(shù)場(chǎng)景安全但如果有服務(wù)監(jiān)聽(tīng)在 6000-8000 段就要把起始值改到 10000 以上。5.4 ulimit 修改后不生效新會(huì)話(huà)仍然是 1024現(xiàn)象在limits.conf里寫(xiě)了* soft nofile 65535重新登錄后ulimit -n還是 1024。原因多數(shù)發(fā)行版要求系統(tǒng)加載pam_limits.so。登錄過(guò)程由 PAM 管理如果/etc/pam.d/login或/etc/pam.d/system-auth里沒(méi)有這一行l(wèi)imits.conf根本不會(huì)被解析。解決確認(rèn)配置文件里存在session required pam_limits.so一行注意 32 位和 64 位系統(tǒng)的模塊路徑差異64 位系統(tǒng)通常是/lib64/security/pam_limits.so。修改后重新登錄不要只執(zhí)行ulimit -n覆蓋當(dāng)前會(huì)話(huà)。SSH 方式登錄時(shí)要確認(rèn)sshd_config中的UseLogin或相關(guān)配置沒(méi)有被設(shè)置成阻止 PAM 會(huì)話(huà)執(zhí)行。5.5 fstab 語(yǔ)法錯(cuò)了一個(gè)符號(hào)開(kāi)機(jī)直接進(jìn)維護(hù)模式現(xiàn)象在fstab加noatime時(shí)誤刪了空格或?qū)戝e(cuò)掛載點(diǎn)重啟后系統(tǒng)無(wú)法進(jìn)入正常多用戶(hù)模式。原因/etc/fstab每一列的順序和分隔符都有嚴(yán)格要求解析失敗時(shí)內(nèi)核無(wú)法完成掛載只能進(jìn)入 emergency 模式。解決改完fstab先執(zhí)行mount -a做一次無(wú)風(fēng)險(xiǎn)驗(yàn)證輸出沒(méi)有報(bào)錯(cuò)再重啟。更穩(wěn)妥的做法是保留一份cp /etc/fstab /etc/fstab.bak出問(wèn)題時(shí)在維護(hù)模式下用mv恢復(fù)。記住fstab是系統(tǒng)啟動(dòng)的生命線(xiàn)改之前永遠(yuǎn)先備份。6. 調(diào)優(yōu)完成的驗(yàn)證與落地從參數(shù)確認(rèn)到基線(xiàn)對(duì)比參數(shù)改完、服務(wù)正常啟動(dòng)不代表調(diào)優(yōu)結(jié)束。少了驗(yàn)證步驟調(diào)優(yōu)就是盲目的。我的習(xí)慣是做完一輪改動(dòng)后強(qiáng)制走一遍三件事確認(rèn)參數(shù)生效、采集新基線(xiàn)、核對(duì)變更清單。確認(rèn)參數(shù)生效用三條命令就夠了sysctl -a | grep -E tcp_syncookies|tcp_window_scaling|rmem_max|wmem_max cat /proc/sys/net/ipv4/ip_local_port_range ulimit -nsysctl -a輸出的是內(nèi)核當(dāng)前實(shí)際值和配置文件里的值一一比對(duì)。cat /proc/sys/net/ipv4/ip_local_port_range驗(yàn)證端口范圍。ulimit -n必須在新的登錄會(huì)話(huà)里執(zhí)行因?yàn)槟惝?dāng)前這個(gè) shell 可能還保留著舊的限制值。新基線(xiàn)采集至少要有前后兩組數(shù)據(jù)。用top、vmstat 5 5、ss -s分別記錄 CPU、內(nèi)存、IO、socket 狀態(tài)。ss -s的輸出里可以直接看到 TIME-WAIT、SYN 等狀態(tài)的 socket 數(shù)量這是驗(yàn)證tcp_fin_timeout、tcp_max_syn_backlog是否生效的最直接證據(jù)。業(yè)務(wù)側(cè)還要盯著應(yīng)用層的請(qǐng)求響應(yīng)時(shí)間和錯(cuò)誤率系統(tǒng)參數(shù)再好應(yīng)用表現(xiàn)沒(méi)有改善說(shuō)明問(wèn)題本就不在那層。變更清單是很多團(tuán)隊(duì)漏掉的重要環(huán)節(jié)。每次修改都記錄這樣幾項(xiàng)改了哪個(gè)文件、改動(dòng)了哪一行、原值是多少、新值是多少、執(zhí)行了什么命令讓它生效、應(yīng)急預(yù)案是什么。后面排查問(wèn)題用得上將來(lái)回滾也不用靠回憶猜。從第一次拆這份調(diào)優(yōu)文檔到現(xiàn)在我?guī)缀躔B(yǎng)成了一種強(qiáng)迫癥每臺(tái)新接手服務(wù)器先做一次sysctl -a /tmp/sysctl_before.txt再改任何參數(shù)最后 diff 兩個(gè)文件確認(rèn)自己到底改了什么、哪些參數(shù)沒(méi)生效。這套笨辦法在無(wú)數(shù)次深夜變更中救過(guò)我希望也能幫你在 Linux 性能調(diào)優(yōu)這條路上少踩幾個(gè)坑。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲 欧洲 国产 伦综合| 婷婷五月情| 丁香五月电影| 天天操综合网站| 热婷婷av| www.五月丁香av| 大香蕉丁香婷婷| 亚洲色爱综合| 六月综和久久| 五月激情婷婷国产精品久久久久久| 激情av在线| 九热免费视频| 久久婷婷五月综合色区| 超碰在线国产| 久久五月天激情| 天天色天天射天天日| 无码任你操| 五月婷免费视频久久久| 久久草大香蕉| 色五月综合资源推荐| 99re免费精品视频| 91婷婷丁香五月亚洲| 99热这里只有精品9| 久碰久操| 超级碰碰碰碰视频| 蜜乳av一级av| 婷婷午夜天| 99热99re6国产在线播放| 伊人在线视频| 五月开心久久| 久久婷婷综合基地| 欧美黄色AA片哗啦啦啦| 26UUU欧美激情一区二区| 欧美日韩国产成人在线| 亚洲精品久久久久久久久久吃药| WWW.99视频| 色五月 激情婷婷 综合五月天| 国产婷婷久久| 伊人激情综合| 欧美日韩精品一区二区三区钱| 五月婷婷激情综合av| 色婷丁香五月| 永久的网站AAAA| 久久久久久久,99精品视频| 97色在线观看视频| 国产精品美女| 天天天干夜夜夜操| 99精品视频免费| 情五月亚洲婷婷| 欧美色97| 91人人澡人人爽人人看| 99日视频在线| 综合亚洲AV| BBWCUCKOLD精品熟妇| 五月亭亭激情综合| 婷婷丁香五月激情中文字幕版| 色色色宗合网| 久久丁香婷婷色情综合| 97操在线| 六月丁香婷婷爱| 风流少妇A片一区二区蜜桃 | 久久精彩视频| 久久久无码精品成人A片小说| 丁香五月婷婷亚洲综合精品在线| 色欲婷婷夜夜| 丁香五月婷婷久久久| 99精品国产在热久久婷婷| 九九综合| 97超级碰人人| 超碰一区二区| 五月天丁香婷婷社区| 逼特逼在线免费播放| 97干在线观看视频| 久久思思热| 91综合色| 色五月成人| 五月丁香亭亭操逼| 天天玩夜夜操| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 婷婷色导航| 91久久婷婷| 91久久1118| 激情五月天视频| 99热这里只要精品免费| 亚洲五月花| 婷婷久久综合久色| 中文字幕av在线播放| 欧美婷婷五月天| 综合激情站| www.99视频| 九九精品在线观看视频6| 色久五月| 99网| 色99视频| 久久婷鲁| 五月丁香综合激情| 热久久精品视频网站| 亚洲综合色成丁香五月色| 人人叉久| 婷婷另类开心| 开心激情综合| 色综合久| 中文字幕日韩成人| 欧美婷婷五月| 26uuu另类亚洲欧美日本一| 天天爽综合网| 婷婷丁香久久| 亚洲情欲久久| 激情影院内射| 五月天色婷婷激情| 五月天婷婷久久| 五月婷婷综合网| 午夜69成人做爰视频| 国产婷婷色综合AV蜜臀AV | chaopeng在线人人| 亚洲激情图文小说| 色婷婷国产精品综合在线观看| 热九九精品| 99视频精品| 99国产精品白浆在线观看免费| 这里只有精品96| wwww.9免费视频| 六月婷基地| 婷婷五月天中文字幕.| 激情婷婷综合| 激情综合网五月丁香| 粉嫩AV久久一区二区三区| 亚州第一A片| 日本三级中文字幕| 激情婷婷网| 色婷婷导航| 少妇水多A片太爽了| Av免费网站在线| 综合久久影院| www.婷婷.com| 久久涩视频| 丁香五月瑟瑟| xxx综合在线| 五月天婷婷激情| 久久曰曰| 五月婷无码| 区区久久妻| 婷婷丁香激情| 激情五月综合网| 欧美日韩国产成人在线| 色婷五月| 国产AV成人精品| 色色色色色色色色五月先| 99爱在线| 99热手机在线精品| 婷婷色丁香五月| 大地资源色婷婷视频在线| 丁香婷婷六月天| 97碰精品| 综合五月激情| 亚洲精品久久久无码| 啊V视频在线观看| 亚洲a色| 狠狠狠狠狠狠| wwwss在线观看| 婷婷久久丁香| 五月丁香六月婷| 亚洲综合视频网| 五月天婷婷婷| 色婷婷色| 色色色热| 久久性操| 丁香九月综合激情| 婷婷伊人综合中文字幕| 激情床戏| 久久综合丁香| 久久性视频| 影音先锋91男人资源在线播放| 99热99免费| 人人操AV| 啪啪激情网站| 五月丁小婷婷激情四射| 色五月婷婷丁香五月| 久久婷婷五月天激情新地址| 久久五月婷天天干| 九九九九九九九九九九九九九九九九九九九在线视频 | 超碰在线免费| 91九色视频| 九九色图| 国产在线6| 五月丁香六月综合激情| 婷婷激情综合无月| 热久综合| 午夜不卡成人一区二区| 婷婷五月丁香激情图片| 热99在线精品| 色噜噜狠狠色综合AV兰草影视| 超碰二区| 亚洲射激情| 欧亚成人A片一区二区| 五月丁香六月婷精品视频| 日日日日日| 色五月婷婷1| 天天干天天拍| 五六月婷婷| 五月丁香六月婷综合成人综合| 亚洲天堂久久| 婷婷五月花.97| 性爱在线播放av| 色狠狠色噜噜AV天堂五区| 婷婷五月天777| 操逼视频一区| 七七九九色色| 夜夜AVV| 中文成人在线| 色月视频| 99人人操人人操人人精| 婷婷中文字幕| 婷婷色五月综合| 色综合久久中文| 久久9视频| 日日操夜夜操狠狠操| 国产精品国产成人国产三级| 亚洲无码99| 激情五月综合| av超碰在线| xx久久| 久婷婷婷| 欧美三级韩国三级日本三斤| 99re8这里只有精品99re8热视频| 婷婷五月综合激情免费视频| sS丁香五月婷婷| 丁香婷婷狠狠97| 激情av在线| 五月婷婷六月丁香激情综合网| 伊人喵咪a V| 99这里有精品视频| 99热精品免费在线观看| 天天日日夜夜爽| 玖玖在线视| 5月婷婷六月丁香| 第五婷婷伊人丁香| 激情五月黄色| AV性爱网| 亚洲色图五月丁香| 日韩精品二三区| 婷婷97| 青青草伊人婷婷| 久久激情五月婷婷| 天天干天天拍| 五月天激情黄色小说在线观看| 欧美午夜乱妇午夜福利| 五月激情综合网| 天天舔日日肏夜夜爽| 丁香久久综合| 久七香蕉| 伊人成综合五月婷婷| 99亚洲天堂| 婷婷综合网站| 久久AV电影| 激情婷婷丁香五月天小说| WWW.亚洲无码| av大片在线| 操91| 五月天大香蕉| 婷婷99视频精品| 色五月综合在线| www.五月天性.com| 91艹人| 五月婷婷亚洲| 五月婷婷成人| 98永久精品| 五月婷婷亚洲天堂97色婷婷| 精品夜夜澡人妻无码AV| 亚洲亚洲人成综合网络| 国产肥白大熟妇BBBB视频| 五月天婷综合| 激情久久久久久| 五月天.com| 亚洲婷婷乱乱丁香| 丁香六月婷婷综合欧美| 色五月激情五月天| 少妇性按摩无码中文A片| 亚洲人成人五月天| 激情综合网五月激情网| 婷婷五月丁香超碰| 狠狠丁香| 五月丁香综合网| 亭亭五月色男人| 久久开心五月天激情| 日本成人噜噜噜噜噜| 亚洲婷婷五月草久| 六月婷婷九月丁香亚洲综合| 人。妻久久| 人人摸人人搞| 影音先锋一区| 六月色婷婷| 色情五月综合婷婷| 成人AV在线中文版| 丁香五月九九| 99色色网| 婷婷五月天国产手机在线视频观看| 97丁香花五月天激情小说| 在线五月婷婷小电影| 在线中文字幕视频| 五月婷综合性中心| 色五月婷婷综合| 天天爽天天干| 婷婷五月情| www.婷婷六月天| av在线资源| 欧美色色色色色| 丁香五月自拍| 97色碰碰公开视频| 极品嫩草| 国产精品黑丝| 中文无码婷婷| 另类小说五月天激情| 五月天基地| 五月熟妇婷婷久久| 人人干天天舔| 99超在线| 思思99热| 久久精品99国产精品日本| 精品国产乱码久久久久夜深人妻| 婷婷五月天你懂的| 色婷婷丁香五月在线| 免费试看小视频 99| 欧美综合丁香网| 久久狠狠干| 超碰91人人操| 欧美在线ee日韩| 伊人久久婷| 欧美成人无码一区二区三区| 色播五月| 香蕉AV777XXX色综合一区| WWW色色色COM| 国产片天天爽夜夜爽| WWW.桔色成人.COM| 九九色综合| 大香蕉福利导航| 久久9精品| 美女婷婷六月色| 亚洲中文乱字字幕在线永久| 成人国产欧美大片一区| 婷婷九月| 亚洲人成色A777777在线观看| 五月天另类激情在线| 操逼视频网址| 六月丁香射婷婷欧美色图片| 婷婷色导航| 婷婷五月另类网站| 久久九九99字幕| 六月婷婷色色色| 亚洲精品色| 玖玖色资源| 久香草视频在线观看| 婷婷综合一二三| 天天色情站| 亚洲永久四色| 九九热99免费视频| 97久久超碰| 久久码久久无清| 欧美va视频不用播放器的va视频网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色婷婷影视| 亚洲日韩欧美综合VA| 日本猛少妇色XXXXX猛叫| 色九月欧美| 丁香五月综合在线播放| AV在线不卡播放| 涩五月婷婷| 2025天天操| 夜夜干夜夜操| 丁香伊人五月色婷婷五十路| 欧美日韩99| 色婷婷久久综合中文久久一本| 国产成人网址| 丁香丁香激情网| 六月婷久久| 丁香婷婷久久综合在线| 五月天天天色| 五月婷婷九九久久| 丁香激情网| 99久操视频| 激情婷婷狠狠干| 久热免费视频| 人妻中文av| 丁香五月色情| 99热99日天天干| 丁香亚洲婷婷五月| 色婷婷在线视频| 91操人视频| 天天看A片| 婷婷五月电影院| 九九AV在线| 色婷久九| 五月成人网站| 日本www五月婷婷| 北京熟妇搡BBBB搡BBBB| 1995年关宝慧版蜘蛛女| 果冻传媒A片一二三区| 26uuu亚洲色| 中文字幕 中文字幕明步| 婷久看人爽| 色婷婷综合网| 99热99这里有免费的精品| 久久久久久久久久久-久五月天婷婷| 丁香五月综合福利视频导航| 精品亚洲国产成AV人片传媒| 这里只有精品免费视频在线观看| 91岛国片| 五月丁香五月综合欧美| 丁香婷婷六月天| 99久久婷婷| 中文网AV| 天天干在线播放| 综合久久人妻| 婷婷永久在线| 人妻丰满精品一区二区A片| www婷婷亚洲| 操逼五月婷婷| 99热资源在线| 婷婷五月天亚洲天堂| 天天操天天干天天射| 五月婷婷婷婷网| 亚洲妇女熟BBW| 五月天夜夜爱夜夜操| 激情丁香五月综合| 婷婷六月色| 色了色综合| 婷婷六月综合基地| 国产这里只有精品| 久久色五月| 丁香六月 婷婷六月| 九色激情| 中文av网| 日本九婷婷| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 国产伦亲子伦亲子视频观看| 婷婷色五月开心五月| 亚洲网站在线鸭子av| 综合色色五月| 亚洲色五月| 2023天天日夜夜爽| 97操碰| 婷婷丁香五月天综合在线日韩| 丁香五月六月婷婷综合| 97色色色色色色色色色色色色色| 99ri在线播放| 99久久九九视频| 影视av久久久噜噜噜噜噜三级| 亚洲天堂亚洲色色色| 国产综合丁香五月天| 日本一级一级一级一级| 五月天丁香成人社| 热99精品视频| 婷婷五月天av网| 先锋影音男人的天堂AV| 五月婷婷色影院| 九九热在这里只有精品| 丁香五月激情天AV无码| 色婷婷中文在线| 婷婷影视久久| 天天综合色丁香| 国产操B视频| 国产精产国品一二三在观看| 精品人人操| 亚州精品色情在线观看| 久久久婷婷| 色www久视频| 久久金品黃色| 夜夜做天天爽| 综合逼五月激情婷婷| 婷婷五月综合久久中文字幕| 午夜丁香| 天天爽天天日人人爱| 99热这里在线精品| 婷婷五月天 偷拍| 激情五月天啪啪| 噼里啪啦完整版中文在线观看| 色墦五月丁香| 婷婷五月在线视频| 午夜精品久久久久久久爽| 婷婷六月综合激情| 五月亭亭六月天| 五月天伊人网| 色五月丁香婷婷| 婷婷热婷婷色| 五月花亭亭| 婷婷五亚洲| 色色色色色网站| 天天操人人干| 久久婷婷亚洲| 天天操夜夜操| 97婷婷五月丁香| 五月婷中文娱乐综合| 99精品女人天堂| 综合色五月天| 久久这里只有精品无码| 激情视频综合| 操操碰| 色婷婷激情五月天丁香| 亚洲黄3级片网站欧美| 啪啪丁香五月| 97色五月天| 色五月首页| 激情九九六月激情免费视频| 五月香婷婷| 一本到不卡高清DVD| 午夜婷婷久久 | 色五月婷婷久久爱| 色色色色色色色色网站| 亚州操人在线视频| 熟妇天天综合| 99热只有精品在线播放| 亚洲狠狠干| 色综合九九| 欧美性猛交99久久久久99按摩| 五月丁香花激情啪啪网| 婷婷丁香视频在线观看免费| 婷婷深爱五月| 国产真人做爰视频免费| 99手机在线精品视频| 99这里精品| 婷婷草| 婷婷99狠狠躁天天躁| 岛国在线观看91| AV成人在线播放| 丁香久久五月天视频在线观看| 婷婷五月色激情欧美激情| 婷婷五月色花丁香社区| 99热天堂| 亚洲久热无码| 婷婷五月天伊人| www热久久yy9| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 丁香五月激情啪啪| 国产高潮A片羞羞视频涩涩| 五月天婷婷狠狠| 天天草婷婷五月| 日韩在线9| 婷婷五月丁香综合网| 久久精品婷婷| 六月久久婷婷| 91av视频在线观看最新网址| 国产一级婬片毛片| 26uuu欧美| 情色婷婷五月天| 狠狠插日日干撸| 极品少妇高潮啪啪AV无码| 色婷天天| 丁香激情五月| 殴美日韩成人| 天天日夜夜拍| 操逼综合激情网| 色狠狠六月| 99视频只有精品| 亚洲成人AV在线播放| 五月丁香六月综合基地| 任你搞免费视频观看| 99热这里只有精品21| 色丁香五月天| 婷婷精品免费久久| 久久五月网| 亚洲乱码w在线观看| 国产偷人妻精品一区| 五月婷婷电影院| 激情五月婷婷网在线观看| 五月丁香免费看| 国产亚洲99久久精品| www,超碰| 日本久久婷婷| 99九九精品视频| 久久精品夜色噜噜亚洲a∨| 色爱综合五月| 丁香五月天.com| 色日本综合| 欧美黄色韩日网| 久久九九九九| 91久久五月天| 日本99视频| 日本综合色图| 婷婷五月丁香六月伊人网| 婷婷六月综合激情| 天天操天天操综合| 婷婷五月成人社区| 播五月开心婷婷欧美综合| www.精品久9| 激情九色| 成人五月天婷婷| 激情综合五月天| 色狠狠综合网| 亚洲精品另类| 国产在线黄色| 韩日在线熟女| 久久久av久av久片一区二区| 婷婷丁香五月综合网上| 999精品乱码77777| 天天日天天色| 99爱在线视频观看| 日韩超碰在线| 99综合婷婷五月| 665566 无码| 五月婷婷九九热| www.久久久久| 99在线视频观看| 99精品免费视频| 99九无网码| 国产精品色色| 99爱在线精品视频免费观看| 久久久99视频| www。久久久久一b。Cc| 大香蕉久久婷婷精品综合| WWW,五月天| 亚洲狠狠终合停停终合| 中文无码婷婷| caopeng97日韩| 狠狠色丁香久久综合婷婷亚洲成人福利| 99综合| 天天色综合天天| 五月丁香亭亭电影久久| 在线中文av| 九九热这里只有精品一| 五月婷婷人人人操| 级人人91| 午夜丁香婷婷| 成人丁香婷婷| 69五月天视频| 在线观看996精品| 五月婷婷六月天| www.色婷婷.com| 国产永久一二一起草| 日韩欧美性爱| 无码AV免费精品一区二区三区| 26uuu亚洲| 99惹| 丁香婷婷色色| 五月丁香亭亭电影久久| 婷婷丁香十月| 欧美色五月| 欧洲日韩一区二区三区| 亚洲中文av| 九月婷婷激情久久| 婷婷五月花| 99综合| 黄网在线免费播放| 亚洲黄网在线| 亚洲V国产V欧美V久久久久久| 99超级碰碰| 激情六月婷| Xx色综合| 日韩婷婷| 99干日本| 超碰网站在线观看| 色激情网| 熟妇人妻中文字幕无码老熟妇| 97精品欧美91久久久久久久| 婷婷久久色| 思思热久久婷婷五月天| 黄涩毛片| 亚洲成色综合网站免费观看| 金桔一区二区ab地址| 婷婷网影院| 综合久久综合五月天婷婷| 亚洲亚洲人成综合网络| 国产JK精品白丝AV在线观看| 丁香激情五月天| 色婷丁香| 9久久精品| 超碰资源在线| 七七色色综合| 人人妻人人澡| 久久精品系列| 色色色婷婷五月| 视频一二区| 久久3p| 五月激情天| h在线看免费版在线看| 婷婷五月综合社区| 97视频91| 五月婷婷xxx| 久久九九综合| 五月色视频| 激情小说婷婷小说| 色播丁香五月婷婷操:屄| 狠狠操天天操| 激情小说之五月| 久噜久噜| 婷香五月激情视频| 久久天堂网| www激情| 99热九九热| 伊人99热| 97色五月婷婷在线| 丁香婷婷五月天成人| 操操熟女| 大香蕉99热| 热99国产精品| 激情久久天天| 79精品视频| 五月狠狠| 激情婷婷丁香| 大香伊人久色| 99热插| 91色久| 丁香五月日本| 综合色五月| 伊人激情啪啪| 强壮的公次次弄得我高潮A片日本 | 欧美日本免费一道免费视频| 欧美一线视频| 看婷婷五月天网| 色小说婷婷五月天天天| 欧美va在线| 9999三级片| 高清一区二区三区日本久| 欧美久久久中文字幕| 久热超碰91| 久热2025无码| 激情网五月| 色色婷婷丁香| 狠狠色狠狠色综合日日91| 色婷婷大香蕉| 婷婷丁香五月天狠狠| 免费AV在线| 国产FREESEXVIDEOS性中国| 色97啪啪| 久久五月天综合视频网站| 开心五月激情婷婷| 狠狠狠狠狠干| A1片久久| 九九操综合网| AAA久久久| AV片在线观看| 色性综合| WWW.婷婷| 国精产品一区一区三区免费视频| 在线中文亚洲| 婷婷激情五月综合基地| 玖玖综合色| 久草婷妨| 狠狠夜夜五月丁香| 91丨九色丨高潮丰满日本| 久久加勤综合| 天天草人人摸| www.9797国产| 丁香五月桃花在线激情综合| 日韩人妻无码一区二区| 免费AV在线| 色99久草在线| 亚洲激情免费久久| 五月天色色色| 婷婷大乡焦噜噜| 欧美激情2025| 99精品国产在热久久| 91碰超| 涩婷婷五月天| 亚洲成人AV高清字幕| 伊人网欧美在线男人天堂五月丁香 | 日本久久视频| 99色色色色| 色五月情| 天天日狠狠| 五月天婷婷在线播放| 欧美日韩国产伦精品日韩人妻一| 99亚洲色色| 亚洲精品又粗又大又爽A片| 婷婷精品视频| 99综合一区| 日本视频欧美观看免费| 色情五月停停丁香| 一本色道久久综合狠狠躁一二三 | 亚洲色99| 操91| 五月天婷婷久久视频| 97人人操在线| 丁香五月婷婷啪| 天堂爱啪啪| 啪色综合| 色女人久久| 婷婷五月花| 亚洲AV永久无码影院黑人| 丁香婷婷色| 久久久久久久,99精品视频| 99久久精品视频女神1| 婷婷中文字幕欧美| 26uuu欧美宗合| 啪啪啪丁香五月| 精品久久66| 日本性视频| 婷婷久久亚洲| 婷婷之玖玖| 日日夜夜天天| 天天久综合网永久入口17v| A片一曲| 天天综合情| 99免费在线视频| 六月婷婷无码观看| 亚洲狠狠爱婷婷| 激情五月婷婷综合色播小说| 另类图片五月天婷婷| 五月激情综| 五月天婷婷AV| 人妻久久久久久久| 色噜噜狠狠色综合日日免费| 97色色色视频| 伊人大香蕉在线视频| 婷婷在线综合| 亚洲精99| 久久99草五月婷婷| 开心激情站| 五月丁香啪啪啪| 成人做爰A片免费看视频| 99色热视频| 91九色无码内射| av网址在线| 亚洲欧洲色色| 99热色综合| 久久久久亚洲AV成人无码电影| 入口五月婷婷六月香| 成人做爰黄A片免费看直播室男男| 激情性五月天免费小说视频| 一区二区乱码视频| 五月婷在线| 天天爱夜夜爽| 伊人久久婷婷| 99在线视频。| 九九热99视频| 婷婷五月丁香伊人网| 五月天停停日日| 超碰久热| 天天插综合网| 丁香五月天激情五月天激情五月天激情网| 亚洲午夜国产成人电影VA国产欧…| 99亚洲视频| 婷婷丁香六月影视| 激情婷婷网| 天天做天天爱天天高潮| 激情婷婷六月天| 这里只有精9| 五月五月婷婷| 国产精自产拍久久久久久蜜| 天天综合网站| 五月丁香六月婷婷中合网| 五月丁香婷婷啪啪综合| 色狠狠色噜噜AV天堂五区| 天天日夜夜爽| 激情综合婷婷| 色啪综合| 极品九九九九九九| 午夜精品人妻无码一区二区三区| 超碰不卡在线| 丁香婷婷色五月合集| 九九碰九九爱97超碰| av免费在线观看0| 这里只有精品视频免费在线观看| 亚洲色情在线| 天天爽,天天操。| 色色激情五月| 99久久天堂婷婷| 极品少妇XXXX精品少妇偷拍| 婷婷九月丁香| 狠狠高潮精品亚洲1| 热热久久久久久久久| 人人爱操| 伊人网啪啪| 91怕怕网| 伊人九热| 香蕉AV777XXX色综合一区| 中文激情网| 五月婷婷丁香五月婷婷丁香| 爱婷婷五月| 亚洲人人96@| 色五月天堂| 五月丁香五月丁香五月丁香五月丁香91| 欧美成人AAA片一区国产精品| 久久婷婷亚洲| 五月天婷婷色色网| 五月六月婷| 日本五月视频| 玖玖福利视频资源| 5月婷婷六月丁香| 五月婷婷六月丁香综合视频在线| 色色五月天婷婷| 91婷婷色五月| 99精品视频偷拍| 99人人操| 婷婷五月18永久免费网站| 九九久久玖玖爱| 亚洲三A| 男人先锋久久| 伊人久久婷婷五月综合97色| 五月Huangsewang| 成人国产欧美大片一区| 夫妇交换刺激做爰| 96精品成人无码A片观看金桔| 丁香婷婷久久| 99色婷婷| 日本熟妇乱妇熟色A片蜜桃| 婷婷大香蕉| 99久久婷婷| 久久久激情| 极品人妻VIDEOSSS人妻| 最新高清无码专区| 少妇人妻丰满做爰XXX| 国产无遮挡又黄又爽免费网站| 风流少妇A片一区二区蜜桃| 免费视频WWW在线观看网站| 亚洲电影在线观看| 久婷狼色诱惑在线| 自拍视频99| 九色无码| 天天激情5月天亚洲| 色情五月天视频网| 色。 婷婷婷| 操一操| 婷婷五月丁香六月综合网| 99亚洲视频| 国产毛片精品一区二区色欲黄A片| 久久久久9| 少妇大叫太大太粗太爽了A片| 久久中文网| 久久婷婷艹| 亚洲AV第二区国产精品| 九九黄色网| 五月天六月天| 常久最新免费的色吊丝| 久热免费| 色五月激情五月天| 成人无码髙潮喷水A片| 婷婷视频在线碰| 碰人人操| 久久永久网址| 天天操,夜夜骑| 丁香五月AV| 久久久噜噜噜久久人妻| 亚洲激情四射色| 亚洲成人网站在线| 色丁香五月天射婷婷爱婷婷| 五月丁香色播| 丁香激情五月天| 人妻少妇色综合| 色色色com| 99福利导航| 六月婷婷狠狠| 六月丁香六月婷婷欧美| 婷婷五月天色| 综合久久激情久久| 久七香蕉| 婷婷五月天在线综合导航| 色狠久| 婷婷五月天伊人网| www...com黄在线观看| 9热视频在线观看| 五月天天天开心激情网| 亚洲国产精品VA在线看黑人| 五月婷婷激情| 久热爱大香蕉在线蜜臀悦色| 99热情这里只有精品在线播放| 天天天天天天噜| 久久网日本| 亚洲无码影音| 一级片sese片.COM| 无码任你操| 久久九九综合| 猫咪伊人久久| 天天色五月| 99热亚洲| 欲色人妻| 色婷婷综合中心| 无码髙清| 亚洲精品一二三| 丁香色色网| 婷婷六月久久综合导航| 熟女人妻一区二区三区免费看| 婷婷第一页| 五月丁香激情综合六月涩涩爱| 色婷婷久久综合| 婷婷五月精品| 亚洲婷婷五月草久| 亚洲色综合| 欧美WW在线网| 九九热这里只有精品31| AV九九| 色情综合| 影音先锋91资源站| 色婷婷五月综合色婷婷| www.色婷婷。com| 五月丁香六月成人| 182TV大香蕉| 九九精品视频在线观看| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月激情丁香五月宗合| 国产亚洲在线观看| 久久狠狠干| 五月丁香婷婷视频| 五月天婷婷激情四射综合| 亚洲婷婷六月天| 99色热| 操91| 五月丁香激情综合| 五月婷在线影院| 国产亚洲色婷婷久久99精品91| 99爱在线| 九九热这里只有精品31| 中文字幕无码人妻少妇免费视频 | 综合99综合久久久久久久| 丁香成人五月天| 激情碰碰碰| 夜夜夜夜夜操| 91九色成人原创视频| 中文国产五月天| 99只有精品9| SS丁香五月婷婷| 中文字幕视频色婷婷| 亚洲五月婷天天操| 伊人在线视频| 超碰AAAAAAV| 激情五月婷婷老师| 青青草原99热| 色都都狠狠色都都色综合色| 深夜激情网| 肏日网在线看| 97丁香五月| 伊人婷婷五月天| 超碰在线中文字幕| 婷婷九月综合| 五月丁香香蕉| 久热91| 色国产五月| 国产婷婷婷| 天天干狠狠艹| 日韩黄色电影| 色综合九九| 五月色情婷婷开心五月天| 五月开心网| www,婷婷五月天,com| 99ri6在线视频| 综合色播| 67194成I人在线观看线路1| 婷婷五月丁香六月| 婷婷丁香六月激情综合| 123日本不卡在线| 色欲一二三| 天天摸天天肏| 色婷婷亚洲婷婷| 六月婷婷国产| 97干婷婷| 天天爽天天爽| 色五月婷婷DVD| 冬月かえでAV无码播放| 综合久久综合久久| 婷婷五月免费观看| 伊人超碰在线| 婷婷综合激情| 一本道综合网| 超碰人人操人人9| 99久久99久久综合| 人人摸人人射| 黑人熟妇一区二区三区| 99ri精品| 色五月丁香五月婷婷五月成人网| 超级碰碰碰97免费| 五月天婷婷小说| 激情婷婷啪啪| 五月激情啪啪| 婷婷狠狠综合网入口| 婷婷玖玖五月天| 欧美va视频不用播放器的va视频网| 五月激情四射网站| 久久婷丁香五月| 日日干夜夜撸夜夜骑| 97日本在线| 五月婷婷丁香| 国产精品电影网| 97色五月天| 亚洲午夜一区二区| 欧美顶级少妇做爰HD| 五月丁香婷婷深深爱| 婷婷五月天另类视频| 99热99在线精品| 久久久天堂国产精品女人| 亚洲超级碰| 中文字幕无码AV| 丁香色色色| 国产精品久久7777777精品无码| 婷婷激情综合| 九九美女视频| 99热超碰| 亚洲av日韩无码| 婷婷五月天激情五月天网站| 久色网| 97在线视频 欧美| 国产精品VIDEOSSEX久久发布| 色综合九九色综合88| 人人干Av| 五月丁香六月婷婷,婷| 婷婷久久图片| 综合色图婷婷| 婷婷精品| 日韩成人AV在线播放| 亚洲激情97五月天| 色婷婷婷综合五月天| 五月婷婷影院| www99xxxx五月丁| 五月丁久久| 99久久久久| 丝袜人妻| 偷偷操99| 丁香六月五月婷婷| 91视屏在线观看com.wwwvv| 狠狠色色| 9精品视频在线观看| 999九九九久久久99HD| 极骚大香蕉伊人| 欧美激情综合色综合啪啪五月| 91偷拍视频| 9l视频自拍9l九色9l成人| 五月丁香六月激情综合欧美| 五月天色婷婷图片| 99色综合网| 丁香涩涩五月天| 久热这里只有精品性色AV| www.五月丁香| 99热在线网站| 婷婷黄色网| 丁香五月天成人| 中文字幕日产A片在线看| 色无码| 综合久| 日熟女| 91综合在线观看| 大香蕉久久久久久久久| 免费色婷婷| 日韩一级淫乱片一区二区三区| 疯狂做受XXXX高潮A片| 久久婷五月| 拍真实国产伦偷精品| 99日韩| 丁香五月激情啪啪| 99精品热| 丁香五月婷婷五月| 专区无日本视频高清8| 五月天综合| 亚洲精品V天堂中文字幕| 粉嫩AV久久一区二区三区| 乱精品一区字幕二区| 国外亚洲成AV人片在线观看| 99精品偷自拍| 狠狠干.com| 无语停婷丁香网| 欧美三级视频下载| 97干在线观看| 九色视频91疯狂| 婷婷在线免费| 激情综合啪啪啪| 狠狠狠狠免费| 能看的AV网站| 五月丁香激情婷婷| 天天日天天干天天操| 内射综合网| 九九热这里| 人与禽A片啪啪| 久久丁香综合精品综合| 超碰伊人碰婷婷五月| av在线播放网址| 色五月婷婷中文字幕在线观看| 影音先锋女人av鲁色资源网小说免费| 欧美五月丁香在线观看| 逼里香不卡| 五月丁香亭亭操逼| 六月婷婷五月丁香| 国产精品第一国产精品| 久久艹网| 丁香九月婷婷综合| 天天综合天天做天天综合| 亚洲欧美另类在线23p| 97亚洲婷婷| 五月天桃色深爱网| 538在线精品| 亚洲第一av| 色播五月丁香| 丁香五月天激情小说| 丁香五月婷婷视频| 婷婷五月天激情四射| 97很鲁在线视频| 操操日韩| 噜综合| 婷婷色爱| 综合啪啪| 五月天天丁香婷婷| 91互操| 狠狠人妻久久久久久综合丁香| 婷婷激情五月色综合| 色色综合网站| 亚洲传媒在线观看| 天天天天操| 99热人人艹| 丁香五月综合| 丁香色情五月综合网站| 六月99天天婷婷激情综合| 一本色道久久88加勒比| 激情99| AV国产有码| 九九久久综合| chaopeng在线人人| 99亚洲精品视频在线观看| 伊人五月丁香| 看片视频在线免费日产在线看| 色婷婷精| 亚洲 精品 综合 精品| 欧洲色| 97很鲁在线视频| 婷婷五月天影院| 九九综合久久| 另类图片五月天| 五月狠狠| 99热这里只是精品| 夜夜爽天天干| 色噜久| 婷婷色五月天综合网| 五月丁香啪啪| 婷婷丁香五月天操逼| 99re这里只有精品免费| 婷婷中文无码| 日韩成人综合| 亚洲瑟瑟精品在线| 久热超碰| 国产一级片| www.99免费视频| 日韩久久这里只有精品| 日本黄色精品| 婷婷五月天日日日干干干| 婷婷综合五月天| 天天综合五月| 亭亭玉月丁香| 丁香五月亚洲综合| 情情五月天色| 精品色色| 婷婷久久久久| 99精品网| 青青操成人福利| 26UUU亚洲欧美| 午夜婷婷| 99ri在线| 91人人网| 激情宗合 激情宗合| 色综合天天天天做夜夜| 国产性av| 激情五月六月婷婷综合啪啪| 五月婷婷激情五月| 亚洲综合视频在线| 中文字幕综合| 久久在线92| 九九热精品视频在线观看| 日韩啪啪自拍| 99免费热视频| 日本玖玖在线| 六月丁香婷婷五月| 日比视频91| 午夜婷婷六月天| 玖久久网站| 狠狠色噜噜色狠狠狠综合久久成人波| ..真实国产乱子伦毛片 | 婷婷亚洲综合| 色婷婷婷av| 91丨九色丨东北熟女| 色色综合日韩| 中文字幕无码人妻少妇免费视频| 亚洲狠狠婷婷综合久久久|