99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南 如果你手頭有一臺(tái)跑著生產(chǎn)業(yè)務(wù)的 Linux 服務(wù)器上面部署了 Tomcat那你大概率經(jīng)歷過這種時(shí)刻機(jī)房斷電、服務(wù)器自動(dòng)重啟或者運(yùn)維例行升級內(nèi)核 reboot 之后同事過來說“網(wǎng)站打不開了”。SSH 上去一看MySQL、Nginx 都活著唯獨(dú) Java 進(jìn)程沒了——Tomcat 沒有開機(jī)自啟。后來我專門整理過一套在 linux 上設(shè)置 tomcat 開機(jī)啟動(dòng)的完整方法才把這件回頭看并不復(fù)雜、踩坑時(shí)卻相當(dāng)折磨人的事徹底理順。這篇內(nèi)容適合手里有 Linux 服務(wù)器、用 Tomcat 跑著 Java Web 項(xiàng)目、且經(jīng)受不起下次重啟后服務(wù)靜默消失的開發(fā)或運(yùn)維朋友。文章不會(huì)只給你一段能用的配置我會(huì)把方案選型、單元文件每個(gè)參數(shù)的作用、驗(yàn)證方式、常見坑的完整排查鏈路以及配套的 JVM 參數(shù)、日志切割、多實(shí)例部署這些細(xì)節(jié)一并講清楚。1. 為什么 Linux 服務(wù)器上的 Tomcat 必須配置開機(jī)自啟1.1 先說一個(gè)讓我凌晨爬起來加班的場景我印象特別深有一年某個(gè)測試環(huán)境因?yàn)闄C(jī)房變更要重啟一臺(tái)老應(yīng)用服務(wù)器上面跑著 Tomcat 8.5 和幾個(gè)客戶對接用的 JSP 系統(tǒng)。重啟完成、網(wǎng)絡(luò)通了之后用客戶端工具一連——接口直接報(bào)連接超時(shí)。SSH 上去看Memcached 是起的Nginx 是起的唯獨(dú)java進(jìn)程一個(gè)都看不到Tomcat 壓根沒有跟著系統(tǒng)起來。當(dāng)時(shí)這臺(tái)機(jī)器的 Tomcat 是同事手動(dòng)startup.sh拉起來的配置里也沒有任何開機(jī)自啟的邏輯。更要命的是沒人記得具體配置細(xì)節(jié)JAVA_HOME、CATALINA_BASE 全靠/etc/profile里的環(huán)境變量撐腰。我后來花了大半夜把環(huán)境全部摸了一遍才意識(shí)到配置 Tomcat 開機(jī)啟動(dòng)這件事不只是寫一行命令那么簡單它需要把啟動(dòng)方式、環(huán)境變量、用戶權(quán)限、服務(wù)依賴全部理順。從那以后我在任何一臺(tái)要長期跑 Tomcat 的 Linux 機(jī)器上做的第一件事就是先把開機(jī)自啟搞定。1.2 開機(jī)自啟的三種主流方案先做個(gè)了斷到目前為止我在不同年代、不同發(fā)行版的機(jī)器上實(shí)際用過的方案主要有三種方案原理適用場景維護(hù)成本systemd 服務(wù)單元通過/etc/systemd/system/tomcat.service聲明服務(wù)由 systemd 托管生命周期當(dāng)前幾乎所有主流發(fā)行版CentOS 7、Debian 8、Ubuntu 15低管理命令統(tǒng)一SysV init 腳本在/etc/init.d/放腳本通過update-rc.d或chkconfig注冊老系統(tǒng)、最小化容器、嵌入式環(huán)境中依賴順序全手動(dòng)crontab reboot用戶 crontab 里寫reboot /path/startup.sh臨時(shí)性、實(shí)驗(yàn)性環(huán)境低但服務(wù)狀態(tài)和重啟策略幾乎沒有我見過不少生產(chǎn)環(huán)境的服務(wù)器還在用第三種方式就是reboot掛一條啟動(dòng)命令。你說它不行它確實(shí)能在重啟后把 Tomcat 拉起來。但問題在于沒有服務(wù)狀態(tài)管理如果想用systemctl查狀態(tài)、自動(dòng)重啟、看失敗次數(shù)、做資源隔離它什么都給不了。而且reboot的 cron 任務(wù)經(jīng)常踩環(huán)境變量坑——crontab 的執(zhí)行環(huán)境不是登錄式 Shell/etc/profile里定義的 JAVA_HOME 它根本讀不到啟動(dòng)一個(gè)失敗一個(gè)。SysV init 腳本在 CentOS 6 時(shí)代是絕對主力我現(xiàn)在也還會(huì)遇到基于老鏡像的機(jī)器。它的邏輯就是啟動(dòng)時(shí)按 rc.d 里的腳本順序調(diào)用#!/bin/sh從頭寫一套 start/stop/restart 邏輯還要考慮鎖文件、PID 文件。能用但確實(shí)繁瑣而且很多長期沒人維護(hù)的 init 腳本里連注釋都過期了。1.3 為什么我最終把生產(chǎn)環(huán)境的 Tomcat 全部切到 systemd如果機(jī)器發(fā)行版支持 systemd我的建議非常直接別折騰其他方案直接用 systemd。理由不復(fù)雜就三條。第一服務(wù)狀態(tài)可觀測。systemctl status tomcat看到的是active (running)、activating、failed這些明確狀態(tài)結(jié)合journalctl -u tomcat能看到服務(wù)日志定位速度比在/var/log/tomcat/里翻半天快得多。第二依賴和資源控制原生支持。我可以聲明Afternetwork.target等網(wǎng)絡(luò)就緒也可以設(shè)置MemoryLimit、CPUQuota對 Tomcat 這種占內(nèi)存大頭、容易出現(xiàn)內(nèi)存泄漏的 Java 進(jìn)程這是實(shí)實(shí)在在的護(hù)欄。第三失敗重啟策略。Restarton-failure加上RestartSec讓 Tomcat 意外退出后自動(dòng)拉起。相比在 crontab 里反復(fù)跑pgrep去判斷進(jìn)程存在與否systemd 的處理方式又干凈又可靠。現(xiàn)在主流發(fā)行版幾乎都跑 systemd所以下面的配置全部圍繞 systemd 展開同時(shí)穿插說明一些老方案里的對應(yīng)做法。2. 手把手把 Tomcat 配成 systemd 開機(jī)自啟服務(wù)2.1 動(dòng)手前先體檢目錄、賬號(hào)、路徑這三個(gè)事別跳過配置前我會(huì)先確認(rèn)三件事任何一件沒確認(rèn)清楚后面都會(huì)回來找麻煩。第一JDK 的真實(shí)路徑。在命令行里執(zhí)行which java readlink -f $(which java)后一條命令會(huì)把/usr/bin/java這類軟鏈接一路解析到真實(shí)路徑比如/usr/local/java/jdk-17/bin/java那 JAVA_HOME 就是/usr/local/java/jdk-17。千萬別想當(dāng)然寫成/usr/lib/jvm/...以readlink解析出來的為準(zhǔn)。第二Tomcat 安裝目錄和版本。通常我會(huì)用/usr/local/tomcat作為 CATALINA_HOME。要注意目錄里有沒有完整的bin、conf、lib結(jié)構(gòu)缺少文件大概率是以前解壓到一半或者路徑被改過??梢詧?zhí)行/usr/local/tomcat/bin/version.sh看版本前提是 JAVA_HOME 已經(jīng)在當(dāng)前 Shell 導(dǎo)出。第三運(yùn)行賬號(hào)。強(qiáng)烈建議不要用 root 直接跑 Tomcat。一旦進(jìn)程被利用或者 war 包出問題root 權(quán)限的 Java 進(jìn)程會(huì)造成更大的麻煩。我通常新建一個(gè)系統(tǒng)用戶useradd -r -s /bin/false tomcat chown -R tomcat:tomcat /usr/local/tomcat-r表示系統(tǒng)賬戶-s /bin/false讓它無法交互登錄對 Tomcat 運(yùn)行來說足夠。大家常問的“Tomcat 啟動(dòng)閃退”有相當(dāng)一部分就是目錄權(quán)限不對啟動(dòng)腳本寫不了日志或 PID 文件導(dǎo)致進(jìn)程退出。2.2 寫一個(gè)能打的 tomcat.service 單元文件在/etc/systemd/system/tomcat.service創(chuàng)建文件這是 systemd 管理 Tomcat 的入口。我先把一份經(jīng)過生產(chǎn)驗(yàn)證的配置完整貼出來再做逐行解釋。[Unit] DescriptionApache Tomcat 9 Web Application Container Afternetwork.target Wantsnetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/local/java/jdk-17 EnvironmentCATALINA_HOME/usr/local/tomcat EnvironmentCATALINA_BASE/usr/local/tomcat EnvironmentCATALINA_PID/usr/local/tomcat/logs/tomcat.pid PIDFile/usr/local/tomcat/logs/tomcat.pid ExecStart/usr/local/tomcat/bin/startup.sh ExecStop/usr/local/tomcat/bin/shutdown.sh Restarton-failure RestartSec10 TimeoutStartSec60 TimeoutStopSec30 [Install] WantedBymulti-user.target這個(gè)文件里的[Unit]部分描述服務(wù)是什么、啟動(dòng)順序上的依賴[Service]部分是核心定義了進(jìn)程類型、用哪個(gè)用戶運(yùn)行、執(zhí)行什么腳本[Install]段決定了它掛載到哪個(gè)啟動(dòng)目標(biāo)multi-user.target表示這臺(tái)機(jī)器進(jìn)入正常的非圖形化運(yùn)行級別時(shí)啟動(dòng)。2.3 單元文件里這些參數(shù)每一行都在解決什么問題很多人習(xí)慣網(wǎng)上復(fù)制一份配置能用就行出了問題就完全不知道往哪里看。我建議把幾個(gè)關(guān)鍵參數(shù)吃透。Typeforking。Tomcat 的startup.sh啟動(dòng) Java 進(jìn)程后會(huì)立即返回退出真正的 Tomcat 主進(jìn)程是被 fork 出來的子進(jìn)程所以對 systemd 來說必須聲明Typeforking。如果不聲明或聲成simplesystemd 會(huì)把短暫駐留的啟動(dòng) Shell 當(dāng)成主服務(wù)導(dǎo)致狀態(tài)判斷完全錯(cuò)亂。PIDFile 與 CATALINA_PID。systemd 需要跟蹤 Tomcat 實(shí)際主進(jìn)程的 PID 來管理它。Tomcat 自身通過 CATALINA_PID 來寫 PID 文件。單元文件里我把 PID 指向/usr/local/tomcat/logs/tomcat.pid。這里有一個(gè)非常典型的坑很多發(fā)行版默認(rèn) Tomcat 配置里沒有導(dǎo)出 CATALINA_PID啟動(dòng)時(shí)根本沒有 PID 文件可讀systemd 在 stop 和 status 時(shí)的判斷會(huì)對不上。解決辦法就是顯式在服務(wù)里設(shè)置同時(shí)寫上PIDFile讓 systemd 知道去哪里讀。Environment。這一步我要特別強(qiáng)調(diào)。systemd 通過ExecStart啟動(dòng)的服務(wù)不會(huì)讀取/etc/profile、~/.bashrc這些 Shell 初始化文件。不少人的 Tomcat 平時(shí)手動(dòng)啟動(dòng)沒問題一配 systemd 就報(bào)JAVA_HOME is not defined correctly十有八九是這個(gè)原因。所以我把 JAVA_HOME、CATALINA_HOME、CATALINA_PID 統(tǒng)統(tǒng)用 Environment 寫進(jìn)去不依賴任何全局 Shell 變量。After / Wants。Afternetwork.target表示網(wǎng)絡(luò)目標(biāo)完成后才會(huì)啟動(dòng) Tomcat避免在網(wǎng)絡(luò)接口沒有就緒時(shí)就去綁定端口。如果你的項(xiàng)目強(qiáng)依賴數(shù)據(jù)庫或 Redis也可以追加Aftermysql.service之類的聲明。注意After不產(chǎn)生啟動(dòng)依賴它只是順序約束要用Requires或Wants來真正拉起依賴服務(wù)最常見的組合就是Wants...加After...。Restart 策略。Restarton-failure搭配RestartSec10進(jìn)程異常退出時(shí) 10 秒后自動(dòng)重試。on-failure只處理非正常狀態(tài)如果你自己調(diào)systemctl stop tomcat它不會(huì)去重啟這也是我推薦這個(gè)值的原因。TimeoutStopSec。Tomcat 關(guān)閉時(shí)可能要優(yōu)雅停掉應(yīng)用和連接池時(shí)間給太短會(huì)被 systemd 強(qiáng)殺。我設(shè)了 30 秒大多數(shù) Web 應(yīng)用足夠。如果線上應(yīng)用有長事務(wù)、連接池回收慢可以再調(diào)大一點(diǎn)。2.4 啟用自啟、驗(yàn)證生效一次做過配置寫完以后執(zhí)行systemctl daemon-reload systemctl enable tomcat systemctl start tomcat每次修改 service 文件必須重新執(zhí)行daemon-reload這是新手最容易漏掉的動(dòng)作。enable會(huì)在/etc/systemd/system/multi-user.target.wants/下生成符號(hào)鏈接下次開機(jī)時(shí)自動(dòng)啟動(dòng)start是立即啟動(dòng)并不是必須和enable一起執(zhí)行但先手動(dòng)啟動(dòng)一次能盡早發(fā)現(xiàn)配置錯(cuò)誤。啟動(dòng)后一定要做到驗(yàn)證閉環(huán)systemctl status tomcat systemctl is-enabled tomcat ss -lntp | grep 8080 curl -sI http://127.0.0.1:8080 | head -n 3如果看到enabled、狀態(tài)是active (running)、8080 端口監(jiān)聽正常這一步就完成了。我自己的習(xí)慣還會(huì)再補(bǔ)一句journalctl -u tomcat -n 50 --no-pager確認(rèn)日志沒有異常然后找個(gè)時(shí)間真正 reboot 一次驗(yàn)證自啟——這一步必須有下面會(huì)解釋為什么。3. 配置自啟途中踩過的坑和完整排查鏈路3.1 環(huán)境變量丟失systemd 說這不是它的鍋癥狀很典型手動(dòng)執(zhí)行startup.sh一切正常systemctl start tomcat后過幾秒狀態(tài)變成failedjournalctl -u tomcat里能看到類似Neither the JAVA_HOME nor the JRE_HOME environment variable is defined At least one of these environment variable is required to run this program原因就是我前面說的systemd 啟動(dòng)的進(jìn)程不加載 Shell 環(huán)境文件。很多教程讓你把 JAVA_HOME 寫進(jìn)/etc/profile這只會(huì)影響交互式 Shell不會(huì)影響 systemd。排查鏈路按順序走systemctl show tomcat -p Environment看 systemd 實(shí)際傳給進(jìn)程的環(huán)境變量。如果沒有 JAVA_HOME去單元文件里補(bǔ)上EnvironmentJAVA_HOME...絕對路徑以readlink -f $(which java)解析出來的為準(zhǔn)。XShell 里敲的java -version能用不代表 Tomcat 腳本能用腳本看的是 JAVA_HOME/JRE_HOME不是 PATH 里的 java 命令。3.2 PID 文件缺失狀態(tài)一直卡在 activating有一個(gè)場景我遇到不止一次Tomcat 其實(shí)已經(jīng)起來了8080 端口也在監(jiān)聽業(yè)務(wù)能通但systemctl status顯示的卻是activating (start-pre)或者反復(fù)failed用systemctl stop還停不下來。根因基本可以鎖定在 PID 文件上。Typeforking加 PIDFile 時(shí)systemd 會(huì)用 PID 文件里的主進(jìn)程號(hào)來判斷服務(wù)是否成功啟動(dòng)。如果 CATALINA_PID 沒有導(dǎo)出startup.sh 不寫 PID 文件或者寫的路徑進(jìn)程沒權(quán)限寫就會(huì)卡在狀態(tài)判斷上。排查方式ls -l /usr/local/tomcat/logs/tomcat.pid cat /usr/local/tomcat/logs/tomcat.pid如果沒有這個(gè)文件檢查單元文件里 CATALINA_PID 是否配置如果文件存在但權(quán)限是 root檢查chown -R tomcat:tomcat /usr/local/tomcat因?yàn)?Tomcat 運(yùn)行用戶寫不了這個(gè)文件同樣會(huì)導(dǎo)致 systemd 狀態(tài)不對。SELinux 開啟時(shí)如果目錄上下文不對也可能拒絕寫權(quán)限這個(gè)下面單獨(dú)說。3.3 啟動(dòng)閃退排查先在前臺(tái)跑一次 catalina.sh配了自啟之后閃退日志往往被 systemd 收走反而不如直接前臺(tái)啟動(dòng)看得快。排查閃退我最順手的動(dòng)作是把 Tomcat 開到前臺(tái)sudo -u tomcat /usr/local/tomcat/bin/catalina.sh runcatalina.sh run是前臺(tái)運(yùn)行日志直接打到終端報(bào)錯(cuò)一眼能看到。常見閃退原因端口被占用。ss -lntp | grep 8080看是不是別的服務(wù)占著或上一次啟動(dòng)的殘留進(jìn)程占著端口。war 包解壓失敗、webapps 下的應(yīng)用啟動(dòng)異常導(dǎo)致線程啟動(dòng)時(shí)報(bào)錯(cuò)退出。內(nèi)存不足或 JVM 參數(shù)非法比如-Xmx設(shè)置超出物理內(nèi)存啟動(dòng)直接報(bào)Could not reserve enough bytes for object heap。系統(tǒng)服務(wù)對進(jìn)程數(shù)量、文件句柄有限制journalctl -u tomcat里能看到句柄耗盡的跡象。定位到根因后按對應(yīng)的方式改配置改完再systemctl start tomcat驗(yàn)證。不要反復(fù)無腦重啟日志不會(huì)騙人。3.4 端口能通但外網(wǎng)訪問不了防火墻與 SELinux 兩個(gè)兄弟自啟配好了本機(jī) curl 127.0.0.1:8080 有響應(yīng)外面怎么都訪問不到這時(shí)候要懷疑防火墻和 SELinux。firewalld 在 CentOS/RHEL 系機(jī)器上默認(rèn)可能攔截了外部到 8080 的訪問firewall-cmd --permanent --add-port8080/tcp firewall-cmd --reloadSELinux 則是另一個(gè)容易忽略的環(huán)節(jié)。Tomcat 安裝到非標(biāo)準(zhǔn)目錄后進(jìn)程寫日志、寫臨時(shí)文件可能被 SELinux 策略擋住。先看當(dāng)前模式getenforce如果是Enforcing可以用restorecon -RF /usr/local/tomcat恢復(fù)目錄的 SELinux 上下文如果 Tomcat 確實(shí)需要連接外部網(wǎng)絡(luò)或端口可能需要設(shè)置對應(yīng)的 boolean。這里不展開講 SELinux 策略撰寫但要記住遇到進(jìn)程行為異常、日志中帶著Permission denied又說不清權(quán)限問題時(shí)八成和 SELinux 有關(guān)。注意不建議圖省事直接在生產(chǎn)上永久關(guān)閉 SELinux。造成的問題應(yīng)該用策略去解決頂多臨時(shí)setenforce 0驗(yàn)證確認(rèn)后再定位是哪條策略。3.5 journalctl 里最值得記住的五類關(guān)鍵線索配自啟的排查基本繞不開journalctl -u tomcat我總結(jié)過幾類最常出現(xiàn)的日志線索看到就知道往哪里查日志線索指向的問題JAVA_HOME is not defined環(huán)境變量沒配置或路徑不對去 [Service] 段補(bǔ) Environmentpid file write failedPID 文件路徑不可寫檢查目錄權(quán)限、SELinux 上下文Address already in use端口被占用找占用進(jìn)程或改 server.xml 端口Broken pipe、Connection reset通常是反向代理/防火墻/長連接資源問題優(yōu)先看 Nginx 和網(wǎng)絡(luò)側(cè)OutOfMemoryError、GC overhead limit exceededJVM 或堆內(nèi)存不足調(diào) CATALINA_OPTS每次排查都從日志入手按鏈路一層層往下通常能比東翻西找快一半時(shí)間。4. 開機(jī)自啟配好之后順手把這些運(yùn)維細(xì)節(jié)也安排上4.1 JVM 參數(shù)放哪最干凈用 setenv.sh 而不是硬塞 service設(shè)置好自啟之后很多人會(huì)問我想調(diào) JVM 堆內(nèi)存、GC 參數(shù)怎么辦兩個(gè)選擇一是全部懟在 service 文件的 Environment 里二是在/usr/local/tomcat/bin/下創(chuàng)建setenv.sh。Tomcat 每次啟動(dòng)都會(huì)自動(dòng)加載bin/setenv.sh里導(dǎo)出的環(huán)境變量。這是官方預(yù)留的擴(kuò)展機(jī)制比在 systemd 單元文件里寫一長串 Environment 干凈得多也更方便維護(hù)。我通常在 setenv.sh 里寫export CATALINA_OPTS-Xms512m -Xmx2048m -XX:MetaspaceSize256m -XX:UseG1GC -XX:HeapDumpOnOutOfMemoryError注意兩個(gè)變量的區(qū)別CATALINA_OPTS只作用于 Tomcat 啟動(dòng)的 JVM不影響它內(nèi)部的輔助工具JAVA_OPTS會(huì)作用于所有基于 Java 的進(jìn)程包括啟動(dòng)腳本里的輔助程序。針對 Tomcat 的堆和 GC 配置優(yōu)先用 CATALINA_OPTS。修改 setenv.sh 后不用重寫 servicesystemctl restart tomcat即可生效這個(gè)先后順序建議固定下來。4.2 catalina.out 無限增長一個(gè) logrotate 配置解決Tomcat 的catalina.out會(huì)越滾越大尤其線上打了大量訪問日志或異常棧時(shí)一個(gè)季度漲到幾個(gè) GB 很常見。有些項(xiàng)目把日志輸出在 catalina.out 里不處理遲早拖垮磁盤。我在生產(chǎn)上通常用 logrotate 做每日切割配置放在/etc/logrotate.d/tomcat/usr/local/tomcat/logs/catalina.out { daily rotate 7 copytruncate compress missingok notifempty }這里最需要注意的參數(shù)是copytruncate。因?yàn)?Java 進(jìn)程一直持有 catalina.out 這個(gè)文件句柄直接mv重命名會(huì)導(dǎo)致 Tomcat 繼續(xù)寫舊句柄肉眼看到的是日志“消失”實(shí)際磁盤空間沒釋放。copytruncate先復(fù)制再清空原文件雖然極端情況下會(huì)丟一點(diǎn)點(diǎn)新日志但比重啟 Tomcat 去切日志劃算得多。4.3 多實(shí)例部署用模板化 service 文件省一半配置如果一臺(tái)服務(wù)器上要跑多個(gè) Tomcat 實(shí)例比如按項(xiàng)目名隔離的web1、web2完全不需要為每個(gè)實(shí)例各寫一份 service 文件。systemd 支持模板單元tomcat.service通過%i引用實(shí)例名[Unit] DescriptionTomcat instance %i Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentCATALINA_HOME/opt/tomcat-appserver EnvironmentCATALINA_BASE/opt/tomcat-%i EnvironmentCATALINA_PID/opt/tomcat-%i/logs/tomcat.pid PIDFile/opt/tomcat-%i/logs/tomcat.pid ExecStart/opt/tomcat-appserver/bin/startup.sh ExecStop/opt/tomcat-appserver/bin/shutdown.sh Restarton-failure [Install] WantedBymulti-user.target然后一行命令注冊并啟動(dòng)對應(yīng)實(shí)例systemctl enable tomcatweb1 systemctl start tomcatweb1需要注意多實(shí)例場景里CATALINA_HOME可以共用一份 Tomcat 程序但CATALINA_BASE必須每個(gè)實(shí)例各自獨(dú)立conf/、webapps/、logs/、temp/放在各自的 BASE 目錄下。這會(huì)讓自啟配置的復(fù)雜度大大下降也方便后續(xù)單獨(dú)重啟某個(gè)實(shí)例而不影響其他應(yīng)用。4.4 升級 Tomcat 版本時(shí)自啟配置怎么平滑過渡Tomcat 大版本升級時(shí)最容易踩的雷就是解壓新版到新目錄然后忘了改自啟單元文件里指向 CATALINA_HOME 的路徑重啟回來發(fā)現(xiàn)啟動(dòng)的還是老版本。我的做法一般是先用軟鏈接固定路徑ln -s /usr/local/tomcat-9.0.85 /usr/local/tomcatservice 文件里始終只寫/usr/local/tomcat升級時(shí)解壓新版目錄停服務(wù)換軟鏈接指向再啟動(dòng)。如果出問題就回退軟鏈接整個(gè)過程可逆可控。升級前記得備份conf/server.xml、conf/web.xml和webapps下需要保留的業(yè)務(wù)應(yīng)用。Tomcat 10 把javax.*換成jakarta.*的兼容差異比較大升級時(shí)要么代碼同步遷移要么先確認(rèn)業(yè)務(wù)是否接受這個(gè)改動(dòng)。4.5 順便提一句安全加固manager 后臺(tái)別裸奔很多網(wǎng)站在 Tomcat 配置完成后conf/tomcat-users.xml里寫死了一個(gè)manager-gui角色賬號(hào)用于后臺(tái)部署 war 包。我的建議是兩步走一是 manager 相關(guān)角色盡量不開放公網(wǎng)訪問至少在防火墻層或 Nginx 層限制來源 IP二是如果確實(shí)需要遠(yuǎn)程管理配合 Tomcat 的 Valve 配置做來源地址白名單而不要只靠一個(gè)弱口令頂著。這個(gè)不屬于自啟范圍但既然聊到線上的 Tomcat順手提醒總比出了安全事件再補(bǔ)要省心。5. 我總結(jié)的幾個(gè)實(shí)操習(xí)慣照著做能少走很多彎路配置和排障都講完了最后分享幾個(gè)我自己養(yǎng)成的習(xí)慣都是踩過坑后留下的。第一配置完自啟后一定要找時(shí)間重啟一次機(jī)器驗(yàn)證。很多人配完enable就覺得萬事大吉等真重啟才發(fā)現(xiàn)某個(gè)依賴順序或環(huán)境變量在純引導(dǎo)環(huán)境里根本不生效。重啟后確認(rèn)進(jìn)程在、端口在、systemctl status是 active才算完成閉環(huán)。第二每次都先daemon-reload再改狀態(tài)。改 service 文件卻不 reloadsystemd 仍在用舊配置這會(huì)浪費(fèi)大量時(shí)間。我自己的流程是改完文件 →systemctl daemon-reload→systemctl restart tomcat→journalctl -u tomcat -n 30收尾。第三寫文檔比記憶可靠。Tomcat 版本、JAVA_HOME 路徑、實(shí)例名、端口、依賴關(guān)系這些信息散落在不同人腦子里最危險(xiǎn)。我會(huì)在機(jī)器上放一個(gè)/etc/systemd/system/README-tomcat.txt或者同步到私有維基記錄每次變更前后的狀態(tài)和原因下次不管誰接手都能快速接上。第四盡量用 systemd 統(tǒng)一管理減少“手藝人腳本”。手寫 shell 腳本輪詢進(jìn)程、在 rc.local 里追加啟動(dòng)命令這些方式應(yīng)急時(shí)可以但長期維護(hù)下來狀態(tài)不可觀測、失敗不自愈的代價(jià)會(huì)越來越高。把 Tomcat、Nginx、MySQL 這些服務(wù)通通納入 systemd 視角后一條命令就能看清整臺(tái)機(jī)器的服務(wù)圖譜排障思路也會(huì)清晰很多。配置 Tomcat 開機(jī)自啟本質(zhì)上并不難難的是把方案選對、把細(xì)節(jié)做扎實(shí)。希望這篇實(shí)踐筆記能讓你下次面對“重啟后服務(wù)消失”的時(shí)候不再手忙腳亂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美成人猛片AAAAAAA| 综合婷婷| 99久久这里只有精品免费官网| 丁香婷婷基地| 亚洲99手机免费看视频 | 五月天婷婷久久视频| 色五月激情问网站| 五月婷婷狠狠干| 欧美成人猛片AAAAAAA| 五月天狠狠| 五月婷婷色色| 五月婷婷偷拍| 婷婷久久免费| 青柠影视免费高清电视剧 | 1024操逼视频| 激情网五月天| 婷婷五月天情色| 思思热在线视频99| 久久草婷婷丁香网站| 99热欲| 丁香六月啪| 天天影院色| 婷婷五月天在线综合导航| 在线综合啪| 天天插天天射| 五月天婷婷色色| 丁香五月开心五月激情| 丁香婷婷久久老熟女综合网| 五月丁香久久久日婷婷久久婷婷日| 天久综合91综合首页| 国产无套精品一区二区| 六月婷婷av| 我要射综合| 婷婷五月天黄色网址| 婷婷99狠狠躁天天久久久九九九| 99国产精品久久久久久久久久久| AAA久久| 狠狠操天天干| 日本色色网站| 在线另类视频| 色综合久久天天综合网| 91人妻PORNY九色大屁股| 久久99网| 99热这里只有精| 99久久免费精品| 日韩999| 亚洲色热| 亚州操人在线视频| 无码人妻少妇色欲AV一区二区| 免费AV播放| 91狠狠色| 中文字幕按摩做爰| 五月婷婷啪啪啪啪| 亚洲无码免费看| 琪琪布丁香社区激情五月天| 一区二区无码视频| 精品九九网| 五月婷婷色欲| 色五月噜噜| 欧美成人一区二区三区在线视频| 六月婷婷综合网2| 激情99| 久青草影院| 久碰视频| av大片在线| 综合色久| 日本综合99| 免费看欧美成人A片无码| 狠狠色丁香| 婷婷久久综合| 久久久国产精品黄毛片 | 欧洲区自拍| 色99最新网址| 99碰视频| 亚洲婷婷视频| 五月丁香花激情综合网| 亚洲一二三网| 丁香五月成人自拍| 亚洲啪视频| 婷婷五月情| 成人在线精品| 五月丁香啪啪啪啪| 激情综合网 激情五月天| 丁香婷婷啪啪啪| 婷婷色狠狠| 五月天 另类图片| 亚洲激情免费视频观看| 成人丁香五月| 久热爱大香蕉在线蜜臀悦色 | 这里只有精品在线观看视频| 91丨九色丨国产打屁股| 91无码色色| 色香蕉精品五夜婷| 激情综合色图| 五月天在线视频尤物视频在线看| 九九色播五月丁香| 日韩成人精品中文字幕电影| 五月丁香六月婷婷啪啪| 色婷久| 丁香婷婷六月激情文学 | 人妻尝试久久久久久久久久久久| 五月天成人在线播放| 亚洲色夜| 超碰狠狠干99| 色欲av伊人久久大香线蕉影院| 日本久久精品| 婷婷丁香在线播放| 成人在线99| 日韩黄在免| 丁香五月九九| 亚洲激情高潮| 婷婷五月丁香久久| www.seqingwuyuetian| 天天操五月天| 日本成人噜噜噜噜噜| 五月天婷网| 99热97| 丁香五月天啪啪| 色五月综合激情网| 久久久妻人人人| 99热12| 丁香婷婷五月六月久久| 国产av第一专区| 久久久婷婷五月亚洲97号色| 久久这里只有欧美| 九月婷婷综合| 婷久久| 四色 爱 婷婷 精品 亚洲 五月天| 婷婷五月花西瓜| 婷婷性爱网| 日韩av一区二区在线/日产精品久久久| 影音先锋91视频| 色婷婷久久综合| 夜夜撸天天日| 国产亚洲精品AAAA片APP| 91大屁股精品| 天天色天天爱天天爱天天爱y| 久久狠狠干| 婷婷久久综合| 狠狠舔| 久久婷婷综合五月趴| 激情五月影院| 亚洲天堂爱爱| 五月丁香成年黄色| 日韩久综合| 五月婷婷精品视频| 五月婷婷色| 丁香五月色激情| 涩涩涩,com| 夜夜骑天天操| 九月色婷婷综合亚洲| 开心婷婷五| 影音先锋偷偷色男人站| 国产古装妇女野外A片| 丁香五月婷婷激情网| 久久婷婷五月综合色和| 任你弄在线视频免费| 91色在线/日韩| 日韩色五月| 亚洲视频一区| 第二色AⅤ| 九九综合伊人| 性日本激情| 狠狠久久婷婷| 狠狠干无码| 综合天堂AV久久久久久久| 国产超碰在线| 精品人妻伦一二三区久久| 久久精品五月天| 激情五月丁香六月| 色五月丁香com| 狠狠色丁香综合| 97精品综合| 五月丁香花激情综合网| 色色色五月婷婷| 伊人久久大香蕉网| 五月丁香综合在线| 五月激情四射婷婷丁香| 日韩成人免费电影| 2025最新亚洲激情在线| 日逼影音先锋男人AV资源站| 丁香五月六月欧美| 99热日本精品| 日本激情91| 大香AV| 热久久99热欧美国产亚洲| 亚洲成人影视在线| 99综合色| WWW,五月| 26uuu| 性爱综合网| 99久久6| 色五月首页| 日本三级黄色大片| 色五月激情综合网| 丁香六月婷婷| 这里只有精彩视| 亚洲成人av在线观看| 丁香 婷婷 亚洲 熟女| 91麻豆国产三级精品福利在线观看| 色亭亭五月天网扯| 影音先锋91视频| 五月天亭亭俺也| 香蕉乱插| 亚洲色综合| 五月婷婷六月丁香激情综合网| 另类少妇人与禽zOZZ0性伦| 久久久天堂国产精品女人| 狠狠色丁香久久久婷| 丁香五月婷婷网| 国产精品日日躁夜夜躁| 99综合视频一体| 综合在线丁香五月| 91精品啪| 99热在线播放| 日韩AAAAA| 久久婷婷五月综合啪| 99久久婷婷五月综合| 亚洲精久久| 激情婷婷五月天| 欧美婷婷五月无砖| 激情婷婷网| 五月天色婷婷综合| 看黄的网站18禁| 婷婷丁香综合网| 人人摸人人| 99视频超级精品| 91国产精品视频播放| 97久久精品| 六月色日韩| 99热亚洲只有色| www.99精品在线| 天天五月丁香五月| 五月天怕怕| 激情五月天婷婷五月天| 99er在线观看| 在线播放中文字幕| 特黄三级又爽又粗又大| 激情综合久久| 久99久热| 欧美人人草| AV在线大香蕉| AV变态另类一区二区| 香蕉久久国产AV一区二区| 婷婷五六日| 99re最新地址| 五月天成人伊人| 久久丁香九| 婷色五月天| 亚洲综合五月| 激情五月天之五月婷婷| 激情综合无码| 久99精品视频| 婷婷最新地址| 99精品在线观看| www.夜夜| 激情综合网,婷婷五月天| 黄色成人网站在线播放| 97丁香视频| 少妇大叫太大太粗太爽了A片| 婷婷久久五月天| 26uuu激情五月天| 五月天丁香成人社| 六月丁香婷婷综合影院| 欧美日韩婷婷五月天| av久热| 这里只有精品免费视频在线观看 | 色色五月婷婷| www99在线观看视频| 六月天丁婷婷| 人妻肉射免费观看| 丁香成人综合| 插插插色综合网| 色欲色天天香综合| 超碰人人99| 91一起操| 色五月偷偷| 性爱在线播放av| 色欲丁香| 9 1超碰九色| 黄色一级影片| 激情99| 成人网站av免费网站推荐| 色婷狠狠| 99色| 色五月天激情| 日本三级中国三级99人妇网站| 伊人狠狠色婷婷综合丁香一区| 精品一二三区久久AAA片| 五月丁香亚洲综合| 久久久免费精彩视频| 《蜘蛛女》梁铮1995| 蜜桃五月天色| 天天做天天爱综合| 婷婷五月天久| 色色色色区| 日本成人内射| 99久热在线精品99re6热| 熟女少妇内射日韩亚洲| 666555。COm毛片| 亚洲乱码日产精品BD在线观看| 激情性爱五月天| 欧美日比视频| 伊人99热| 成人做爰A片免费看视频| 日韩成人AV在线播放| 女人天堂AV| 少妇性按摩无码中文A片| jiqingliuyuetian| 人妻久久久久久| 五月综合无码| 亚洲在线综合| 色婷婷婷婷| 99热这里只有精品首页| 国产欧美熟妇另类久久久| 天天日夜夜爽| 婷婷丁香五月社区亚洲| 日亚二欧美| 丁香五月婷婷婷桃花影院| 久久一伦| 97碰啪啪| 亚洲综合网激情小说| 五月色欧洲| 丁香五月中文字幕| 久久激情综合| 色色色.COM| 九九大香蕉黄色影院| 婷婷色九月| 天天天天天天操| 99成人| 男女啪啪视频久 9| 亚洲区视频| 丁香五月婷婷色| 五月婷婷六月激情| 操碰久| 丁香六月婷婷综情欧美| 久久精品视频9| 99在线免费视频| 丁香婷婷基地| 自拍视频99| 99无码超碰| wwccc久久久| 五月丁香六月婷婷欧美综合| 五月天开心激情综合网| 91九色无码内射| 欧美在线操| 五月丁香六月欧美综合| 色色色综合| 色五月婷婷五月天| 色色色婷| 五月天激情视频五月天| 五月香婷婷| 亚洲色区17| 色婷婷XXXXX| 丁香六月婷婷姐网| 91啪啪视频| se婷97| 亚洲婷婷在线播放十月| 久热只有精品| 婷婷五月丁香青青草在线| 日韩精品成人在线| 婷婷五月天另类网站| 97碰在线| 婷婷综合九月| 婷婷开心激情综合五月天| 婷婷五月激情的图片| 亚洲亚洲人成综合网络| 成人短视频在线| 深爱五月日韩| 人妻丰满精品一区二区A片| 99热全是精品| 色操b| 天天射影院| av操一操| 久操大屁股女人av| 五月天黄色激情小说| 精品久热| h亚洲| 我要射综合| 天天爽天天操| 色五月综合激情| 色五月丁香六月欧美综合| 婷婷五月在线视频| 丁香成人五月天| 五月丁香偷拍| 加勒比久热| 五月丁香六月婷婷色| 成人精品在线| 亚洲精品影视| 97色久| 久久五月婷综合网| 99爱在线精品视频免费观看| 久热A片| 99 频99热国里只有精品| 午夜免费试看| 色色五月天激情| 五月婷婷综合网| 超级碰 久久9| 99热这里只有精品22| www,999日本色| 激情99热| 8090在线影视少妇| 婷婷六月开心网| 五月丁香综合在线| 成人深爱丁香五月| 国产99久久久国产精品免费看| 91九色在线| 五月婷婷与六月丁香图片激情| 成人一区在线观看| 日日日日日| 色色九区| 色婷婷88| 91久久久久久| 婷婷五月天成人网| 婷婷丁香人妻| 一级视频网址| 色五月天成人| 婷婷爱爱蜜臀天天操| 夜夜骑天天操| 9久久久久| 97热视频| 五月激情视频网| 色播播之激情五月婷婷| 99这里有精品视频| 99精品爱| 婷婷色基地在线看 | 国产色色网站网址| www.97视频| 丁香社区婷婷五月| 日韩黄色电影| 九九色精品| 欧美天天爽| 九九伊人网| 欧美日韓成人亚洲精品另类| 久久九九激情五月天 | 99热官网| 五月综合久久| 爱久久小说下载网| 丁婷婷五月天在线播放| 9久精品视频| 激情五月婷婷视频一区二区三区| 色狠狠伊人久久五月丁香| 成人免费黄色短视频| 六月婷婷国产| 色九九综合热99| 婷婷金品综合视频| 久久机只有这里精品| 亚洲AV成人精品网站在线播放| 骚货艹网站视频| 视频在线免费观看欧洲乱码| 超碰久热| 五月丁香花激情综合网| 99热在线精品播放| 草草色情综合网| 桃色五月天| 2014天天爽| 久久婷婷五月丁香蜜桃网| 色五月在线播放| www超碰| 欧美成人猛片AAAAAAA| 人人爱人人摸人人澡| 99干视频| 91男同视频| 日本美女五月天| 婷婷激情五月天激情在线| W色综合| AA久久| 夜夜噜夜夜奇| 色伊人婷婷| 99在线精品免费视频| 噜一噜在线| 色波激情五月天| ZpRSw| 五月丁香啪啪网| 久久婷婷五月草视频| 91丨九色丨熟女丰满| 色色热| 亚洲色另类| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色蜜婷婷| 精品成人在线| 99性爱视频| 日本高清综合网五月丁香| 日日干日日色| 99热新网址| 久久久天堂国产精品女人| 天天综合五月| 五月婷婷开心综合| www,欧美干干干干干干| 色五月网址| 亭亭丁香97| 97色色视频| 婷婷五月天情色| 亚洲婷婷激情888精品久| 九九热中文| 五月婷婷综合天天操| 五月丁香天堂网| 5月婷婷6月六月丁香| 啄木鸟黑丝一区二区| 91丁香五月| 久久久日韩特色特黄AAAA| 六月激情婷婷| 99色热| 五月婷婷丁香五月| 五月婷婷 激情五月| oumeisesewang| 97色片| 97婷婷在线视频| 99热每日| 久久久宗合视频88| 成人国产欧美大片一区| 天天综合色| www.国产色| 成人av在线网址| 五月婷婷69| 亚艹艹| 久色网五月| 伦乱美欧| 色色99色色| 五月丁香网av| 就要去操亚洲成人精品五月天丁香婷婷| 色婷婷偷拍| 久xxxx| 九九精品婷| 精品九九九久| 狠狠色婷| 五月婷婷www| 一区二区传媒视频| 狠狠久综合| 综合久久伊人| 色一情一乱一乱91Av| 牛牛色av| 色私五月婷婷| 色婷婷综合久久久久| 91porn一起草| 99福利导航| 久久久久8888| 91色久| 他改变了拜占庭| 99热国品免费| 丁香五月婷婷色五月| 丁香五月综合色婷婷| 色婷婷小说网| 久久久国产精品黄毛片| 欧美美美女性色视频| 国产精品久久久久久久久久| 五月婷婷六月丁香在线| 激情五月天综合网| 5月丁香美女影院| 欧美A片在线视频免费观看| 七月丁香婷婷 色色| 色啦啦视频| 久久久久久婷| 久久亚洲天堂| 亚洲久热| 巴基斯坦粉嫰无码视频| 五月婷婷丁香瑟瑟视频| 日本色色网站| 可以免费观看的AV| 久婷狼色诱惑在线| 色婷婷色情| aaaaa黄色| 六月婷婷狠狠色在线观看| 翔田千里无码| 日日撸夜夜操| www.色婷婷| 99干日日干| 日本一区二区三区精品视频| 成人一级片| 狠狠五月激情在线| 日日舔夜夜操| 大香蕉婷婷| 99久久人妻精品无码二区| 在线中文字幕免费视频| 激情综合五| 激情婷婷五月天伊人在线观看| 天天干天天叉| 91狠狠色| www.99色在线| 97人人操人人爽| 高清无码一区二区三区四区| 久久思思热| 99热99在线| 丁香五月伊人| 激情小说五月天| 色婷婷亚洲在线| 99精品国产在热久久婷婷| 亚洲九区| 91在线看免费 九九九九| 婷婷五月av| 五月婷婷六月婷| 六月丁香久久| 综合综合网| 五月天婷婷社区| 婷婷导航| 9热在线观看| 99热这里只有精品23| 五月天婷久精视频| 做爰丰满少妇1313| 婷婷午夜丁香| 香蕉AV777XXX色综合一区| 亚洲欧美婷婷五月色综合| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷五月成年人| 色五月播五月| 婷婷五月色综合香五月| 婷婷丁香社区网| 亚洲综合激情五月久久| 国产美女无遮挡裸体毛片A片| 吊色AV男人的天堂| 丁香五月欧美色综合| www.色五月| 综合网色综合| 6080av| 婷婷中文字幕| 99热费观看| 日日撸日日操| 五月天婷婷久久| 人人综合久| 思思 热 99| 嫩BBB搡BBBB榛BBBB| 天天搡日日搡aaaaⅩ| 色情五月停停丁香| 高清资源站日A美A欧亚…| 午夜丁香| 色情久久久| 婷婷五月丁香激情图片| 思思热性操| 99精品视频免费观看| 日韩99视频| 色综合色色| 蜜臀综合久草| 玖玖精品视频99| 九九热精品在线| 91丨九色丨国产打屁股| 色色激情网| 91视频免费后入强操| 五月激情丁香| 久久加勤综合| www五月天激情com| 五月婷婷丁香日韩在线| 五月天久久成人| 婷婷五月丁香五月| 99re这里只有精品国产99| 怡红院视频| 新97人人上人人| 久久性刺激| 欧美黄色AA片哗啦啦啦| www九月婷婷| 五月婷婷欧美激情| 久久久久久久久18久久| 伊人深爱综合| 色吊丝99| 九九婷婷五月天| 91精品久| 婷香五月激情视频| 丁香六月婷婷综合啪啪| 婷婷五月色综合| 久久狠狠干| 激情综合网五月丁香| 在线成人网址| 婷香五月激情视频| 伍月婷丁香婷| 亚洲日韩乱码一区二区三区四区| 丁香婷停五月激情综合深爱| 久久久久久久久18久久| 五月天涩涩| 五月天丁香综合在线| 人妻久久久久久| 六月婷婷啪啪| 欧美成人A片AAA片在线播放 | 婷婷四色五月| 国产乱码久久| 国产精产国品一二三在观看| 99综合一区| 色色色五月| 五月丁香激情综合啪啪| 国产激情综合| 五月天电影网| 五月丁香六月综合激情无码软件亮点| 2015超碰| 日本天天操| 婷婷丁香视频| 丁香五月婷婷婷桃花影院| 久久99久久99精品免观看粉嫩| a在线观看| 日本三级大片| 色婷婷AV久久久久久久| 任你操精品免费| 亚洲色热| 婷婷激情五月天小说| 99精品网址| 亚洲综合成人网| 五月丁香婷婷综合激情基地| 激情五月天婷婷色色色色色色色色色色色| 97碰| 色五月激情基地| 色99婷婷五月天| 丁香婷婷久久| 99热这里只有精品69| 色婷婷五月天偷拍| 日本久久精品| 在线不卡AC| 日韩久热| 婷婷免费无视频| 铁牛TV人妻| 中文字幕按摩做爰| 天天操天天干天天日| 思思久久网| 日韩精品VIP| 无码任你操| 亚洲激情.com| 青草性爱视频| 99爱爱网| 91丨九色丨首页| 欧美日综合| 久久激情五月网| 色五月激情网| 五月久久| 久久在线视频免费观看| 色99色| 色婷婷丁香五月色综合网| 亚洲网视屏| 婷婷九月丁香中文| 婷婷激情四射| 日本美女上人| 婷婷五月天综合小说网| 丁香五月综合激情久久潮喷| 婷婷九月狠狠色| 久久色大香蕉| 婷婷欧美| 超碰免费大香蕉| 五月丁香基地| 综合激情网五月激情| 91综合在线视频| 99综合97| 天天插天天插| 91狠狠色丁香婷婷综合久久| 精品久久人妻| 欧美激情综合色综合色| 亚洲激情免费久久| 五月丁香激情四射综合| 97人妻人人| 日本黄色三级片内射| 日日夜夜天天综合| 日韩99视频| 婷婷五月天在线观看免费| 久久久er热| 综合久久婷婷| 超级碰碰91| 色五月色情| 2018夜夜草| 天天射综合网站| www.夜夜.com| 天天日中文| 婷婷五月久久| 思思久久网| 99啪啪视频| 2020日日干| 综合久久五月天| 性色99| 人妻操在线看| 天天拍久久| 五月社区丁香| 成人色五月天| 天天色综合色| 99热国产在| 婷婷五月天最新综合你懂的 | 激情超碰网| 国产免费一区二区三州老师F1……| 无码人妻少妇色欲AV一区二区| 色屌丝中文字幕| 99久热这里只有精品| www.97碰碰com| 五月天停婷基地| 激情图片久久| 欧洲亚洲免费视频9| 色婷婷88| 五月婷婷色情| 九九av| 99热在线看| 久久激情五月婷婷| av无码电影| www.五月.com| 97超级碰碰碰| 激情无码网| 久久久久er热| 婷婷五月天综合AV| 久久色婷婷| 91操碰| 婷婷五月天小说| 极品少妇高潮啪啪AV无码| A片试看50分钟做受视频| 欧美日本免费一道免费视频| 久热精品免费视频4| 97色综合视频| CAoub青青超碰| 99久在线观看| 日本a片网址| 在线色五月婷婷| 五月婷婷狠狠干| 激情五月丁香亭亭| 97狠狠色| 国产精品99久久久久久久女警| 人妻丰满精品一区二区A片| 久综合4| 停停五月色宗合| 九九AV在线| 精品五月丁香| 色五月视频,小说| 久久丁香五月天| 欧美内射AA| 国产成人精品一区二区三区视频 | 国产精品久久99| 久久精品国产一区二区三区四区| 涩婷婷五月天| av在线观看网站| www.色综合.com| 99久在线精品99re8| 色婷婷丁香五月| 91九九九九九九| 1024操逼视频| 五月天六月天| 五月天色不卡| 天天日天天摸| 色婷婷激情视频| 美女网黄| 五月丁香六月欧美| 欧美影院| AA片在线观看视频在线播放| 五月天大香蕉视频| 久99| 成人电影丁香六月天| 久婷婷婷| 色色色色欧美| 精品久久9| 青草热视频这里只有精品| 天天肏高清在线| 图片区 小说区 区 亚洲五月| 丁香六月婷婷久久亚洲天堂| 婷婷五月丁香基地在线视频官网| 久久五月激情| 在线综合网| 超碰在线资源| 婷婷久久五月| 久色五月丁香视频| 99ER热精品视频| 久热免费视频| 久久久久思思热| 色五月激情问网站| 亚洲色图45p| 五月激情天| 999热这里只有美国精品| 欧美99热| 日韩1区2区| 极品少妇高潮啪啪AV无码| 第四色网婷婷| 五月丁香色狠狠干大屄| 成人av免费观看| 久热精彩视频98| 思思网站| 午夜一区| 婷婷综合九月| 99热精品一| 九九亚洲| 92久久| 综合激情视频| 狠狠五月婷婷| 婷婷五月天美女| 婷婷成人五月天| 色插人人| 开心婷婷五月天电影院| 久操热| 99久久.www| 99热这里只有精品无码| 亚洲va综合va国产va中文| 激情丁香六月| 久久久这里有精品| 国产精品成av人在线视午夜片| 欧美这里只有精品| 综合久久99| 激情婷婷五月| 99热8| 在线只有精品| 狠狠干,狠狠操| 天天色噜| 超碰在线观看成人视| 久久久久久久久久久97| 婷婷五月久久| 国产古装妇女野外A片| 激情五月天婷婷图| 久婷五月| 中文字幕九九九九| 伊人玖玖婷婷| 99久久.www| 六月婷婷在线| 人操91在线| 亚洲人成人五月天| 丁香五月婷婷色综合| 99热日本| 屁股翘好撅高迎合跪趴| 色综合天天网| 欧美丰满熟妇BBB久久久| 亚洲综合在线伊人婷| 日本一级一级一级一级| 99色婷婷| 婷婷六月综合激情| 综合激情伊人影视在线| 婷婷开心激情| 伊人婷婷青青cao| 久久99热这里只有精品| 亚洲九九夜夜| 人人干av| aaaaaa片| 国产精品18久久久| 99久久综合精品五月天| 色欲五月丁香| 五月婷婷六月开心| www.91AV.com| 亚洲欧美丁香五月天亚洲欧美| 婷婷六月综合基地| 精品成人在线观看| 99久在线精品99re8热| 久久六月综合| 狠狠操天天操| 综合福利网| 久久这里只有精品22| 在线中文av| 99秘 在线| 女人被男人吃奶到高潮| 丁香六月啪啪| 精品香蕉99久久久久网站| 色青五月天| 欲求不满的人妻| 九九这里只有精品| 色婷婷丁香| 99精品无码| 天天日天天日天天搞| 五月天婷婷激情四射综合| 狠狠综合网| 婷婷久久五月| 欧美S码亚洲码精品M码| 丁香婷婷色五月天| 色婷婷精品视频| 亚洲天堂久久| 手机看片日日做夜夜| 色婷婷亚洲综合天堂| 精品人妻伦一二三区久久| www久久99| 少妇搡BBBB搡BBB搡毛茸茸| 久久九九在线视频| 99热线观看9| 开心五月网 | 五月婷婷六月丁香| 无人区码一码二码三码医生系列| 日日日天天干| A片一曲| 最新高清无码专区| 激情婷婷五月| 婷婷五月色播| 精品色色网| 日本3级片一区2区| 天天做天天爱天天高潮| 五月天激情美女久久| 熟女91九色| 天天干天天做| 丁婷婷五月天在线播放| 激情文学 综合 色| 男同色五月开心五月激情五月| 五月丁香激情综合啪啪| 日本本土色网第一区| 天天肏天天舔AV| 超碰人人色| 四色女婷婷| 九九99九九99偷拍视频免费看| 精品一二三区久久AAA片| 天天五月天综合网址| 色狠狠狠干| 丁香五月综合激情久久潮喷| 少妇激情五月天| 婷婷 月 丁香| 丁香五月1页| 人人草碰| 99这里只有精品| 2017狠狠干| 激情五月com| 玖玖婷婷五月天| www.cao.com久久| 99热这里| 97五月久久丁香婷婷| 婷婷五月色丁香在线看| 97精品综合久久| 国产综合A片| 亚洲AV免费在线| 国产精品爽爽久久久久久| 五月丁香综合精品| 大香蕉久艹| 葵花AV在线| 97碰碰碰免费公开在线视频| 99久久久久久| 亭亭五月天成人| 99久久国产宗和精品1上映| 七七九色| 亚洲视频码| 蜜桃五月天| 99啪啪视频| 激情图片五月天| 玖操97| 草操网| 五月色网| 大香蕉狼人久久| 在线中文字幕免费视频| 色五月综合| 色五月激情网| 丁香五月成人| 丁香涩涩爱| 五月天激情日色在线| 国产精品久久久99视频| 九九re精品视频在线观看| 丁香五月婷婷高清| A片天天| 欧美色综合天天久久综合精品| 综合色图区| 久久久五月五丁香| 热99在线| 久久久久人妻精选| 色色色色色色综合| 情欲综合网| 国产亚洲精品人人| www.yw尤物| 色综合久久综合中文综合网| 欧美色偷拍| 97爱综合| 亚洲国产网站| 久久精品日| 七七色综合| 五月丁香色停停啪啪啪| 国外亚洲成AV人片在线观看| 五月天成人综合| 六月婷婷综合| 五月婷婷六月色| 亚洲综合一区二区| 国产激情视频在线观看| 九月婷婷丁香| 婷婷九月丁香天堂丁香天堂| 久久久久久久久久久久久久久久一道本| 天天肏视频| 99久久99九九九99九他书对| 婷婷五月电影| 丁香五月婷婷AV| 在线成人网址| 97久久视频| 天天骑天天操| 色吧综合网| 五月激情综合网| 99国产精品久久久久久久久久久| 狠狠操狠狠插| 久久人妻熟女一区二区| 免费观看欧美成人AA片爱我多深| 538在线精品| 久久综合久色欧美综合狠狠| 婷婷D区| 亚洲成AV人片在线观看| 热久91| 天天干,天天操,天天射| 91操在线视频| 九九成人精品免费视频| 99热香港| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 丁香婷婷六月天| www色五月天| 日欧大屏操| 久超超碰| 99精品免费视频| 日本少妇裸体做爰高潮片 | 色之综合网| 99亚洲大片精品永久在线观看| 五月天在线视频尤物视频在线看| 99视频在线精品免费观看2| 婷婷成人视频| 亚洲九区| 亚州美女| 超碰啪啪网| 91久久精品无码一区二区三区| 色色五月婷婷| 日韩成人精品一区久久久久| 天天插AV丝袜中| 99欧州偷拍视频| 天天综合精品| 99久久婷婷综合| 久久精品婷婷| 中文不卡一二区| www.粉嫩av.com| 久久久久亚洲AV无码网影音先锋| 狠狠婷婷色综合| 色婷婷丁香五月| 97人人做| 天天射影院| aV欲望人妻中文字幕| 99热老网站| 婷婷久久六月费| 五月天社区| 婷婷色网| 亚洲黄色av网站| 激情婷婷五月久久| 欧美丁香五月天| 另类激情综合| 国产精品天天狠天天看| 亚洲午夜Av| 色情·com| www.99热这里精品| 亚洲色婷婷| 色婷婷色综合| 久思思热视频在线观看| 天天橾夜夜爽| 婷婷五月天小说网| 99精品丰满| 成人噜噜网| 亚洲亚洲永久无码777777| 99re热视频这里只精品| 丁香六月成人| 91操人视频| 拳交大逼| 婷婷色色五月天| 九月婷婷综合网| 日本特黄aaaaa| 99riAV国产精品视频| 色婷婷呢狠禁久禁| 丁香花色色网| 色色色成人网| 激情五月婷婷| 欧美三级欧美一级| 天天色综合网吨吧| 99精品综合视频| 色婷亚洲五月丁香| 六月婷五月丁香| 成人丁香五月| 天天射色五月天| 丁香六月 人妻| 九九九九毛片| 九月婷婷激情久久| 五月激情另类| 丁香五月婷婷基地| 啪啪五月婷婷| 色五月天综合| 久激情网| 国产VA亚洲VA96| 996er热| jiqingliuyuetian| 激情综合激情综合| www.色色五月天.com| 激情四射五月天| 亚洲高清在线| 九月丁香久久网| 婷婷综合中文| 婷婷五月成年人| www.91色| 激情久久 婷婷| 色婷婷五月天不卡| 狠狠精品干练久久久无码中文字幕| 成人精品人妻| 深爱激情丁香| 十二区无码| 婷婷综合成人五月天| 狠狠色成人影片| 99久在线观看| 丁XX 成人| 中文av在线观看| 五月婷婷六月基地| 国产精品日本一区二区在线播放| 久久66er久久| 婷婷六月色| 久久久宗合| 99色视频| 99re青青草| 丁香六月婷婷综合欧美| 91九色PORNY大屁股| 3p日韩网站视频| 丁香六月婷婷久久综合| 久热这里只有精品性色AV| 国产成人网站在线观看| WWW99热| 久久综合影院 | 少妇出轨做爰高潮A片| 六月婷婷之青青草| 五月婷婷婷| www.色五月| 九九热最新地址| 九九激情综合| www.超碰| 九九国产视频| 五月天婷婷社区| 天天色月| 99ri精品| 草美女在线观看视频在线播放| 欧美日韩99| 亚洲第一色色色色| 亚洲亚洲人成综合网络| 久久这里只有精品5| 97人人操人人插| 六月婷婷影院| 综合网精品99| 亚洲视频伍月婷婷| 婷婷五月欧美| 婷婷五月天播播| 综合性爱网| 五月丁香av中文| 亚洲色色色色色色色色色| 99性爱| 亚洲激情99| 岛国在线观看91| 五月天激情av| 精品九九网| 夜色综合网| 99人妻碰碰碰久久久久禁片| 99热网站| 亚洲激情五月婷婷日日| 久久综合99综合| 色五XX| 99九九热视频| 大香蕉久| 久er7久热| 五月天丁香婷婷视频网址| 99r这里只有精品在线观看| 色色婷婷婷丁香五月天| 日韩在线视频网站| 五月丁香综合啪啪| 午夜不卡久久精品无码免费| 久久欧洲综合网| 激情婷婷综合网| 色爱综合网| 丁香五月天人体| 狠狠爱婷婷五月天| 啪啪操超碰| 深爱激情网五月| 99久久婷婷国产综合精品电影| 五月天婷婷7米| 国产成人网| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 99爱视频精品| 精品一二三区久久AAA片| 五月婷婷六月综合| 亚洲国产成人在线| 精品人妻伦九区久久AAA片| 少妇人妻综合色6699| 日本一级一片免费视频| 婷婷色在线| 人人妻久久妻| 五月丁香婷婷啪啪| 99re思思精品视频在线观看| 五月婷婷激情网| 五月天婷婷色五月天| 99久视频| 在线观看熟女少妇| 色色色色网站| 久久综合丁香| 丁香五月婷婷在线| 2025天天操| www.99色| 狠狠婷婷日韩| 操人无码| 丁香六月激情综合啪啪| www.激情| 强奸幻女毛片| 色99在线| 99爱视频|