99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

SpringBoot異步調(diào)用實戰(zhàn):@Async線程池、WebFlux與消息隊列全解析

SpringBoot異步調(diào)用實戰(zhàn):@Async線程池、WebFlux與消息隊列全解析 1. 為什么要做異步調(diào)用從一次接口超時說起先講一個真實的場景。之前我給某個后臺管理系統(tǒng)做導(dǎo)出功能用戶在前端點了一個“導(dǎo)出報表”后端同步去數(shù)據(jù)庫里查幾十萬條數(shù)據(jù)再拼裝Excel最后返回文件流。單次執(zhí)行時間普遍在15秒以上前端請求早超時了用戶反復(fù)點了幾次后臺直接堆了好幾個線程在處理同一件事。這個問題的根源不在代碼性能而是同步阻塞的調(diào)用模型。請求線程從接收到返回全程霸占著不放導(dǎo)出的耗時越長能用線程就越少數(shù)據(jù)庫連接池、Tomcat線程池都被拖累服務(wù)整體吞吐跟著掉。SpringBoot下的異步調(diào)用就是面向這類場景的標(biāo)準(zhǔn)解法把耗時操作丟給另一個線程去執(zhí)行請求線程立刻返回調(diào)用方不需要干等。本文會從三種主流實現(xiàn)方式展開基于Async注解的線程池異步、基于WebFlux的響應(yīng)式異步、以及消息隊列的最終解耦同時把實際開發(fā)中容易踩的失效、線程耗盡、上下文丟失這幾個坑一并講清楚。2. SpringBoot異步調(diào)用整體方案盤點2.1 同步、異步、阻塞、非阻塞幾個概念先理清聊異步之前得先把概念統(tǒng)一一下不然下面代碼容易看混。同步和異步說的是調(diào)用方的處理方式。調(diào)一個方法必須等它跑完才能繼續(xù)做別的事就是同步調(diào)用后立即返回結(jié)果通過回調(diào)、輪詢、Future或事件來獲取就是異步。阻塞和非阻塞說的是線程的狀態(tài)。線程在等待結(jié)果期間被掛起、不能做別的事就是阻塞線程發(fā)起操作后不等待繼續(xù)往下執(zhí)行就是非阻塞。“異步”不等于“快”它只是讓當(dāng)前線程不被拖住。真正省時間的是并行的計算資源所以異步方案幾乎必須配套線程池否則異步任務(wù)全堆在單線程里反而更慢。2.2 三套方案怎么選方案核心機制適合場景需要注意的點Async 線程池AOP代理 獨立線程池執(zhí)行方法業(yè)務(wù)代碼里局部耗時的操作比如發(fā)通知、寫日志、生成報表自調(diào)用無效、線程池參數(shù)要配好WebFlux 響應(yīng)式異步基于Netty事件循環(huán) 響應(yīng)式流高并發(fā)IO密集型接口網(wǎng)關(guān)層、數(shù)據(jù)聚合接口全鏈路要反應(yīng)式不能混用阻塞調(diào)用消息隊列異步生產(chǎn)者發(fā)消息消費者獨立處理跨系統(tǒng)解耦、削峰填谷、可靠投遞場景需要額外中間件要考慮消息冪等這三套方案不是互相替代的關(guān)系。一個大型項目里接口內(nèi)部會用Async處理局部任務(wù)核心入口用WebFlux扛流量系統(tǒng)之間再用消息隊列解耦各管一段。3. Async注解最常用的異步實現(xiàn)方式3.1 第一個Demo從配置到生效Async是Spring框架自帶的能力SpringBoot里用起來很方便。先在啟動類或者配置類上加上EnableAsync意思是開啟異步調(diào)用的注解掃描SpringBootApplication EnableAsync public class Application { public static void main(String[] args) { SpringApplication.run(Application.class, args); } }然后寫一個異步服務(wù)把需要異步執(zhí)行的方法用Async標(biāo)記Service public class NotificationService { Async public void sendSms(String mobile, String content) { // 模擬短信接口耗時 try { Thread.sleep(3000); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } System.out.println(短信發(fā)送完成: mobile); } }調(diào)用方正常注入Service調(diào)用方法就行RestController RequestMapping(/api/order) public class OrderController { private final NotificationService notificationService; public OrderController(NotificationService notificationService) { this.notificationService notificationService; } PostMapping(/create) public String createOrder() { // 訂單業(yè)務(wù)邏輯 notificationService.sendSms(138****1234, 您的訂單已創(chuàng)建); return 下單成功; } }運行起來請求接口后響應(yīng)立刻返回不會等那3秒。短信任務(wù)在獨立的線程里執(zhí)行這就是最基礎(chǔ)的Async用法。3.2 為什么Async能生效代理機制要明白這是理解Async的關(guān)鍵點也是后續(xù)排查失效問題的理論基礎(chǔ)。Spring容器在啟動時掃描到Async注解的方法會給Bean生成一個代理對象。當(dāng)我們從容器里拿到這個Bean并調(diào)用方法時實際調(diào)用的是代理對象代理對象會先把任務(wù)提交給線程池然后返回。也就是說異步邏輯是被“包裝”進(jìn)去的而不是你寫的那個方法本身變成了異步?;谶@個原理有兩個經(jīng)典結(jié)論第一Async方法必須被Spring容器管理也就是放在Service、Component這些Bean里。第二同一個類內(nèi)部調(diào)用帶Async的方法不會走代理等于直接調(diào)用原方法異步失效。后面第6部分我會專門講這個坑。3.3 自定義線程池讓異步任務(wù)跑在正確的線程上默認(rèn)情況下Async用的是Spring自帶的SimpleAsyncTaskExecutor這個類每次執(zhí)行都會新建一個線程沒有復(fù)用機制。高并發(fā)場景下線程數(shù)無上限增長系統(tǒng)資源很快耗盡。生產(chǎn)環(huán)境必須自定義線程池。推薦用Java配置類創(chuàng)建ThreadPoolTaskExecutorConfiguration public class AsyncConfig { Bean(taskExecutor) public Executor taskExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); // 核心線程數(shù)正常情況下常駐的線程數(shù)量 executor.setCorePoolSize(10); // 最大線程數(shù)高峰期最多能擴展到的線程數(shù)量 executor.setMaxPoolSize(50); // 隊列容量核心線程全忙時新任務(wù)先放隊列 executor.setQueueCapacity(200); // 線程名前綴排查問題時好識別 executor.setThreadNamePrefix(async-task-); // 拒絕策略隊列也滿的時候怎么處理新任務(wù) executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); executor.initialize(); return executor; } }參數(shù)大小怎么定這是被問得最多的。核心線程數(shù)參考機器的CPU核數(shù)和任務(wù)類型。IO密集型任務(wù)調(diào)遠(yuǎn)程接口、讀寫文件等待時間占比高核心線程數(shù)可以設(shè)成CPU核數(shù)的2倍以上CPU密集型任務(wù)大量計算設(shè)成CPU核數(shù)加1到2個就夠。設(shè)核心線程10、最大線程50、隊列200意思是正常情況下10個線程在跑任務(wù)多的時候先排隊隊滿之后才會把線程數(shù)往上提最多50個還是處理不過來就觸發(fā)拒絕策略。使用自定義線程池時Async注解里要指定名字Async(taskExecutor) public void sendSms(String mobile, String content) {如果不指定Spring會按類型查找默認(rèn)執(zhí)行器找到唯一實現(xiàn)類就自動使用。建議還是顯式寫名字多個線程池并存時不容易混。3.4 有返回值的異步調(diào)用Future與CompletableFuture現(xiàn)實中很多異步任務(wù)需要帶結(jié)果回來。Async支持Future類型的返回值最常用的是CompletableFuture。Service public class ReportService { Async(taskExecutor) public CompletableFutureString generateReport(Long userId) { // 耗時邏輯比如統(tǒng)計數(shù)據(jù) String reportContent 用戶 userId 的報表數(shù)據(jù)...; return CompletableFuture.completedFuture(reportContent); } }調(diào)用方可以主動組合多個異步任務(wù)public String handleReportRequest() throws Exception { CompletableFutureString reportFuture reportService.generateReport(1001L); CompletableFutureString otherFuture otherService.generateOtherData(1002L); // 等待兩個任務(wù)都完成并合并結(jié)果 String result CompletableFuture.allOf(reportFuture, otherFuture) .thenApply(v - reportFuture.join() otherFuture.join()) .get(30, TimeUnit.SECONDS); return result; }allOf會等所有任務(wù)完成后再執(zhí)行合并邏輯get方法設(shè)置超時時間避免任務(wù)卡死導(dǎo)致調(diào)用方無限等待。這里有一個細(xì)節(jié)CompletableFuture.join和get的區(qū)別。get拋受檢異常需要try-catch或向上拋出join不拋受檢異常直接在RuntimeException里包裝。業(yè)務(wù)代碼里我更習(xí)慣用get帶超時至少不會把控制權(quán)無限交給異步任務(wù)。3.5 異步任務(wù)的異常處理Async方法默認(rèn)的異常處理方式是如果方法沒有返回值異常會被吞掉日志里可能什么都看不到。這是新手最容易忽略的點。處理方案有兩種。第一種方法返回Future異常會封裝在Future里調(diào)用get時拋出由調(diào)用方處理。這種方式能讓異?;氐綐I(yè)務(wù)鏈路但調(diào)用方需要等待結(jié)果有些場景不算理想。第二種實現(xiàn)AsyncUncaughtExceptionHandler配置成自定義的異步異常處理器Configuration public class AsyncExceptionConfig implements AsyncConfigurer { Override public Executor getAsyncExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(10); executor.setMaxPoolSize(50); executor.setQueueCapacity(200); executor.setThreadNamePrefix(async-); executor.initialize(); return executor; } Override public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() { return (ex, method, params) - { // 這里統(tǒng)一記錄異常日志或者接入告警系統(tǒng) System.err.println(異步方法執(zhí)行異常: method.getName()); ex.printStackTrace(); }; } }注意如果實現(xiàn)AsyncConfigurergetAsyncExecutor里返回的Executor就是全局默認(rèn)的線程池所有沒指定名稱的Async都會用它。如果類里還有其他配置方式要避免兩個配置源互相覆蓋。異常處理選哪種取決于對這個異步任務(wù)結(jié)果的依賴程度。純通知類任務(wù)用自定義Handler記錄異常就夠了核心流程的分支任務(wù)建議返回Future讓主流程能感知失敗。3.6 Async與事務(wù)的疊加效果Async和Transactional同時使用時很多人以為事務(wù)會正常工作實際上需要分情況。Spring的事務(wù)也是通過代理實現(xiàn)的Transactional默認(rèn)只在當(dāng)前線程內(nèi)生效。Async方法把邏輯推到了另一個線程事務(wù)注解如果只寫在異步方法上事務(wù)還是有效的——只要事務(wù)管理器能拿到對應(yīng)的連接。但組合時的經(jīng)典問題是事務(wù)傳播。假設(shè)主方法開啟事務(wù)調(diào)用本類里一個被Async標(biāo)記的方法這個方法又寫了Transactional此時它跑在另一個線程里主線程的事務(wù)上下文傳不過去兩個事務(wù)互相獨立。如果異步方法內(nèi)部對同一數(shù)據(jù)做了修改主事務(wù)提交失敗時異步事務(wù)可能已經(jīng)提交了數(shù)據(jù)一致性就出問題了。實操建議把異步和事務(wù)當(dāng)成兩個獨立的邊界。事務(wù)管理交給主流程異步方法里的數(shù)據(jù)一致性靠消息確認(rèn)、狀態(tài)機或者定時補償來解決不要指望跨線程的兩個代理還能保持完整的ACID語義。4. WebFlux響應(yīng)式異步換一種執(zhí)行模型4.1 WebFlux不是“異步版的SpringMVC”有些人把WebFlux理解成“用起來更異步的MVC框架”這是不對的。WebFlux改變了底層的執(zhí)行模型。SpringMVC基于Servlet規(guī)范每個請求占用一個Tomcat工作線程線程阻塞時這個線程什么都不能干。WebFlux基于Netty事件循環(huán)用的是少量線程配合事件回調(diào)來處理海量并發(fā)請求。線程不阻塞等待而是注冊回調(diào)數(shù)據(jù)來了再觸發(fā)后續(xù)邏輯。所以WebFlux的高并發(fā)能力來自它極低的線程占用。同樣一臺機器MVC能扛幾百并發(fā)時WebFlux往往能扛幾千甚至更高前提是代碼里不能有阻塞調(diào)用。引入WebFlux在pom里加依賴dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-webflux/artifactId /dependency注意如果項目里同時引入了spring-boot-starter-webMVC要移除其中一個或者明確端口配置否則兩個容器會沖突。4.2 響應(yīng)式寫法的基本形態(tài)接口返回Mono或Flux類型表示這個結(jié)果是“未來某個時刻才會出現(xiàn)的”RestController RequestMapping(/api/user) public class UserReactiveController { private final UserService userService; public UserReactiveController(UserService userService) { this.userService userService; } GetMapping(/{id}) public MonoUser getUser(PathVariable Long id) { return Mono.fromCallable(() - userService.findById(id)) .subscribeOn(Schedulers.boundedElastic()); } }這個接口里findById這個阻塞型操作被丟到boundedElastic線程池里執(zhí)行而Netty事件循環(huán)線程立刻返回不阻塞。等數(shù)據(jù)查到了再通過回調(diào)把響應(yīng)寫回客戶端。4.3 響應(yīng)式鏈路的寫法規(guī)范響應(yīng)式異步的關(guān)鍵在于整條鏈路都要保持響應(yīng)式。如果Service層用的是JPA的findById這本身就是阻塞調(diào)用。把它包在Mono.fromCallable里的效果是異步線程執(zhí)行了阻塞查詢這確實能提升并發(fā)但底層依賴的還是線程池本質(zhì)上是“用線程池隔離阻塞”而不是真正的全鏈路響應(yīng)式。真正做到全鏈路響應(yīng)式要求數(shù)據(jù)訪問層也返回響應(yīng)式類型。比如用R2DBC訪問數(shù)據(jù)庫public interface UserRepository extends ReactiveCrudRepositoryUser, Long { FluxUser findByStatus(String status); } RestController public class UserController { private final UserRepository userRepository; public UserController(UserRepository userRepository) { this.userRepository userRepository; } GetMapping(/active) public FluxUser getActiveUsers() { return userRepository.findByStatus(ACTIVE); } }這種寫法下從HTTP入口到數(shù)據(jù)庫驅(qū)動全程沒有阻塞等待。每個環(huán)節(jié)都是“準(zhǔn)備好了就通知下一個環(huán)節(jié)”線程利用率極高。4.4 實際項目里的語句WebFlux適合網(wǎng)關(guān)層、聚合層比如給App提供統(tǒng)一的聚合接口同時調(diào)用訂單服務(wù)、支付服務(wù)、用戶服務(wù)的接口把它們的結(jié)果合并返回。每個下游調(diào)用都返回響應(yīng)式結(jié)果合并時用zippublic MonoOrderDetailVO getOrderDetail(String orderId) { MonoOrder orderMono orderClient.getOrder(orderId); MonoListPayment paymentMono paymentClient.getPayments(orderId); MonoUser userMono userClient.getUserByOrderId(orderId); return Mono.zip(orderMono, paymentMono, userMono) .map(tuple - { Order order tuple.getT1(); ListPayment payments tuple.getT2(); User user tuple.getT3(); return buildVO(order, payments, user); }); }三個下游調(diào)用并行執(zhí)行全部返回后組裝成VO發(fā)給客戶端。如果是MVC寫法這種聚合要么串行請求要么手動管理線程池代碼冗長且容易出錯。4.5 WebFlux的代價響應(yīng)式不是免費的午餐。它最大的問題是調(diào)試?yán)щy。傳統(tǒng)代碼的堆棧在線程切換后變得支離破碎異常信息經(jīng)常不會指向真正出問題的位置。響應(yīng)式代碼的學(xué)習(xí)曲線也陡峭flatMap、concatMap、switchIfEmpty這些操作符的語義不熟悉的人很容易寫出性能極差的代碼。我的個人結(jié)論是中小型項目業(yè)務(wù)邏輯復(fù)雜團(tuán)隊也沒有響應(yīng)式經(jīng)驗不要強行上WebFlux。用Async配合線程池改造局部痛點性價比高得多。WebFlux適合高并發(fā)、IO密集、業(yè)務(wù)鏈路清晰的下游聚合或網(wǎng)關(guān)項目。5. 消息隊列跨系統(tǒng)異步解耦5.1 什么時候需要消息隊列Async解決的是進(jìn)程內(nèi)的異步消息隊列解決的是跨進(jìn)程的異步。訂單創(chuàng)建后要通知積分系統(tǒng)、短信平臺、物流系統(tǒng)如果通過RPC同步調(diào)用任何一個下游出問題都會拖累下單主流程而且下游流量波動還會反過來擠壓訂單服務(wù)的資源。消息隊列的方案是訂單服務(wù)把“訂單創(chuàng)建完成”這個事件以消息的形式寫入隊列下單請求到這里就結(jié)束了。積分服務(wù)、短信服務(wù)分別訂閱這個主題各自來消費。訂單服務(wù)不再依賴下游的可用性下游也通過訂閱的方式解耦了與訂單服務(wù)的強綁定。流程訂單服務(wù)作為Producer發(fā)送消息到Topic消息隊列Broker持久化消息確認(rèn)收到積分服務(wù)、物流服務(wù)作為Consumer訂閱Topic各自消費消息更新自己的數(shù)據(jù)5.2 消息隊列和Async怎么配合消息隊列兩側(cè)都會用到Async。Producer側(cè)發(fā)送消息本身是快速操作但網(wǎng)絡(luò)異常重試時可能耗時所以發(fā)送邏輯可以用Async異步化避免阻塞業(yè)務(wù)主流程。Consumer側(cè)如果一次拉取到多條消息單條消息處理耗時較長可以在消費者內(nèi)部再用Async把每條消息的業(yè)務(wù)處理丟到線程池并發(fā)執(zhí)行提升消費吞吐。要注意的是消費端的并發(fā)度控制。如果消費者線程池開得太大消息處理太快可能壓垮下游數(shù)據(jù)庫。一般建議消費線程池的最大線程數(shù)跟數(shù)據(jù)庫連接池大小掛鉤保證線程數(shù)不超過連接數(shù)的上限。5.3 消息隊列的可靠性問題消息隊列把同步調(diào)用變成了異步通知同時也引出了一個新的問題怎么保證消息不丟、不重、不亂序。不丟Producer發(fā)送時開啟確認(rèn)機制Broker持久化完成后再返回成功Consumer消費后處理完業(yè)務(wù)再提交位點。不重消費端要做冪等因為消息隊列的語義是“至少一次”重復(fù)消費是正?,F(xiàn)象。常見做法是消費端先查本地狀態(tài)已經(jīng)處理過的直接返回成功或者用唯一業(yè)務(wù)ID去重。不亂序同一業(yè)務(wù)的消息要保證分區(qū)鍵一致讓它們進(jìn)同一個分區(qū)消費者單線程消費這個分區(qū)。這部分的坑主要集中在冪等上。很多項目剛開始只做了“不丟”沒做“不重”線上跑一段時間就發(fā)現(xiàn)重復(fù)數(shù)據(jù)。做消息隊列異步第一件要設(shè)計好的事就是冪等方案而不是消息發(fā)送本身。6. 三大高階問題失效、線程耗盡、上下文丟失6.1 Async失效的幾種常見場景熟悉了代理原理之后失效問題基本都能自己排查。最常見的失效場景有四種第一種方法通過this調(diào)用。比如一個Service里面methodA調(diào)用methodBmethodB標(biāo)了Async。因為this指的是原始對象而不是Spring代理所以Async不生效。解決辦法注入自身代理或者把異步方法拆到另一個Service里。第二種異步方法不是public。Spring的代理默認(rèn)只能攔截public方法private和protected方法不會進(jìn)入代理邏輯。第三種異步方法所在Bean沒有被Spring管理。比如自己new出來的對象Spring根本不知道它的存在。第四種配置類上沒有EnableAsync。這個看起來低級但項目里多模塊化之后經(jīng)常出現(xiàn)主啟動類掃描不到配置類的情況。6.2 線程池被打滿的排查方法異步任務(wù)量大時線程池可能被打滿任務(wù)進(jìn)隊列隊列也滿了觸發(fā)拒絕策略。CallerRunsPolicy會把這個任務(wù)交給調(diào)用方線程執(zhí)行看起來是“降級”但調(diào)用量巨大時會把請求線程拖死。排查時主要靠日志。所以自定義線程池時setThreadNamePrefix非常重要executor.setThreadNamePrefix(async-notify-);日志里搜async-notify線程能看到線程數(shù)是否接近maximumPoolSize隊列深度是否持續(xù)增長。如果隊列長期堆積說明核心線程數(shù)偏低或者任務(wù)量超過預(yù)期要調(diào)整參數(shù)而不是無限加線程。另外一個容易忽略的點是如果任務(wù)里都有數(shù)據(jù)庫查詢線程池配置不能只看服務(wù)本身的指標(biāo)還要看數(shù)據(jù)庫連接池的可用連接數(shù)。線程數(shù)設(shè)50數(shù)據(jù)庫連接池默認(rèn)只有1050個線程同時查庫10個持有連接剩下40個在等待這比不異步還要糟糕。線程池參數(shù)必須與會話外資源聯(lián)動評估。6.3 異步線程里丟失請求上下文Async方法里需要拿到當(dāng)前登錄用戶信息、請求頭、traceId時經(jīng)常發(fā)現(xiàn)是null。這是因為請求線程的數(shù)據(jù)存在ThreadLocal里而異步任務(wù)跑在不同的線程上ThreadLocal不共享。常用解決辦法是裝飾器模式主線程在提交任務(wù)前把關(guān)鍵上下文拷貝一份傳給目標(biāo)線程。Spring提供了TaskDecorator接口可以優(yōu)雅地實現(xiàn)上下文傳遞Bean(taskExecutor) public Executor taskExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(10); executor.setMaxPoolSize(50); executor.setQueueCapacity(200); executor.setThreadNamePrefix(async-); // 任務(wù)提交時將主線程的上下文復(fù)制到子線程 executor.setTaskDecorator(runnable - { // 實際項目中這里會把請求上下文對象暫存 MapString, String contextMap copyContextFromCurrentThread(); return () - { try { setContextToCurrentThread(contextMap); runnable.run(); } finally { clearContext(); } }; }); executor.initialize(); return executor; }如果是Spring Cloud鏈路追蹤的場景也可以用類似方式把traceId從主線程傳到異步線程保證全鏈路日志能串起來。具體到邏輯執(zhí)行這段decorator是為了展示結(jié)構(gòu)實際會把traceId、用戶信息請求上下文做成一個線程私有對象。6.4 異步事務(wù)隔離與資源共享異步任務(wù)共享數(shù)據(jù)庫連接池、Redis連接池時要考慮資源競爭問題。之前幫別人排查過一個線上故障異步線程池核心線程從5調(diào)到了20數(shù)據(jù)庫連接池沒動結(jié)果每個異步任務(wù)里都有大約300ms的數(shù)據(jù)庫查詢20個線程同時查詢連接池不夠用主業(yè)務(wù)的請求也開始等連接整個服務(wù)響應(yīng)變慢。這類問題的排查步驟是看監(jiān)控里線程池活躍線程數(shù)看數(shù)據(jù)庫連接池活躍連接數(shù)看兩者是否存在明顯的共同增長趨勢計算單個任務(wù)的平均IO時間反推需要的并發(fā)度不要盲目調(diào)高線程池資源配置是聯(lián)動的關(guān)系。7. 常見問題速查與避坑清單下面這個表是根據(jù)我在項目中遇到過的真實情況整理的方便直接對照排查。問題可能原因解決思路Async方法同步執(zhí)行this自調(diào)用、方法非public、Bean未被Spring管理拆Service、改public、確認(rèn)包掃描異步異常無日志輸出方法無返回Future且未配置異常處理器自定義AsyncUncaughtExceptionHandler線程數(shù)暴增使用了默認(rèn)SimpleAsyncTaskExecutor自定義線程池并指定名稱隊列任務(wù)堆積核心線程數(shù)過少或任務(wù)量突增壓測后調(diào)參結(jié)合隊列容量一起評估異步方法內(nèi)用戶信息為空ThreadLocal無法跨線程傳遞使用TaskDecorator拷貝上下文接口偶爾變得很慢異線程池觸發(fā)了拒絕策略CallerRunsPolicy監(jiān)控線程池指標(biāo)動態(tài)調(diào)參異步事務(wù)數(shù)據(jù)不一致跨線程事務(wù)隔離導(dǎo)致主流程管事務(wù)異步靠補償WebFlux接口里用了Thread.sleep阻塞了事件循環(huán)線程改為非阻塞延時或換到boundedElastic補充幾個容易忽略的實踐細(xì)節(jié)每個異步任務(wù)都要有業(yè)務(wù)標(biāo)識。日志里把業(yè)務(wù)ID、用戶ID、traceId全部打出來排查問題的時候能直接定位到是哪個任務(wù)、哪個線程在跑。線程池參數(shù)要支持動態(tài)調(diào)整。生產(chǎn)環(huán)境用配置中心管理核心線程數(shù)、最大線程數(shù)壓測發(fā)現(xiàn)問題后可以在不重啟服務(wù)的情況下修改效果比改代碼快很多。異步任務(wù)要有熔斷或者降級方案。線程池滿時的拒絕策略不要只選一種結(jié)合業(yè)務(wù)的容忍度來選??梢詠G棄不重要任務(wù)DiscardPolicy也可以讓調(diào)用方自己跑CallerRunsPolicy但要做到心里有數(shù)知道每種策略的副作用。8. 異步調(diào)用的監(jiān)控指標(biāo)與可觀測性設(shè)計用了異步之后問題排查難度確實會上升。同步模式下一個請求從開始到結(jié)束是一條清晰的調(diào)用鏈異步線程切來切去傳統(tǒng)日志就斷了。所以異步用得越多可觀測性越要跟上。至少要監(jiān)控四個指標(biāo)線程池活躍線程數(shù)隊列積壓數(shù)量任務(wù)執(zhí)行耗時P99分位被拒絕的任務(wù)數(shù)量活躍線程數(shù)能看出線程池是否持續(xù)處于高水位隊列積壓數(shù)量能提前預(yù)警任務(wù)堆積執(zhí)行耗時能看出單個任務(wù)的健康狀況被拒絕的任務(wù)數(shù)量直接反映系統(tǒng)是否已經(jīng)超出容量。日志配合MDC來做traceId傳接我在上一部分提過用TaskDecorator傳上下文就是為了讓異步線程的日志也帶上同一個traceId。每個異步任務(wù)開始和結(jié)束時各打一條日志記錄線程名、任務(wù)名、業(yè)務(wù)ID、耗時自己畫一條時間軸基本能還原出任務(wù)執(zhí)行的完整路徑。監(jiān)控指標(biāo)都接好之后判斷線程池參數(shù)是否合理的依據(jù)就變得具體了。線程池穩(wěn)定在核心線程數(shù)附近、隊列偶爾積壓但能在幾秒內(nèi)排空這是比較健康的狀態(tài)。如果線程數(shù)長期貼近最大線程數(shù)、隊列持續(xù)有積壓說明系統(tǒng)已經(jīng)滿負(fù)荷了加線程不如削任務(wù)。9. 異步改造的實際落地順序不管項目里選擇哪種異步方案都不建議一次性大規(guī)模改造。我見過的所有改造失敗案例幾乎都是因為“把異步當(dāng)成了萬能的性能開關(guān)”一口氣把所有服務(wù)都標(biāo)成Async結(jié)果線上問題此起彼伏又不知道從哪里排起。比較穩(wěn)的推進(jìn)方式是分四步走。第一步盤點場景。把項目里所有耗時超過1秒的操作都列出來標(biāo)注它們是否依賴主流程的結(jié)果。比如發(fā)送短信、生成日志、統(tǒng)計數(shù)據(jù)這些明顯是分支任務(wù)適合異步化。第二步先做Async打底。給這些分支任務(wù)加上線程池和異步注解同時把異常處理器、日志、監(jiān)控配套做好。這一步投入小見效快也是積累異步經(jīng)驗最快的方式。第三步局部引入WebFlux。當(dāng)某個入口的并發(fā)瓶頸特別明顯比如聚合接口、網(wǎng)關(guān)入口而這個服務(wù)的業(yè)務(wù)鏈路又相對清晰這部分可以嘗試換成響應(yīng)式編程。不要一開始就把所有Service都改成Mono和Flux鏈路過深會讓改造成本成倍增長。第四步涉及跨系統(tǒng)的異步再上消息隊列。消息隊列引入的是整個中間件的運維成本如果沒有明確的削峰、解耦需求就不要為了用而用。10. 一點個人經(jīng)驗收尾做異步調(diào)用這些年最大的體會是異步方案從來不是技術(shù)問題而是取舍問題。它把當(dāng)前線程的“等待時間”轉(zhuǎn)移給了別的線程換來的是接口響應(yīng)速度的提升和系統(tǒng)吞吐量的改善代價是代碼復(fù)雜性、排查難度的上升以及分布式場景下一致性問題的新增。實際動手時我的習(xí)慣是先畫一張簡單的調(diào)用鏈路圖標(biāo)出每個環(huán)節(jié)的耗時、線程、依賴再考慮在這個鏈路的哪個環(huán)節(jié)插入異步。不看鏈路就動手加注解往往是在給系統(tǒng)埋雷。如果你剛上手SpringBoot異步調(diào)用不用急著把三套方案都吃透先在自己項目里找一個實實在在的痛點比如每次下發(fā)通知都阻塞請求、導(dǎo)出數(shù)據(jù)超時、日志寫入拖慢業(yè)務(wù)用Async配合線程池改造一遍把代理失效、上下文傳遞、異常監(jiān)控這幾個點親手踩一遍比看再多文檔都有用。工具選型也一樣沒有絕對最好的方案。進(jìn)程內(nèi)的異步優(yōu)先Async高并發(fā)聚合優(yōu)先WebFlux跨系統(tǒng)解耦優(yōu)先消息隊列。每個方案的代價不一樣選適合自己項目階段的已經(jīng)足夠。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品国产va久久久久| 夜夜骑天天操| 曰本aaaaaa丈片| 综合狠狠五月婷婷| 日韩人人操| 国产色五月| 4399无码视频二区| 婷婷欧美| 成人五月天婷婷| 日本在线视频播放91| 成人资源在线| 九九激情| m色激情网| 久久精品无码一区| 婷婷 丁香 精品| 操日视频| 国产成人精品一区二三区熟女在线| 五月情四婷婷| 超级碰碰视频无码| 五月天婷婷久久视频| 激情五月婷婷丁香六月| 老师的粉嫩小又紧水又多A片视频| 丁香五月天av| 色婷婷色综合激情91| 五月天丁香综合| 九九人人精品| 午夜不卡久久精品无码免费 | 激情婷婷综合网| 99久久五月婷婷| 欧美日比视频| 亚洲第一成人无码A片| 久久久久人妻中文| 自拍偷窥99热| 北京熟妇搡BBBB搡BBBB| 久久婷婷成人综合色怡春院| 丁香五月婷婷啪| 97很鲁在线视频| 日日干夜夜撸夜夜骑| 婷婷色婷婷| 人人操人人妻| 色情久久久| 婷婷 久综合| 在线视频婷婷| 五月激情六月宗合| www.日日夜夜.com| 人人爽在线视频综合网| 伊人久久大香天蕉亚洲特级| 激情深爱五月天| 97婷婷五月天| 婷婷五月色花丁香社区| 五月停性愛| 婷婷五月综合啪| 五月丁香美女| 日本久久视频| 99精品久| 久久久国产精品黄毛片| 五月天激情图片| 久久五月天黄色五月天色网址| 婷久久综合| 99这里都是精品6| 久久99这里| 热99在线精品| 怡红院院久久| 色五月婷婷中文字幕在线观看| 激情98色婷婷五| 日韩淑女人妻luan伦激情精品一区二| 丁香五月综合在线播放 | WWW.桔色成人.COM| 99热国品免费| av在线播放网址| 亚洲乱码日产精品BD| 青青草成人网| 天天综合亚洲综合| 91丨熟女丨首页| 天天操婷婷| 大香蕉丁香婷婷| 久久9视频| 丁香五月天堂网| 六月五月久久丁香| 欧韩性爱| 丁香五月婷婷基地| 91一道本| 五月婷视频| 五月丁香婷婷综合网| 色婷婷五月综合网| 天天色,天天操,天天射| 久久五月天合网| 色婷婷丁香AV综合| 色综合久久久无码中文字幕999| 九九热九九| 色色色无码| 色五月av伊人| 色色亚洲无码| 久久久久婷婷五月热综合| 久久色9| 开心五月色婷婷综合开心网| 激情五月天影院| 激情五月天com| 九月婷婷丁香| 色婷婷4| 黄色成人网站在线播放| 婷婷五月天综合久久| 婷婷色狠狠| 日产精品久久久久久久蜜臀| 69精品人人人人| 天天日天天干天天操| 激情网开心网| 五月婷婷六月激情网| www.粉嫩av.com| 色色色五月| 国产无遮挡又黄又爽免费网站| 99热这里只有精品最新网址| 亚洲激情亚洲激情| 五月婷色| 99免费视频久久| 91人人操人人| 天天五月丁香五月| 人妻爽爽爽久久久久久久久| 超碰成人在线观看| 噜噜色五月| 99re这里只有精品99| 激情六月婷婷| 99热99在线| 91久久久久久久久久久| 看黄的网站18禁| 激情五月婷婷综合| www婷婷亚洲| 六月色婷婷欧美| 天天狠天天狠| 这里只有精品在线播放| 天天撸天天干天天插| 五月天色网站| 五月丁香婷婷基地| AV在线免费播放| 久久九九@| 丁香五月六月| www色色com| 色爱综合网| 91色五月| 亚洲亚洲人成综合网络| JAPANRCEP老熟妇乱子伦视频| 碰97 久| 精品亚洲国产成AV人片传媒| 黄色激情网站在线观看| 日韩国产在线免费观看| 久久久91| 午夜九九电影| 丁香狠狠色婷婷久久无码视频| 色J香五月天| 婷婷激情小说| 激情综合五月| 超碰亚洲欧美| 久久激情五月婷婷| 婷婷丁香六月激情综合| 婷婷五月天久久久| 久久九九综合| 免费超碰在线观看| 日韩视频女神99| 另类激情五| 五月丁香综合| 五月天激情久色| 婷婷五月天狠狠| 激情无码网| 99久久6| 天天日天天色| 六月丁香婷婷大香蕉| 2017狠狠干| site:hcxsz888.com| 五月婷婷久久内射| 日本久久精品18| 婷婷六月色| 国产又粗又大又爽又黄| se色综合网| 久久五月激情综合| 怡红院精品视频久久久久久久久| 婷婷五月丁香五月| 无码成人播放器| 色99婷婷五月天| 综合久久99| 五月婷婷香蕉| 久热 91| 丁香五月av| 99在线视频。| 91Chinese在线| 99爱在线| 日亚二欧美| 婷婷久久综合| 丁香五月黄色| 中文字幕免费高清电视剧| 97日日碰碰| 久久婷婷伊人| 亚洲av骚货| 丁香五月天堂网| 91久久久久久久久久18| 亚洲啪啪视频| 五月丁香龟婷婷| 97色婷婷成人综合在线观看| 婷婷五月天亚洲综合网| 996er在线观看| 欧美爆乳一区二区三区| 婷色五月| 99热最新精品| 婷婷五月六月| 婷婷五月五月丁香| 五月天激情站| 超碰人人操在线| 五月婷婷涩涩爱| 丁香伊人网| 五月天激情婷婷小说| 久久婷婷色色| 超碰中文字幕在线| 开心五月深爱五月丁香五月激情五月| 狠狠五月综合在线| 成人国产欧美大片一区| 色色色欧美| 精品人妻久久久久| 乱精品一区字幕二区| 五月天婷婷社区久久综合| 天天干狠狠操| 狠狠色噜噜狠狠狠狠综合| 大香蕉懂9| 欧美日韩91| 久久久99精品| 人妻久久久| 99在线视频资源| 色丁香五月综合网| 日本乱子人伦在线视频| 亚洲丁香婷婷五月天综合色| 色啪综合| 欧美日本国产欧美日本韩国99| 综合色色婷婷| 免费无码毛片一区二区A片 | 五月婷婷丁香色播网| 色屌丝中文字幕| 97超级碰碰碰| 丁香婷婷色五月激情综合| 精品9197碰| 亚洲色9| 中文字幕AV网址| 婷婷色网址| 九九热这里只有精品一| 国产精产国品一二三在观看| 五月婷久久| 久99| 九九色色| 九九热在线精品视频| 九九精品综合| www.91九色| 在线99精品| 久久人妻伊人| 亚洲字幕AV一区二区三区四区| Xx色综合| 99热在线播放| 五月香蕉婷婷| 五月婷婷爽爽爽| 精品五月视频婷婷在线观看| 五月婷婷啪啪| 六月丁香啪| 久久婷婷六月综合| 久久婷婷五月国产激情综合片| 久久久久综合激动五月天| 26uuu欧美日本| 激情综合九月| 激情五月天色色| 久久这里只有国产| 粉嫩AV久久一区二区三区| 五月伊人综合| 亚洲精品一区中文字幕乱码| 日本九九热| 国产AV一区二区三区最新精品| 五月天激日本色情在线| 色色国产| aaa日韩| 大香蕉AV电影在线| 亚洲天天综合| 99久久精品国产色欲| 日日噜噜夜夜狠狠久久丁香六月| 91婷婷丁香五月| 99热这里| 很很操96| 天天日天天操心| 亚洲午夜一区二区| 91婷婷| 亚洲婷婷丁香五月在线| 一本色道久久88加勒比| 久久精品只有这| 婷婷五月激情综合啪啪| 久久久久激情| 深情六月婷婷综合久久| 真实的国产乱XXXX在线91| 这里只有精品网| 丁香五月色色婷| 欧洲色色| 另类五月婷婷| 丁香五月瑟瑟| 人人人操| 五月色导航| 99日热在线视频| 久热免费| 99视频精品视频| 超碰国产在线播放| 亚洲婷婷五月天| 性一交一乱一交A片久久四色| 高清无码网址| 激情婷婷五月天日本系列| 97婷婷丁香五月天激情图片| www婷婷| 无码天天操| 国产原创视频91九色| 99熟女啪啪视频| 丁香五月天欧洲在线| 无码人妻精品一区二区蜜桃色欲| 亚洲五月花| 色五月91| 激情婷婷在线| 五月天婷婷在线观看| 人妻五月天激情开心网| WWW.婷婷五月天.COM| 99热这里只有精品26| 色婷婷性爱网| 九九激情综合| 可以直接看的AV网站| 国产精品色婷婷99久久精品| 丰满少妇猛烈A片免费看观看| 九九热精品6| 久久九九玖玖| 亚洲亚洲人成综合网络| 99ri精品视频在线观看| 久久性爰视频这里只有精品| 日本99视频| 色五月丁香A欧美com | 五月丁香综合激情| 极品人妻VideOssS人妻| 婷婷五月中文在线| 日韩综合久| 成人精品一区日本无码网| 婷婷五月综合亚洲| 狠狠狠激情网| 久久XX| 任你搞免费视频观看| 五月激情综合网| 五月天俺去也| 天堂五月婷婷| 久色网| 五月色亭丁香| 日韩精品无码一区二区| 狠狠干综合| 丁香五月婷婷激情蜜桃| 色五月激情五月丁香五月婷婷啪啪综合 | 欧美精品18| 五月婷婷开心综合| 天天做天天爱天天爽在| 激情综合啪啪啪| 91亚洲免费片| 婷婷无五月无码视频| 国产超碰在线| 九九在线视频| 丁香婷婷色| 天天色爽| 激情婷婷五月天。| 九九热大香蕉| 丁香色综合| 2w在线视频| 女人露出p毛视频www网站| 2021日韩无码| 67194中文在线| 亚洲九区| 伊人五月天在线| 99视频| 六月丁香色婷婷| 婷婷丁香高潮了| 午夜一区| 日韩不卡DvD| 操逼综合网| 婷婷欠久少妇| 色日本颜射| 99riAV国产精品视频| 五月天婷婷乱论小说| 停停五月天激情网| 亚洲人人操BD| 操一操| A√天堂网在线| 五月婷婷欧美| 99久在线精品99re8| 丁香五月天日韩无码| 婷婷五月综合国产精品| 91人久| 夜夜撸夜夜骑| 色婷婷综合视频| 97人人干| 久久婷婷亚洲| 久热大香蕉| www.婷婷五月| 日本丁香五月| 激情第四色| 天天综合精品| 激情久久久| 激情丁香五月| 欧美成人AAA片一区国产精品| 色色色综合色| 国产精品a无线| 天天日天天舔| 婷婷五月天天| 色操综合| 欧美、日韩、中文、制服、人妻| 亚洲无码黄色| 五月丁香欧美综合| 开心婷婷五月天综合| AAA久久| 婷婷的99视频网站| 综合玖玖性爱免费视频| 青青草a在线| 99er国产| 99热这里只有精品热| 国产精品视频久久99| 九九精品在线网| 婷婷五月丁香综合人妻| 五月丁香六月情| 婷婷五月天AV| 亚洲综合99| 五月丁香色色网| 人人干人人看| 亚洲99在线| 二色av| 噜综合| 成功精品影院| 夜夜操少妇| www.97视频| 91人妻视频| www.丁香黄色五月天人与| 99热最新网址| 91精产品自偷自偷综合| 日韩亚洲视频| 青青操avbb| 色偷偷AV亚洲男人的天堂| 五月婷人妻| 国产乱子轮XXX农村| 五月婷婷五月天天| 五月丁香A片| 婷婷久月| 色五月成人| 99久久6| 日本狠狠干| 色欲五月天| 激情综合网激情五月丁香五月俺也去| 噜噜网免费视频| 99热性色| 日本不卡一区二区三区| 国产精品色婷婷AV综合色色| 爱久综合| 国产日产亚洲系列最新| 五月丁香色| 99久久久久久| 亚洲蜜桃精久久久久久久久久久久| 99热99热不卡| 色综合久久综合中文综合网| 亚洲妇女熟BBW| 台湾佬天天日丁香婷婷五月天| 婷婷性爱五月天丁香网| VA色婷婷| 亚洲五月天婷婷综合| 久人操| 丁香五月色情| 色综合天天天天做夜夜| 婷婷性爱| 国产精品A片在线| 婷婷五月丁香综合激情| 五月婷丁香久久久| 99亚洲视频| 婷婷五月天AV| 五月激情天| 天天日天天干天天爱| 国产成人精品一区二三区熟女在线| 亚洲五月天婷婷在线| 色婷婷天堂| 91操人| 欧美日本一区二区三区| 五月丁香色色| 狠狠 久久| 这里只有精品1| 极品五月天| 久久久99久久| 中文字幕综合色| 婷婷色色网| 丁香婷婷综合激情五月色| 99re热精品在线视频| 97色婷婷五月天| 91玖玖| 不卡成人免费| 色色亚洲| 色五月激情| 99热久只有| 人妻视频在线| 色开心五月婷婷丁香HD| 裸体做A爰片毛片A片免费| 免费亚洲婷婷| 久热A| 久热只有这里有精品| 成人视频在线免费播放| 操逼视频网址| 日韩丰满少妇无码内射| 婷婷五月综合网| 人人操五月天| 五月天激情视频网站| 有码人妻久久| 九九Av| 婷婷综合色网| 欧美123区免| 少妇2做爰HD韩国电影| 亚洲操逼片| 五月天婷婷在线视频| 五月天色在线| 五月天小说激情| 色婷婷久久综合| 欧美啪啪网| 大香蕉久久视频久久视频| 亚洲色网络| 色999五月色| 五月婷婷开心网| 怡红院精品视频久久久久久久久| 五月天亚洲最大成人| 日韩婷婷| 色五月琪琪| 色五月激情| 婷婷综合日本| av第一二区| 爱狠射| 色五月色综合| 综合久久狠狠| 五月婷婷黄网站大全| 狠狠精品干练久久久无码中文字幕 | 五月天激情网开心网| 9.1综合网| 五月开心婷婷网| 五月婷在线影院| 小泽玛利亚视频一区二区| 丁香婷婷五月天成人| 99精品视频免费观看近期发布| 五月婷婷啪啪| 超碰免费成人网站| 北条麻妃伊人 | 热99.com婷婷| 激情熟女网| 色婷狠狠| 1区2区视频| 2021日韩无码| 在线成人视频免费| 99热99草97| 五月天怕怕| 欧美久人人| av成人在线播放| 久久久久久久久久久月丁| 91久久九九| 五月综合激情啪啪啪啪啪| 色欲色欲久久宗合网| 五婷婷综合网| 夜夜爱爱亚洲| 99日本黄站| 天天激情5月天亚洲| 婷婷视频网| 精品视频99看在线视频| 怡红院院久久| 婷婷va| 色私五月婷婷| 天天色天天日| 一级AV片| 五月丁香激情怕怕| 激情五月黄色小说| 天天操夜夜肏| 婷婷在线播放| 亚洲va成人va成人va在线观看| 色玖玖综合网| 香蕉人妻AV久久久久天天| 五月婷婷伊| 97干在线观看| 高潮毛片遮挡费高一百度| 欧美顶级少妇做爰HD| 婷婷五月天桃花网| 五月婷婷狠狠干| 欧美激情五月综合| 五月花婷婷丁香| 99色色视频| 五月天婷婷綜合院| 婷婷五月天在线观看| 北条麻妃伊人| 秋霞三级色戒| 这里只有精品2| 影视av久久久噜噜噜噜噜三级| 久久丁香五月天| 日韩国产在线精品| www.色综合.com| 五月天小说激情| 五月亭亭网成人在线视频| 成人在线精品| 无码字幕中文| 日本精品在线噜噜噜| 五月花婷婷最新| 日韩在线视频中文字幕| 香蕉AV777XXX色综合一区| 久久九九精彩| 五月色无码| 狠狠五月天| 色婷婷色99国产综合精品| 色色色色色日韩午夜激情 | 香蕉婷婷色五月| 五月激情综合网| 婷色视频| www.伊人天堂偷偷婷婷| 婷婷色情六月| 777精品久无码人妻蜜桃| av在线免费网站 | 国产99久9在线| 狠狠人人| 欧美日综合| 97成人超碰免| 激情五月综合色婷婷| 亚洲色图五月丁香| 1级欧美日韩| 轮奸综合网| 婷香五月激情视频| 在线超碰免费| 久久婷婷五月天| 亚洲一级AV在线免费播放| 婷婷五日b| 亚洲天堂爱爱| 99热10在线高清播放| 密黄站| 99成人| AV色色天堂中文| 五月色婷婷在线观看| 亚洲婷婷五月天| 丁香五月婷婷香| 天天爽—爽| 色色丁香五月天| 日韩AV在线免费| 爱草视频在线观看| 欧美99热| 只有精品视频在线观看| 五月丁香婷婷久久| 一起草无码| 日韩九九| 9|在线观看视频| 五月丁香激情婷婷综合| AA片在线观看视频在线播放| 久久久久亚洲AV成人无码电影| 婷婷激情综合| 玖玖婷婷视频| 97色色色色色| 91色色色视频| 色婷婷AV久久久久久久| 超碰在线个人观看| 亚洲视频伍月婷婷| 日本wwww在线| 婷婷六月久久综合导航| 日本A片一区| 色综合天天天天做夜夜| 狠狠狠狠草草| 综合色激情| 99热爆在线| 五月丁香黄色| 99婷五月| 99re在线这里只有精品视频首页| 乱精品一区字幕二区| 操逼福利视频| 五月天丁香婷婷网| 一本久久亚洲五月婷婷| 婷婷五月天桃花网| 91久久婷婷人人澡草| 99cao婷婷| www五月天激情com| 强辱丰满人妻HD中文字幕| 亚洲、热| 天天综合网色欲香| 婷婷九色| 99热久草| 97人操人免费视频| 色99视频| 五月色婷婷亚洲| 亚洲丁香花色| 激情婷婷五月天在线观看| 狠狠干五月天| 99热这里只有精品50| 9色资源在线| 九九精品网| 啪色综合| 五月天成人小说| 色亭亭五月天网扯| 丁香五月之久操视频| 精品国产va久久久| 色婷婷AV在线| 狠狠做深爱婷婷久久综合一区| 99热热九九| 婷婷色色网站| 婷婷五月色激情欧美激情| 久草 天堂| www九九热| 97好吊操| 日本色图综合| 三男玩一女三A片| 久久久精品色色色| 啪啪婷婷五月天激情| 久热大香蕉| 99国产性感视频| 精品亚洲国产成AV人片传媒| 99热这里只有精品8| 五月婷婷久久网| 9热在线观看| 五月婷在线| 五月丁香欧美在线| 五月婷婷与六月丁香图片激情| 天天射综合网站| 五月婷婷久久激情| 9色免费网| 99久热这里只有精品| 天天射天天射一道本日本社区| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 婷婷色五月丁香六月欧美啪| 被强行糟蹋的女人A片| 五月婷婷在线综合| 久久婷婷成人视频| 91猫咪国产在线播放| 九色婷婷| 五月婷婷啪啪| 丁香婷婷久久激情| 婷丁香五月天| 五月天婷婷狂暴白浆| 美欧日韩国产成人在战| 五月丁香综合精品| 五月天婷婷爱| 五月激香蕉网| www久久99| 啪精品| 99热这里只有精品8| 九九热在线观看视频| 久久婷婷丁香五月宗合| 丁香花社区av| 亚洲五月婷婷| 超碰资源在线| 五月天色婷婷伊人网| 五月综合视频在线| 免费AV在线| 久久婷婷午夜| 99无码| 九九99热| www.婷婷.com| 深爱丁香激情| 五月天婷婷久久日| 久久98热re| 婷婷五月天综合久久日美女| 99久久性爱| 狼人婷婷综合| 五月婷婷激情综合网 | 丁香五月六月| 久久婷婷综合基地| 国产毛片精品一区二区色欲黄A片| 五月丁香天天| 五月香婷婷| 日韩综合久| 99热97| 99成人| 激情婷婷五月天| 天堂亚洲 在线| 天天免费成年人视频| 色综合久网| 婷婷伊人綜合中文字幕| 香蕉AV777XXX色综合一区| 天天综合五月天| 伊人日日干| 综合玖玖偷拍| 丁香五月婷婷综合啪啪| 91操女| 色七色九九| 色五月五月天色婷婷色五月| 日韩av手机在线观看| 四虎成人精品永久免费AV九九| 79色色色色| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 久热这里只有精品3| 激情碰碰碰| 四虎99热在线观看网站| 日韩性爱AV| 国产午夜精品一区二区三区四区| 99精品在线| 91精品综合久久久久久五月丁香| 五月天com| 另类激情中文| 国产精品色| 婷婷少妇激情| 色色99| 欧美日韩一区二区三区四区| 丁香婷婷性爱| 激情综合五| 五月天精品| 色色亚洲| 久久se 综合网 | 欧美婷婷精品激| 久久婷婷东京热大香樵| 九色激情网| 五月丁香激情婷婷综合| 欧美搡BBBBB摔BBBBB| 九九在线精点品| 五月激情综合网| 亚洲色网址| 欧美影院婷婷| 伊人婷婷五月天| 996精品热视频| 婷婷丁香午夜综合影视| 激情五月图| 97色伦另类图片小说视频 | 日本三级片片| 日本九九视频| www,五月天com| 色情五月天首页| 九九热视频免费| 终合激情网| 久久综合影院| 婷婷久久五月| 天天干在线播放| 超碰97色| 丁香六月啪| 久久久月丁香| 第四色首页| 五月激情网站| 9久久精品| 丁香五月婷婷色综合| 五月天婷婷激情在线色图| 欧美三级欧美一级| 中文字幕+乱码+中文字幕在线观看| 99视频在线观看视频| 激情色色色| 久久色情| 熟女色色一区二区| 91久久久久久久91| 丁香开心深爱| 婷婷成年人免费视频| AV在线免费播放| 丁香五月激情网| 97人妻碰碰碰久久久久-最近国语高清| 色五月五月婷婷| 九九视频这里只有精品在线播放| 天天爽日日爽夜夜爽| 天天日天天草| 99热这里有精品| 免费啪啪啪网站| 久久免费精品小视频| 久久在线人妻| 五月丁香综合| 国产97在线日韩亚洲女人被黑人巨大| 欧美日本黄色| 婷婷中文字幕版| 久久久激情视频| 成人综合视频网址| 欧美丁香五月97色| 色播五月婷婷综合| 思思热在线| 国产一区二区三区影院| 日本三级毛片| 五月婷婷丁香大陆免费| 国产熟女一区二区三区五月婷| 成人做爰高潮A片免费视频| 美女91一起草| 加勒比色色| www.91色| 婷婷五月丁香激情图片 | 丁香五月AV在线| 婷婷操超碰| 色婷网站| VA五月激情在线| 五月婷婷六月情| 91干婷婷| 深爱综合网| 色播五月丁香综合| 丁香五月老师| 色色com| 啪啪夜久久| 久久婷婷婷婷伊人| 97影院一级片| 99热精品超碰| 色婷婷香蕉丁丁网| 亚洲综合婷婷| 99九精品| 婷婷.com| 国产黄大片在线观看画质优化| 久久多色| 亚洲午夜一区二区| 色色图五月天| 天天综合亚洲综合| 香蕉综合网| 五月天日日操夜夜操 | 热99只有里视频| 婷婷啪啪| 女性自慰系列第五页| 国产成人高清| 美腿丝袜AV天堂网| 综合五月激情网| 97夫妻超碰| 六月亚洲婷婷6月中文字幕| 五月天婷婷基地综合网| 99爱在线| 新五月天婷婷激情电影| www.夜夜操| 婷婷五月天色| 婷婷五月激情图片| 激情综合色网| 天天久久狠狠色综合| 东京热免费视频网站| 激情五月狠狠| 猫咪伊人AV| 丁香激激情网| 97男人天堂| 成 人 色 色| 久久ri精品| 五月天婷婷深深爱| 久久曰9| 激情九九综合网| 免费看欧美成人A片无码| 欧美日韓成人亚洲精品另类| 婷婷六月色| 99爱免费在线观看| 色播丁香| 丁香五月天婷婷在线视频| 五月激情综合网| 久热久色| 99热综合| 婷婷四色五月| 亚洲99精品九九在线| 国产精品久久久60086| 久久人妻超碰一区| 婷婷伊人久久综合| 午夜]香婷婷深深爱| 九九激情视频| 99日精品视频| 九月丁香亭亭| 五月天婷婷色| 热久久91| 色色啊| 中文字幕日产A片在线看| 色婷婷色久综| .肏屄视频一区二区| 五月天婷久精视频| 国产九九一区二区三区| 婷婷五月丁香91| 丁香五月激情综合| 国产成人精品亚洲线观看| www.五月天婷婷姐姐| 婷婷色色综合| 啪啪小说五月天| 色玖玖玖| 激情五月天色色网| 久久在这里有精品| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 丁香五月伊人| 婷久久| 玖玖资源站国产| 少妇真实被内射视频三四区| 五月香六月婷| 色噜噜五月天| 五月激情小说| 国产高清RV综合aVa| 久久婷婷五月综合啪| 啪啪激情网| 2025最新亚洲激情在线| 五月婷护士| 久久婷婷激情| 亚洲丁香五月天在线视频| 激情6月| 亚洲最大视频| 99久久精| 人操综合| 午夜激情综合| 国产精品久久久60086| 五月天激情综合网| 天天天干夜夜夜操| 亚洲亚洲永久无码777777| 久综合| 亚洲视频一区| 99re最新地址| 91精品国产91久久久久青草| 成人无码精品1区2区3区免费看| 99久久玖玖| 婷婷五月天美女| 99热色综合| 色色色综合网| 丁香五月天AV| 人人草成人视频| 超级碰碰碰久久网站视频| 亚洲中文乱字字幕在线永久| 丁香社区婷婷五月| 日韩在线视频中文字幕| 久久精品一区二区三区四区| 亚洲第一成人无码A片| www.操逼comm| www.五月婷婷.com| 激情婷婷在线| 深爱五月婷婷| 26uuu精品一区二区| 97人妻碰碰碰久| 99爱在线| 五月激情天| 毛片新网地| 天天日天天添| 丁香六月婷婷开心婷婷网| 97五月天| 超碰免费大香蕉| www.开心激情| 婷婷免费精品视频| 婷婷在线综合| 人人操人人妻| 开心婷婷五月| 婷婷五月天色播| 深爱丁香激情| 激情综合播播| 超碰不卡在线| 久久日曰| 久久综合久色欧美综合狠狠| 在线成人网站| 五月色综合| 天天五月情| 婷婷激情五月天天天开心| 综激情网| 日本一级大片| 久久九网| 亚洲V国产V欧美V久久久久久| 中文字幕视频在线播放| 激情五月天小说| 秋霞午夜理论| 99色色爰| 人人97碰| 婷婷综合九月| 国产伊人大香蕉| 黄色片久久| 天天色播| 婷婷久久网| 99久在线精品99re8| 五月丁香在线观看| 丁香婷婷激情网站| 五月开心激情网| 玖玖99福利| 激情五月激情综合俺也去婷婷小说| 99毛片| 伊人三级激情| 色婷婷影| 九九99精品视品| 亚洲欧洲中文日韩久久AV乱码| 亚洲欧洲另类| 五月婷婷六月激情| 欧美激情综合| 天天天天天天操| 亚洲综合久| 久久婷五月| 久久久久久激情| 久久久婷婷五月亚洲97号色| 91激情五月开心| 俺去也综合| 99热在线只有精品| 亚洲一区二区无码蜜乳av| 五月社区婷婷激情| 五月激激网w'w'w| 国产五月丁香在线| 超碰三级秋霞| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | www。久久久久一b。Cc| 少妇人妻人伦A片| 日本eVa一区=区视频| 色综啪啪网| 亚洲av成人一区二区电影在线| 久久婷婷免费| 亚洲AV成人在线观看| 9热在线视频精品| WWW.久久久久久久久久久久久| 激情淫乱男女| 91精品综合久久婷婷九色| 熟女网站久久| 五月丁香婷婷久久| 99久久99视频只有精品| 丁香六月婷婷综合激情欧美 | 26uuu欧美激情另类| 六月丁香婷婷五月| 色五月婷婷色五月婷婷色五月婷婷| 色欲天天综合| 久久婷婷久久| 五月婷婷啪啪| 国产熟女一区二区三区五月婷| 九九無妻| 99这里有精品| 日本熟妇乱妇熟色A片蜜桃| 97碰碰九九视频| 伊人五月天久久| 无码色综合| 成人av在线网站| 亚洲国产精品五月天| 狠狠狠狠狠狠狠狠草| 综合六月激情婷婷| 99久在线精品99re8热| 五月丁香六月婷| 性一交一乱一交A片久久四色| 免费看欧美成人A片无码| 色综合久久无码| 五月丁香欧美综合| 天天做天天爱天天爽夜夜揉| 婷婷五月色丁香在线看| 天天操天天操天天操天天操天天操| www,色婷婷| 婷婷五月天激情小说| 九九草草逼| 97久久超视频| 91丨九色丨东北熟女| 激情合网婷婷| 丁香六月天| 久久五月丁香| 色综合久久久无码中文字幕999| 香蕉乱插| 婷婷,五月天,丁香,第一| 大狠狠在线| 五月婷婷中文字幕| 国产欧美精品AAAAAA片| 婷婷五月激情视频网| 99热九九这里只有精品| 天天开心AV色综合婷婷五月天| 久久色五月天| 狠狠穞A片一區二區三區| 五月婷婷综合色啪首页| 激情综合网五月在线播放| 99精品爱| 国产在线黄色| 操逼亚洲天堂| 成人网站在线观看视频| 六月丁香影院| 五月丁香黄色视频| 婷婷丁香五月社区亚洲| 亚洲一个色| 九九精品视频在线观看| 97人妻碰碰中文无码久热丝袜| 狠狠色噜噜狠狠狠777奇米| 91色五月| 婷婷激情六月综合| 久久9热| 欧洲电影在线观看免费版英语版| 激情综合5月| 色婷婷久久7777| 伊人干综合| 综合五月网| 狠狠综合网| www.99精品在线| 99热综合在线观看| 亚洲99综合| 超级久久久| 热99精品视频观看| 狠狠爱婷婷丁香| ai97re99一本| 色五月丁香总合网| 婷婷丁香激情综合色情| 99欧美精品99日本精品| 五月开心婷婷极品激情| 五月丁香久久| 久久se 综合网| wwW天天干| 91婷婷搞| 91VIP在线观看| 天堂婷婷丁香六月网| 色色综合网站| 日本三级日本黄色| 26uuu亚洲欧美另类| 亚洲黄色影视| 欧美日韩国产一区| 色综合综合网| www.天天干| 热99这里只是精品| 五月综合久久| 色欧美日| 色久激情在线| 极品人妻XXXXOOOO| 九九蜜臀精品| 丁香五月另类色婷婷麻豆| 亚洲无码www| 伊人久久丁香婷婷六月五月综合| 欧美色五月| 九九热在线亚洲免费视频| 五月婷啪啪| 97碰免费精采视频| 亚洲亚洲永久无码777777| 国产精品成人AV在线观看春天| 亚洲人成网亚洲欧洲无码久久| 97久久草草超级碰碰碰| 国产操B视频| 色婷婷综合网| 婷婷丁香婷婷97| 丁香婷婷色情社区成人小说| 任你躁XXXXX麻豆精品| 五月婷无码| 色5月婷婷| 五月婷婷婷综合网| 久久婷婷内射| 91色在线 | 日韩| 性爱久久| 五月婷婷六月丁香玖玖玫瑰91| 久久a热| 丁香五月婷婷五月基地| 四色女婷婷| 一本色道久久综合狠狠躁一二三| 五月天开心色情网| 天天色天天操天天射| 影音先锋激情网| 人妻人人操| 丁香五月综合高清在线| 另类图片天天影视在线观看| 欧美在线干| 67194成I人在线观看线路1| 九九精品自拍| 99久久久久| 久热超碰| 色色色综合| 性小说五月天| 天天干天天日蜜臀av| 欧美丁香五月天| 欧美婷婷色五月网| 久久这里都是精品| 色欧美色色色| 久久人妻伦理| 涩 五月 婷婷 狠狠| 亚洲天堂啪啪| 在线观看中文字幕亚洲| 另类视频五月天| 开心激情色婷婷五月天| 成人龟情网丁香五月| 天天干天天射色综合| 久久大香蕉丁香| 五月天亚洲色| 玖玖色资源| 五月天激情综合| 五月天播播综合| 淫视馆av三区| 天天激情欧美美女| 色综合综合色| 99热| 99热久草| 久久99看免费| 色五月五月婷婷| 狠狠干总合| 激情网五月天| 五月天婷婷在线AN| 狼友超碰| 五月天精品| 俺去啦综合网| 中文资源在线a | 婷婷五月六月丁香| 玖玖爱资源站| 色另类五月天| 亚洲AV成人精品网站在线播放| 超碰人人99| 色婷婷六月性| 婷婷五月综合免费在线| 青青草99热久久精品国| 99热最新精品| 再次出发二| 亚洲亚洲人成综合网络| 色五月婷婷亚洲最大| 变态另类9| http://www.com久久久精品一区| 99热这里只有精品66| 66精品国产成人| 亚洲99热| 婷婷综合五月天| 人人操超踫| 99熟女视频| 色噜噜狠狠狠狠色综合久欧美|