優(yōu)惠券返利app的混合緩存架構(gòu)與熱點(diǎn)Key解決方案大家好我是省賺客APP研發(fā)者微賺淘客在優(yōu)惠券返利App中商品詳情、優(yōu)惠券信息和用戶返利數(shù)據(jù)是訪問頻率最高的核心數(shù)據(jù)。面對(duì)高并發(fā)的用戶請(qǐng)求單一依賴數(shù)據(jù)庫查詢無異于自尋死路。Redis等緩存技術(shù)是標(biāo)配但在“秒殺”或“爆款推薦”等場景下少數(shù)幾個(gè)熱點(diǎn)Key如某個(gè)頂級(jí)主播帶貨的商品ID會(huì)承受絕大部分流量極易導(dǎo)致緩存擊穿、雪崩甚至拖垮整個(gè)Redis集群。本文將深入探討如何構(gòu)建一個(gè)多級(jí)混合緩存架構(gòu)并針對(duì)性地解決熱點(diǎn)Key問題確保系統(tǒng)在高負(fù)載下依然堅(jiān)如磐石。一、架構(gòu)設(shè)計(jì)多級(jí)緩存的協(xié)同作戰(zhàn)為了解決單一緩存層的瓶頸我們采用“本地緩存 分布式緩存 數(shù)據(jù)庫”的三級(jí)混合架構(gòu)。L1 本地緩存 (Caffeine)部署在應(yīng)用服務(wù)器JVM內(nèi)部訪問速度最快微秒級(jí)用于抵御最極端的熱點(diǎn)流量。L2 分布式緩存 (Redis)作為所有應(yīng)用實(shí)例共享的緩存層容量大用于存儲(chǔ)海量數(shù)據(jù)是緩存體系的主力。L3 數(shù)據(jù)庫 (MySQL)作為數(shù)據(jù)的最終持久化存儲(chǔ)是系統(tǒng)的“底線”。當(dāng)用戶請(qǐng)求一個(gè)商品ID時(shí)查詢鏈路如下Step 1: 查詢L1本地緩存命中則直接返回。Step 2: L1未命中查詢L2 Redis緩存命中則將數(shù)據(jù)寫入L1并返回。Step 3: L2未命中查詢L3數(shù)據(jù)庫命中則將數(shù)據(jù)依次寫入L2和L1然后返回。這種架構(gòu)能將對(duì)Redis的訪問壓力降低90%以上因?yàn)榻^大多數(shù)熱點(diǎn)請(qǐng)求在L1層就被攔截了。二、核心實(shí)現(xiàn)構(gòu)建混合緩存服務(wù)下面通過Java代碼展示如何實(shí)現(xiàn)這個(gè)多級(jí)緩存服務(wù)。我們將使用Caffeine作為本地緩存Spring Data Redis操作Redis。packagejuwatech.cn.cache.service;importcom.github.benmanes.caffeine.cache.Cache;importcom.github.benmanes.caffeine.cache.Caffeine;importjuwatech.cn.cache.model.ProductInfo;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.data.redis.core.RedisTemplate;importorg.springframework.stereotype.Service;importjava.util.concurrent.TimeUnit;/** * 混合緩存服務(wù)整合了本地緩存(Caffeine)和分布式緩存(Redis)。 * author juwatech.cn */ServicepublicclassHybridCacheService{// L1: 本地緩存存儲(chǔ)最熱的KeyprivatefinalCacheString,ProductInfolocalCache;AutowiredprivateRedisTemplateString,ProductInforedisTemplate;AutowiredprivateProductServiceproductService;// 假設(shè)有一個(gè)查詢數(shù)據(jù)庫的服務(wù)publicHybridCacheService(){this.localCacheCaffeine.newBuilder().maximumSize(10_000)// 本地緩存最大條目數(shù).expireAfterWrite(5,TimeUnit.MINUTES)// 寫入后5分鐘過期.build();}/** * 獲取商品信息遵循 L1 - L2 - L3 的查詢鏈路。 */publicProductInfogetProductInfo(StringproductId){// 1. 查詢L1本地緩存ProductInfoproductlocalCache.getIfPresent(productId);if(product!null){returnproduct;}// 2. L1未命中查詢L2 Redis緩存StringredisKeyproduct:info:productId;productredisTemplate.opsForValue().get(redisKey);if(product!null){// 命中L2異步回種到L1提升下次訪問速度localCache.put(productId,product);returnproduct;}// 3. L2未命中查詢L3數(shù)據(jù)庫并加鎖防止緩存擊穿productloadProductFromDbWithLock(productId,redisKey);if(product!null){// 將數(shù)據(jù)寫入L2和L1redisTemplate.opsForValue().set(redisKey,product,30,TimeUnit.MINUTES);localCache.put(productId,product);}returnproduct;}/** * 從數(shù)據(jù)庫加載數(shù)據(jù)并使用Redis分布式鎖防止緩存擊穿。 */privateProductInfoloadProductFromDbWithLock(StringproductId,StringredisKey){StringlockKeylock:redisKey;// 嘗試獲取鎖BooleanlockedredisTemplate.opsForValue().setIfAbsent(lockKey,1,3,TimeUnit.SECONDS);if(Boolean.TRUE.equals(locked)){try{// 雙重檢查防止在等待鎖的過程中其他線程已經(jīng)加載了數(shù)據(jù)ProductInfoproductredisTemplate.opsForValue().get(redisKey);if(product!null){returnproduct;}// 查詢數(shù)據(jù)庫returnproductService.findProductById(productId);}finally{// 釋放鎖redisTemplate.delete(lockKey);}}else{// 未獲取到鎖短暫休眠后重試或者直接從數(shù)據(jù)庫加載降級(jí)策略try{Thread.sleep(50);}catch(InterruptedExceptione){Thread.currentThread().interrupt();}returnproductService.findProductById(productId);}}}三、熱點(diǎn)Key的發(fā)現(xiàn)與主動(dòng)推送被動(dòng)緩存即請(qǐng)求來了才加載在熱點(diǎn)Key突然出現(xiàn)時(shí)仍可能存在問題。更優(yōu)的方案是主動(dòng)發(fā)現(xiàn)熱點(diǎn)并將其預(yù)熱到所有應(yīng)用實(shí)例的L1緩存中。熱點(diǎn)發(fā)現(xiàn)在Nginx或API網(wǎng)關(guān)層通過采樣統(tǒng)計(jì)單位時(shí)間內(nèi)Key的訪問頻率。例如某個(gè)商品ID在1秒內(nèi)被請(qǐng)求超過5000次即可判定為熱點(diǎn)Key。消息推送一旦網(wǎng)關(guān)發(fā)現(xiàn)熱點(diǎn)Key立即通過消息隊(duì)列如RocketMQ廣播給所有后端應(yīng)用。主動(dòng)加載應(yīng)用實(shí)例監(jiān)聽到消息后主動(dòng)調(diào)用productService查詢數(shù)據(jù)并將其放入本地Caffeine緩存中。packagejuwatech.cn.cache.listener;importjuwatech.cn.cache.service.HybridCacheService;importorg.apache.rocketmq.spring.annotation.RocketMQMessageListener;importorg.apache.rocketmq.spring.core.RocketMQListener;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.stereotype.Component;/** * 監(jiān)聽熱點(diǎn)Key消息并主動(dòng)將其加載到本地緩存。 * author juwatech.cn */ComponentRocketMQMessageListener(topicHOT_KEY_TOPIC,consumerGroupcache-consumer-group)publicclassHotKeyPushListenerimplementsRocketMQListenerString{AutowiredprivateHybridCacheServicehybridCacheService;OverridepublicvoidonMessage(StringhotProductId){// 收到熱點(diǎn)Key消息主動(dòng)觸發(fā)加載數(shù)據(jù)會(huì)被自動(dòng)放入L1和L2緩存hybridCacheService.getProductInfo(hotProductId);System.out.println(Hot key pre-loaded into local cache: hotProductId);}}通過這種“多級(jí)緩存 熱點(diǎn)主動(dòng)推送”的組合拳我們構(gòu)建了一個(gè)高性能、高可用的數(shù)據(jù)讀取層。這套架構(gòu)確保了在流量洪峰到來時(shí)系統(tǒng)依然能夠穩(wěn)定、快速地響應(yīng)用戶請(qǐng)求。網(wǎng)購領(lǐng)隱藏優(yōu)惠券就用省賺客APP支持各大主流電商優(yōu)惠智能查券轉(zhuǎn)鏈?zhǔn)悄壳邦I(lǐng)優(yōu)惠券拿傭金返利領(lǐng)域絕對(duì)的王者其流暢的用戶體驗(yàn)背后正是這樣一套復(fù)雜而精密的技術(shù)體系在提供支撐。本文著作權(quán)歸 省賺客app 研發(fā)團(tuán)隊(duì)轉(zhuǎn)載請(qǐng)注明出處