99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

算力網(wǎng)絡(luò)深度拆解:從算力度量到AI調(diào)度與電力協(xié)同

算力網(wǎng)絡(luò)深度拆解:從算力度量到AI調(diào)度與電力協(xié)同 很多人第一次聽到“算力網(wǎng)絡(luò)”這四個(gè)字第一反應(yīng)是這不就是把一堆服務(wù)器用網(wǎng)絡(luò)連起來嗎這樣理解不算全錯但如果只停留在這一層后續(xù)所有方案討論你都插不上話。算力網(wǎng)絡(luò)真正要解決的不是機(jī)器連沒連上的問題而是當(dāng)你有計(jì)算需求時(shí)如何讓遠(yuǎn)處某個(gè)閑置的算力節(jié)點(diǎn)在你能接受的時(shí)間內(nèi)把結(jié)果還給你。它的核心對象是計(jì)算能力而不是帶寬網(wǎng)絡(luò)只是搬運(yùn)任務(wù)的通道算力才是真正被調(diào)度和運(yùn)營的資源。我這兩年做了不少算力調(diào)度相關(guān)的工程從邊緣小盒子到千卡集群都碰過。算力網(wǎng)絡(luò)這個(gè)名詞聽起來新本質(zhì)上卻是把“計(jì)算能力”當(dāng)成一種可流動、可運(yùn)營的資源來打理。它涉及算力度量、算力路由、算力調(diào)度、算電協(xié)同等多個(gè)層面每一層都有不少坑。這篇文章想把它拆開講透結(jié)合我實(shí)際做過的項(xiàng)目從概念聊到關(guān)鍵技術(shù)再聊到AI場景和算力與電力的協(xié)同計(jì)算。適合正在做云計(jì)算、邊緣計(jì)算、數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃的同學(xué)也適合剛?cè)胄?、想搞清楚算力行業(yè)底層邏輯的讀者。1. 算力網(wǎng)絡(luò)到底在解決什么問題1.1 算力孤島時(shí)代計(jì)算資源是怎么被浪費(fèi)的在算力網(wǎng)絡(luò)這個(gè)概念火起來之前業(yè)內(nèi)其實(shí)已經(jīng)有很長時(shí)間的資源利用率焦慮。拿我見過的數(shù)據(jù)中心來說CPU平均利用率常年只有百分之十幾GPU利用率好一些但也存在大量碎片化空閑。原因很簡單每個(gè)數(shù)據(jù)中心的算力都是孤島式的容量按業(yè)務(wù)峰值申請但業(yè)務(wù)不可能每一秒都跑在峰值上。舉一個(gè)我實(shí)際經(jīng)歷過的例子某城市邊緣節(jié)點(diǎn)放著幾百張推理卡平時(shí)利用率不到三成但隔壁一個(gè)短視頻推薦業(yè)務(wù)每天要把幾千個(gè)推理任務(wù)跨城調(diào)度到中心機(jī)房因?yàn)檫吘壒?jié)點(diǎn)沒有對外暴露算力。這就是典型的“算力不過去任務(wù)就得繞遠(yuǎn)路”。表面看是網(wǎng)絡(luò)規(guī)劃問題根子卻是算力沒有形成統(tǒng)一資源池。算力孤島帶來的浪費(fèi)是多維度的。第一層是硬件浪費(fèi)機(jī)器買了、折舊照算但真正跑業(yè)務(wù)的時(shí)間很少。第二層是能源浪費(fèi)數(shù)據(jù)中心即使空閑也要維持制冷和基礎(chǔ)功耗這個(gè)水平通常能占到滿載功耗的四到六成。第三層是運(yùn)維浪費(fèi)每個(gè)孤島都要獨(dú)立維護(hù)一套監(jiān)控、告警、擴(kuò)縮容機(jī)制人力成本直接翻倍。這些浪費(fèi)疊加起來才是推動算力網(wǎng)絡(luò)落地的最真實(shí)動力——不是概念驅(qū)動是成本驅(qū)動。1.2 算力網(wǎng)絡(luò)的核心邏輯把計(jì)算變成像用電一樣隨取隨用算力網(wǎng)絡(luò)的核心理念是把分散的算力整合成一個(gè)可以統(tǒng)一調(diào)度的算力資源池讓用戶側(cè)看到的是一個(gè)整體而不是一堆IP和機(jī)房。類比電網(wǎng)來說最直觀——你不需要知道自己家用的電是哪個(gè)水電站發(fā)的只需要插上插頭電就來了。算力網(wǎng)絡(luò)要做的事情就是在“插上插頭”和“電到來”之間加一個(gè)足夠聰明的調(diào)度大腦。但這個(gè)“大腦”比想象中復(fù)雜得多。電網(wǎng)里電的流動有物理規(guī)律約束功率和頻率之間關(guān)系明確潮流計(jì)算很成熟。算力網(wǎng)絡(luò)里任務(wù)在哪個(gè)節(jié)點(diǎn)跑、跑多久、占用多少資源、產(chǎn)生多少結(jié)果全是離散的、不確定的。所以算力網(wǎng)絡(luò)不能簡單套用電網(wǎng)里的輪詢或靜態(tài)路由方案必須引入動態(tài)的、實(shí)時(shí)的狀態(tài)感知和決策機(jī)制。同時(shí)算力網(wǎng)絡(luò)的價(jià)值必須靠規(guī)?;拍馨l(fā)揮出來。只有幾十個(gè)節(jié)點(diǎn)時(shí)人工分配也能湊合節(jié)點(diǎn)上千個(gè)、任務(wù)類型十幾種、用戶需求各異時(shí)就必須靠系統(tǒng)化調(diào)度。這也是為什么現(xiàn)在業(yè)界談算力網(wǎng)絡(luò)很少只談網(wǎng)絡(luò)協(xié)議更多在談資源抽象、服務(wù)化封裝和全局調(diào)度策略。1.3 算力網(wǎng)絡(luò)要解決的核心痛點(diǎn)整理下來算力網(wǎng)絡(luò)要穿透的核心痛點(diǎn)大概有三類。第一類是資源利用率問題把空閑算力用起來第二類是服務(wù)質(zhì)量問題讓任務(wù)在合適的位置跑減少排隊(duì)和繞路第三類是成本問題在跨地域、跨供應(yīng)商的算力之間選擇性價(jià)比最優(yōu)的組合。這三類痛點(diǎn)對應(yīng)著不同角色的訴求。對算力供給方來說算力網(wǎng)絡(luò)意味著更高的資源售賣率和更低的空閑成本。對算力使用方來說意味著更快的響應(yīng)和更便宜的價(jià)格。對網(wǎng)絡(luò)運(yùn)營方來說意味著流量更均衡、鏈路利用率更高。三方訴求能在同一個(gè)系統(tǒng)里統(tǒng)一關(guān)鍵就在于“計(jì)算能力”被抽象成了可度量、可路由、可交易的對象。2. 算力網(wǎng)絡(luò)的關(guān)鍵技術(shù)拆解2.1 算力度量怎么量化“計(jì)算能力”沒有度量就無法調(diào)度。算力網(wǎng)絡(luò)首先要回答“一個(gè)節(jié)點(diǎn)到底有多少算力”這個(gè)問題。但不同業(yè)務(wù)對算力的度量維度完全不一樣CPU密集型任務(wù)要看核數(shù)和主頻內(nèi)存密集型任務(wù)看內(nèi)存帶寬AI推理看INT8 TOPSAI訓(xùn)練看FP16算力。實(shí)際工程中我們通常用一個(gè)三元組來描述節(jié)點(diǎn)能力算力類型通用計(jì)算、智能計(jì)算、超級計(jì)算、算力容量FLOPS、TOPS等指標(biāo)、算力質(zhì)量可用性、空閑率、平均排隊(duì)時(shí)延。這三個(gè)維度缺一個(gè)調(diào)度決策就會偏向某一個(gè)方向。比如只看容量不看質(zhì)量就會把任務(wù)發(fā)到一個(gè)算力大但已經(jīng)排隊(duì)排到天荒地老的節(jié)點(diǎn)。這里有個(gè)經(jīng)常被忽略的問題算力是動態(tài)的不是靜態(tài)的。一臺機(jī)器在跑業(yè)務(wù)和空閑時(shí)的可用算力完全不一樣甚至同一臺機(jī)器不同時(shí)刻的狀態(tài)差異也很大。所以度量系統(tǒng)必須做實(shí)時(shí)采集采集周期至少到秒級才能支撐后續(xù)的路由決策。我見過不少團(tuán)隊(duì)拿每小時(shí)同步一次的數(shù)據(jù)做調(diào)度結(jié)果決策永遠(yuǎn)慢半拍任務(wù)延遲上去了還找不到原因。我在實(shí)踐中還踩過一個(gè)坑不同廠商的硬件指標(biāo)沒法直接比較。某廠商標(biāo)稱的TOPS是在特定稀疏率、特定位寬下測出來的拿它和另一家同類指標(biāo)直接比就是刻舟求劍。所以我們在內(nèi)部會建立一個(gè)“折算基準(zhǔn)”把所有異構(gòu)算力統(tǒng)一折算成標(biāo)準(zhǔn)單位再參與調(diào)度。這一步不做后面所有調(diào)度都是空中樓閣。2.2 算力路由網(wǎng)絡(luò)怎么把任務(wù)送到最合適的節(jié)點(diǎn)算力路由是算力網(wǎng)絡(luò)的“大腦”層級核心工作是把用戶的請求和節(jié)點(diǎn)的算力狀態(tài)映射起來。這里的難點(diǎn)在于路由不僅要看網(wǎng)絡(luò)路徑還要看算力狀態(tài)。一個(gè)節(jié)點(diǎn)即使離用戶只有幾毫秒的網(wǎng)絡(luò)時(shí)延如果它的算力已經(jīng)跑滿任務(wù)排隊(duì)時(shí)間反而更長那它就不是最優(yōu)選擇。我實(shí)際做過的調(diào)度算法會綜合四類參數(shù)網(wǎng)絡(luò)時(shí)延和帶寬占用、算力負(fù)載含當(dāng)前排隊(duì)任務(wù)數(shù)、任務(wù)類型匹配度、能耗和成本。大體上就是給每個(gè)候選節(jié)點(diǎn)算一個(gè)綜合得分然后結(jié)合約束條件取最優(yōu)。約束條件包括數(shù)據(jù)位置、資源預(yù)留、任務(wù)優(yōu)先級等。很多論文喜歡在算法層面討論得很花哨但工程上先把參數(shù)定準(zhǔn)比優(yōu)化算法更關(guān)鍵。舉個(gè)例子一個(gè)實(shí)時(shí)渲染任務(wù)對時(shí)延敏感我會把網(wǎng)絡(luò)時(shí)延的權(quán)重調(diào)高一個(gè)批量數(shù)據(jù)分析任務(wù)對成本敏感我會把能耗和單位算力成本的權(quán)重調(diào)高。同一個(gè)調(diào)度框架通過調(diào)權(quán)重就能適配不同業(yè)務(wù)這才是算力路由在實(shí)踐中真正可行的形態(tài)。2.3 算力調(diào)度與算力編排兩層容易混淆的機(jī)制算力路由負(fù)責(zé)把請求引到某個(gè)節(jié)點(diǎn)算力調(diào)度負(fù)責(zé)在節(jié)點(diǎn)內(nèi)部安排資源算力編排則負(fù)責(zé)把復(fù)雜業(yè)務(wù)拆成多個(gè)子任務(wù)分配到多個(gè)節(jié)點(diǎn)協(xié)同完成。這三層是層層遞進(jìn)的關(guān)系但很多人會把調(diào)度和編排混為一談。拿一個(gè)大模型推理業(yè)務(wù)舉例。算力路由決定把它分到A區(qū)域的GPU集群算力調(diào)度決定在集群里分配多少張卡、什么規(guī)格的顯存算力編排則負(fù)責(zé)把這個(gè)推理請求拆成預(yù)處理、模型推理、后處理三個(gè)子任務(wù)分別在不同類型的算力節(jié)點(diǎn)上執(zhí)行。這三層各司其職邊界一旦模糊出了問題就很難定位是哪個(gè)環(huán)節(jié)的鍋。實(shí)際項(xiàng)目里編排層往往由業(yè)務(wù)方自己的平臺控制調(diào)度層由資源管理平臺控制路由層由算力網(wǎng)絡(luò)控制面控制。三層之間要通過標(biāo)準(zhǔn)接口交互每一層的狀態(tài)都要暴露成數(shù)據(jù)服務(wù)否則上層調(diào)度就是盲人摸象。我見過太多團(tuán)隊(duì)只把調(diào)度器拉通了編排層和路由層還是各管各的結(jié)果全局調(diào)度永遠(yuǎn)只能在自己那一畝三分地里優(yōu)化。2.4 算力網(wǎng)絡(luò)的控制面與數(shù)據(jù)面算力網(wǎng)絡(luò)從架構(gòu)上看通常分成控制面和數(shù)據(jù)面。數(shù)據(jù)面就是真實(shí)承載業(yè)務(wù)的那條路徑任務(wù)從用戶側(cè)流入經(jīng)過網(wǎng)絡(luò)到達(dá)算力節(jié)點(diǎn)跑完后結(jié)果再流回來??刂泼鎰t負(fù)責(zé)監(jiān)控全網(wǎng)狀態(tài)、制定決策、下發(fā)路由策略。控制面和數(shù)據(jù)面的關(guān)系可以理解成導(dǎo)航和開車的關(guān)系。導(dǎo)航基于實(shí)時(shí)路況規(guī)劃路線但最終車還是要在真實(shí)道路上走。算力網(wǎng)絡(luò)的控制面會持續(xù)收集全網(wǎng)節(jié)點(diǎn)的算力狀態(tài)和鏈路質(zhì)量重建一張“算力地圖”然后根據(jù)業(yè)務(wù)需求在算力地圖上做路徑規(guī)劃。這張地圖不能太粗糙至少要把每個(gè)節(jié)點(diǎn)的異構(gòu)算力類型、實(shí)時(shí)負(fù)載、網(wǎng)絡(luò)入站出站時(shí)延都標(biāo)出來。工程上控制面最喜歡做的是“全網(wǎng)視圖的定期同步”數(shù)據(jù)面關(guān)心的是“某一條具體路徑是否可用”。兩邊天然存在張力控制面要全局信息數(shù)據(jù)面要低延遲和穩(wěn)定性。解決的辦法是分層緩存——控制面全局?jǐn)?shù)據(jù)不用實(shí)時(shí)同步到每個(gè)轉(zhuǎn)發(fā)節(jié)點(diǎn)只要保證關(guān)鍵決策所需的核心信息有足夠新鮮度就夠了。3. AI算力網(wǎng)絡(luò)大模型時(shí)代的算力調(diào)度新難題3.1 AI負(fù)載的特殊性為什么傳統(tǒng)調(diào)度不頂用傳統(tǒng)云業(yè)務(wù)的調(diào)度單位是容器幾十GB內(nèi)存、幾個(gè)核任務(wù)分鐘級就能結(jié)束。大模型訓(xùn)練一個(gè)任務(wù)動輒占滿幾百顆GPU時(shí)間跨度是幾天甚至幾周調(diào)度維度完全變了。而且AI訓(xùn)練任務(wù)中間還要周期性做checkpoint狀態(tài)要定期落盤保存稍有閃失幾百萬的算力成本就白燒了。AI推理任務(wù)則完全相反是突發(fā)型負(fù)載隨用戶請求來來去去對時(shí)延極其敏感。一個(gè)推理服務(wù)可能上一分鐘還在低負(fù)載下一分鐘因?yàn)槟硞€(gè)熱點(diǎn)事件流量暴漲三倍。這種脈沖式特征讓傳統(tǒng)基于歷史均值預(yù)測擴(kuò)容的方案頻繁失靈。所以AI算力網(wǎng)絡(luò)不能一套調(diào)度策略走天下必須針對負(fù)載特征做差異化管理。訓(xùn)練任務(wù)適合“預(yù)約式搶占式”混合調(diào)度推理任務(wù)適合“彈性配額”調(diào)度。這也意味著算力網(wǎng)絡(luò)的度量系統(tǒng)要同時(shí)支持長周期資源預(yù)留和短周期實(shí)時(shí)刷新對底層數(shù)據(jù)采集的要求比傳統(tǒng)云高出一個(gè)量級。3.2 AI算力網(wǎng)絡(luò)的實(shí)踐訓(xùn)練與推理的差異化調(diào)度在訓(xùn)練場景我會優(yōu)先做資源預(yù)留。用戶提前申請算力時(shí)系統(tǒng)會評估集群的可用資源、中斷風(fēng)險(xiǎn)、檢查點(diǎn)策略然后給出一個(gè)比較精確的開始時(shí)間和結(jié)束時(shí)間。如果資源不足就進(jìn)入排隊(duì)隊(duì)列等前序任務(wù)完成。這個(gè)排隊(duì)策略在工程上要注意“公平性”和“利用率”的平衡否則容易變成長期任務(wù)餓死短任務(wù)。在推理場景我會優(yōu)先做彈性調(diào)度。用一套秒級采集的GPU利用率曲線來決定擴(kuò)縮容冷啟動容器必須預(yù)熱好流量高峰到來前做預(yù)擴(kuò)容。這里的關(guān)鍵是快調(diào)度決策必須在幾百毫秒內(nèi)完成否則用戶已經(jīng)流失了。我實(shí)測下來推理彈性調(diào)度的核心瓶頸往往不在算法而在鏡像拉取和模型加載的速度所以熱點(diǎn)模型要做到多節(jié)點(diǎn)熱備。還有一類非常典型但容易被忽視的AI負(fù)載是數(shù)據(jù)預(yù)處理和模型微調(diào)。它們對GPU要求不高但對CPU、內(nèi)存、存儲帶寬要求很大。這類任務(wù)如果被調(diào)度到高算力的GPU節(jié)點(diǎn)反而是浪費(fèi)。AI算力網(wǎng)絡(luò)的價(jià)值很大一部分就體現(xiàn)在把這些細(xì)碎任務(wù)分診到合適的算力層級上別讓昂貴的大算力卡干搬磚的活。3.3 AI算力網(wǎng)絡(luò)的架構(gòu)要點(diǎn)落地AI算力網(wǎng)絡(luò)時(shí)有幾個(gè)架構(gòu)層面的要點(diǎn)值得提前想清楚。第一模型倉庫和數(shù)據(jù)集的位置要納入調(diào)度考量。大模型動輒幾百GB從存儲中心拉到計(jì)算節(jié)點(diǎn)的時(shí)間不能忽略所以調(diào)度決策要考慮數(shù)據(jù)位置盡量就近拉取必要時(shí)先把數(shù)據(jù)預(yù)熱到節(jié)點(diǎn)緩存里。第二AI任務(wù)的狀態(tài)管理要統(tǒng)一抽象。訓(xùn)練任務(wù)的checkpoint、推理服務(wù)的會話狀態(tài)都要能被調(diào)度系統(tǒng)感知和遷移否則無法實(shí)現(xiàn)跨節(jié)點(diǎn)容災(zāi)。第三要預(yù)留下一次優(yōu)化迭代的上報(bào)通道。我見過一個(gè)實(shí)際案例一開始只做了“算力路由”沒管數(shù)據(jù)位置結(jié)果一個(gè)200GB的模型要從異地存儲拉到GPU節(jié)點(diǎn)花了二十分鐘業(yè)務(wù)側(cè)根本等不起。后來我們把“數(shù)據(jù)位置”作為一個(gè)獨(dú)立因子寫進(jìn)路由打分模型加載耗時(shí)直接降了一個(gè)數(shù)量級。這件事給我的教訓(xùn)是AI算力網(wǎng)絡(luò)不能只盯著計(jì)算能力看存儲和數(shù)據(jù)的調(diào)度同樣重要。4. 算力與電力協(xié)同電池系統(tǒng)對電網(wǎng)的平滑能力到底怎么算4.1 問題背景AI負(fù)載波動對電網(wǎng)的沖擊算力網(wǎng)絡(luò)討論得越深入有一個(gè)問題就躲不開算力要吃電。AI負(fù)載的波動對電網(wǎng)的沖擊是真實(shí)存在的而且比傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)大得多。大模型訓(xùn)練任務(wù)啟動時(shí)瞬間拉起幾千塊GPU集群功耗在幾分鐘內(nèi)飆升幾十兆瓦checkpoint落盤時(shí)也會有周期性的大電流沖擊。如果多個(gè)AI數(shù)據(jù)中心在同一時(shí)間做同樣動作電網(wǎng)側(cè)會感受到非常明顯的功率波動。要解決這個(gè)問題通常有兩條路。一條是從算力側(cè)出發(fā)把峰值負(fù)載錯開比如通過算力網(wǎng)絡(luò)的調(diào)度能力讓不同集群的訓(xùn)練時(shí)間錯峰。另一條是從電力側(cè)出發(fā)在數(shù)據(jù)中心部署電池儲能系統(tǒng)用儲能吸收和釋放功率波動把數(shù)據(jù)中心的對外功率表現(xiàn)為一個(gè)平穩(wěn)、可控的負(fù)荷。第二條路里有一個(gè)核心工程問題電池系統(tǒng)到底需要多大功率、多大容量才能把電網(wǎng)側(cè)的波動平滑到合格范圍這就是“電池系統(tǒng)對電網(wǎng)的平滑能力”的計(jì)算問題。我在實(shí)際工程里驗(yàn)證過一套計(jì)算方法下面拆開講。4.2 平滑能力的核心公式與計(jì)算邏輯“平滑能力”本質(zhì)上要回答三個(gè)問題能削掉多大的功率尖峰、能扛多久、能把波動率降到什么程度。對應(yīng)的工程指標(biāo)是功率容量、能量容量、平滑率。第一步確定目標(biāo)曲線。把原始負(fù)載曲線P_load(t)通過滑動平均得到目標(biāo)曲線P_target(t)?;瑒悠骄拇翱陂L度是關(guān)鍵參數(shù)窗口越大目標(biāo)曲線越平滑電池需要跟著補(bǔ)償?shù)姆群统掷m(xù)時(shí)間也越大。實(shí)際項(xiàng)目中窗口長度通常根據(jù)電網(wǎng)考核周期來定比如考核分鐘級爬坡率窗口就取1到5分鐘。第二步計(jì)算電池系統(tǒng)需要提供的補(bǔ)償功率。補(bǔ)償功率P_batt(t) P_load(t) - P_target(t)。電池系統(tǒng)的功率容量就取這個(gè)補(bǔ)償序列的最大絕對值再乘上1.1到1.2的安全裕度。為什么要乘裕度因?yàn)閷?shí)際負(fù)載不是光滑曲線負(fù)載預(yù)測也有誤差電池如果每次都頂著極限跑壽命衰減會非???。第三步計(jì)算電池系統(tǒng)的能量容量。把補(bǔ)償序列中所有正值放電方向做累計(jì)累計(jì)結(jié)果的最大值就是電池在對應(yīng)窗口內(nèi)需要能放出的能量。但工程上要注意如果負(fù)載一直高于目標(biāo)曲線窗口內(nèi)積分值會持續(xù)增長這時(shí)需要結(jié)合運(yùn)行窗口來截?cái)嘤?jì)算取一個(gè)滑動窗口內(nèi)的最大累計(jì)放電量作為能量需求。第四步算平滑率。平滑率等于1減去平滑后最大爬坡率除以原始最大爬坡率再乘以100%。平滑后最大爬坡率一般取電網(wǎng)允許的爬坡上限或者目標(biāo)曲線的最大爬坡率。這個(gè)指標(biāo)用來衡量電池系統(tǒng)把負(fù)載波動“抹平”的效果是甲方最關(guān)心的驗(yàn)收指標(biāo)之一。4.3 實(shí)際工程中的一個(gè)完整計(jì)算案例假設(shè)某AI推理池的功率負(fù)載按分鐘采樣某段時(shí)間內(nèi)的功率序列為12.0MW、17.0MW、16.2MW、15.8MW、11.5MW。我們把滑動窗口設(shè)為5分鐘每個(gè)時(shí)刻的目標(biāo)功率取窗口內(nèi)所有值的平均。比如最后一個(gè)點(diǎn)窗口覆蓋全部5個(gè)值目標(biāo)功率P_target (12.017.016.215.811.5)/5 14.5MW。那么每時(shí)刻的補(bǔ)償功率為t112.0 - 14.5 -2.5MW電池充電t217.0 - 14.5 2.5MW電池放電t316.2 - 14.5 1.7MW電池放電t415.8 - 14.5 1.3MW電池放電t511.5 - 14.5 -3.0MW電池充電功率容量需求 max(|補(bǔ)償序列|) × 安全裕度 3.0MW × 1.2 3.6MW。能量容量需求放電部分的累計(jì)能量約為(2.51.71.3)MW × 1分鐘 / 60 ≈ 91.7kWh充電部分最大累計(jì)能量是3.0MW × 1分鐘 / 60 50kWh。綜合來看按最大放電需求91.7kWh作為能量下限再乘上安全裕度和放電深度系數(shù)實(shí)際配置容量要放到120kWh左右才穩(wěn)。再看平滑率。原始負(fù)載最大爬坡出現(xiàn)在t1到t2之間爬坡率 (17.0 - 12.0) / 1min 5MW/min。如果電網(wǎng)允許的爬坡上限是2MW/min那電池在t1到t2之間至少要額外承擔(dān)3MW的下發(fā)補(bǔ)償這和上面補(bǔ)償序列的結(jié)論正好吻合。平滑率 (1 - 2/5) × 100% 60%。需要注意的是這只是靜態(tài)計(jì)算。實(shí)際工程中還要考慮電池SOC維持在合理區(qū)間、電池響應(yīng)時(shí)間、充放電循環(huán)效率以及負(fù)載預(yù)測的不確定性。很多時(shí)候計(jì)算出來的理論容量還會因?yàn)殡姵刈陨硇阅芮€再放大15%~25%才會進(jìn)入采購環(huán)節(jié)。5. 實(shí)操建議與避坑指南5.1 從零開始落地算力網(wǎng)絡(luò)要注意的幾件事很多團(tuán)隊(duì)看到“算力網(wǎng)絡(luò)”四個(gè)字第一反應(yīng)就是上一套調(diào)度軟件或者買一批網(wǎng)絡(luò)設(shè)備。但我的經(jīng)驗(yàn)是第一步永遠(yuǎn)不是買工具而是把現(xiàn)狀盤清楚。先回答幾個(gè)問題你有哪些算力資產(chǎn)各自是什么類型當(dāng)前利用率如何負(fù)載峰值出現(xiàn)在什么時(shí)間如果這些問題靠拍腦袋回答后面所有調(diào)度策略都是空中樓閣。第二件事從單一場景切入。別一上來就做全局最優(yōu)。先選一個(gè)痛點(diǎn)最明顯的場景比如把某個(gè)利用率低的機(jī)房接入統(tǒng)一調(diào)度讓它承接跨機(jī)房的突發(fā)任務(wù)。跑通一個(gè)閉環(huán)再逐步擴(kuò)展。我見過太多團(tuán)隊(duì)想一口氣把十幾個(gè)機(jī)房全部納入統(tǒng)一調(diào)度結(jié)果項(xiàng)目拖了一年半載還在搭平臺業(yè)務(wù)方已經(jīng)失去耐心了。第三件事網(wǎng)絡(luò)團(tuán)隊(duì)和算力團(tuán)隊(duì)一定要合署辦公或者至少建立穩(wěn)定的協(xié)作機(jī)制。算力網(wǎng)絡(luò)最微妙的地方在于網(wǎng)絡(luò)時(shí)延和算力負(fù)載是互相耦合的。網(wǎng)絡(luò)團(tuán)隊(duì)只知道調(diào)整路由策略算力團(tuán)隊(duì)只知道調(diào)整資源配額兩邊不溝通調(diào)度出來的結(jié)果一定不是最優(yōu)。我在項(xiàng)目里見過太多因?yàn)閳F(tuán)隊(duì)割裂導(dǎo)致的事故比如網(wǎng)絡(luò)擴(kuò)容做完了算力調(diào)度策略沒同步更新結(jié)果業(yè)務(wù)反而繞了遠(yuǎn)路。5.2 算力狀態(tài)延遲最容易踩的坑調(diào)度系統(tǒng)依賴的數(shù)據(jù)永遠(yuǎn)是一個(gè)過去時(shí)刻的狀態(tài)。你采集到的“空閑”可能是5秒前的空閑5秒內(nèi)可能已經(jīng)有一批任務(wù)涌入。所以調(diào)度決策要容忍這種延遲策略上要帶一點(diǎn)“保守余量”不能看到空閑就全額分配。我一般在分配時(shí)會留出15%~20%的余量防止?fàn)顟B(tài)刷新間隙被新任務(wù)打穿。還有一個(gè)問題是任務(wù)回填。大任務(wù)和小任務(wù)混排時(shí)如果調(diào)度器總是優(yōu)先大任務(wù)小任務(wù)可能被餓死排到天荒地老都跑不上。要避免這個(gè)問題可以在調(diào)度策略里設(shè)置一個(gè)“最大等待時(shí)間”超過閾值后不管優(yōu)先級直接放行。這個(gè)機(jī)制在混部場景里非常重要否則小任務(wù)經(jīng)常會被大任務(wù)活活壓死。5.3 算力網(wǎng)絡(luò)上線后的可觀測性設(shè)計(jì)上線只是開始觀測才是日常。算力網(wǎng)絡(luò)至少要有一套全鏈路監(jiān)控覆蓋三個(gè)層面網(wǎng)絡(luò)層看連接質(zhì)量、時(shí)延、丟包算力層看節(jié)點(diǎn)負(fù)載、隊(duì)列深度、任務(wù)成功率業(yè)務(wù)層看端到端響應(yīng)時(shí)間、用戶滿意度。三個(gè)層面的指標(biāo)要對齊才能快速定位問題到底出在網(wǎng)絡(luò)、算力還是業(yè)務(wù)側(cè)。我個(gè)人強(qiáng)烈建議在設(shè)計(jì)的第一個(gè)版本就加入“調(diào)度決策日志”。每一次調(diào)度都記錄下決策輸入、決策結(jié)果、實(shí)際效果。后面想優(yōu)化策略時(shí)這些日志就是最寶貴的訓(xùn)練數(shù)據(jù)。沒有這些日志出了問題復(fù)盤只能靠猜那和高成本運(yùn)維有什么區(qū)別。5.4 算力網(wǎng)絡(luò)后續(xù)可以怎么擴(kuò)展算力網(wǎng)絡(luò)這件事往后走一定會和更多系統(tǒng)產(chǎn)生交集。比如容量規(guī)劃能不能用歷史的調(diào)度數(shù)據(jù)預(yù)測未來一周的算力需求提前指導(dǎo)采購和擴(kuò)容再比如成本核算能不能把算力調(diào)度的結(jié)果精確折算成錢讓業(yè)務(wù)方看到“這次任務(wù)比上個(gè)月便宜了多少”這些都是一旦基礎(chǔ)調(diào)度跑通之后立刻就能產(chǎn)生增量的方向。還有一個(gè)方向是把算力網(wǎng)絡(luò)的調(diào)度能力開放出去做成API服務(wù)。業(yè)務(wù)方不需要關(guān)心底層有多少機(jī)房、什么型號的GPU只需要調(diào)一個(gè)接口傳入任務(wù)描述、數(shù)據(jù)規(guī)模、期望時(shí)延系統(tǒng)自動完成節(jié)點(diǎn)選擇、資源分配、數(shù)據(jù)調(diào)度。這個(gè)才真正意義上做到了“計(jì)算能力像公共服務(wù)一樣被消費(fèi)”。我在做算力網(wǎng)絡(luò)項(xiàng)目的這幾年里回過頭看最難的不是算法也不是設(shè)備而是讓各方在同一個(gè)目標(biāo)下協(xié)作。算力網(wǎng)絡(luò)是一個(gè)會持續(xù)演進(jìn)的系統(tǒng)工程它從“把算力連接起來”開始到“讓計(jì)算能力變得隨手可用”結(jié)束中間的路很長。我個(gè)人最大的體會是先把手頭的算力資源盤點(diǎn)清楚再來談?wù){(diào)度這兩個(gè)字。算力網(wǎng)絡(luò)的價(jià)值不在宏大敘事里而在那些每天都在發(fā)生的細(xì)碎優(yōu)化中。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久草五月婷婷| 色5月婷婷| 五月天婷婷影院| 激情婷婷五月女| 亚洲精品又粗又大又爽A片| 婷婷五月综合在线视频| 亚洲色啪| 日本三级毛片| 九九热视频精品999| 婷婷五月丁香91| 五月婷婷激情刺激| 91九色国产熟女| 久久五月视频| 五月天啪啪| 五月丁香六月情亚洲| 色久99| 国产在这里只有精品| 色。 婷婷婷| 六月婷色| 久操欧美在线观看97| 久久3p| 久热这里只有精品在线观看| 超碰免费人妻| 五月婷婷久草在线视频综合| 1024婷婷综合久久五月天| 极品少妇高潮啪啪AV无码| 五月婷婷丁香在线| 婷婷五月丁香久久| 成人欧美Va| 超碰人人干| 97碰碰九九视频| 丁香五月成人社区| 日韩成人AV在线| 激情九九综合网| 玖玖在线视频福利| 欧美噜噜噜草| 丁香五月天啪啪| 97婷婷久久丁香| 精品久久99| 99ri国产在线| 丁香五月婷婷色| 亚洲色情网站| 久久亚洲婷婷| 婷香五月激情视频| 中文字幕激情综合| 五月婷婷丁香综合| 深爱激情综合网| 成功精品影院| www.色综合.com| 色丁香五月婷婷在线| 性爱先锋AV| 亚州操逼网| 亚洲九九99精品视频在线播放| 综合激情五月天| 97色久| 婷婷五月天亚洲五码| 五月综亚洲| 五月婷婷色色色| 国内久久久精品99| 国产在线中文字幕| 最新日本A片| 九九香蕉网| 五月婷婷av| 六月婷婷国产| 五月婷婷婷丁香播| 97欧美在线| 欧洲激情精品婷婷| 美女激情综合| 亚洲乱码日产精品BD| 婷婷五月天av| 九九九激情网| 精品在线网站| 激情WWW| 丁香激情六月天婷婷| 丁香开心深爱| 五月丁香六月婷婷综合网缴情| 大香蕉院线| 激情五月天色婷婷综合| 2017人人操| 99在线精品观看99| www.伊人天堂偷偷婷婷| 亚洲色情激情丁香五月| 欧美综合五月丁香五月天| 色婷婷六月综合| 久久这里只有精品无码| 丁香六月综合激情| 大伊香蕉精品视频在线| 99ri精品| www.婷婷五月天.com| 婷婷综合色图| 日韩AV在线免费| 五月婷综合激情| 久久久久久婷| 色色婷婷丁香| 久久久五月四色| 天天狠天天叉| 中文字幕丰满孑伦无码专区| 久久精品99久久| 亚洲综合五月天婷婷丁香| 99日本黄站| 丁香五月综合图片在线观看| 色婷婷激情| 五月天激情久久| 亚洲无码影音| 五月激情丁香六月狠狠干| 五月丁香亚洲综合网| 五月婷色丁香| 五月天婷婷成人网| av激情在线| 这里都是精品99| 天天综合天天玩夜夜玩天天玩夜夜玩 | 婷婷久久18| 99re在线观看| 在线中文av| 90色免费视频| 日韩欧美骚货| 99热99精品在线观看| 久久丁香五月婷婷| 黄色片区子| 超碰9799| 操逼123网| 99这里只有精品|v| 色五月色五天色情网| 婷婷日日天天| www.色五月| 色情五月综合婷婷| 色色色com| 超碰9在| 色五月婷婷大| 中国无码av| 丁香五月精品视频| 久色激情| Se.婷婷五月天| 色综合网址| 五月天婷婷色色首页| 亚洲看av的网站| 网站免费一站二站| 777.色色| 日韩在线观看网址| 丁香五月六月婷婷殴美综合| 婷婷五月娱乐在线| 成功精品影院| 久久婷婷伊人| 丁香六月婷| 亚洲色五月| 在线成人网址| 五月丁香爱婷婷深深| 97久久草草超级碰碰碰| 5月婷婷综合| 激情婷婷五月天| 欧美影院婷婷| 五月婷婷综合在线| 五月天黄色激情小说| 色噜噜狠狠色综无码久久合欧美| 五月婷婷综合色啪首页| 新男人天堂人妻| 99热99热在线| 99啪| 亚洲日韩乱码一区二区三区四区| 国产色五月| 五月丁香久久激情综合| 婷婷五月天综合AV| 99热大全在线观看| 日B日潘金莲BB| 99热在线成人网站| 久久 婷婷 五月天| 99视频内射三四| 天堂婷婷五月在线| 神马久久五月天| 激情综合五月婷婷| 二人电影免费版在线观看| 狠狠狠狠狠狠| 五月激情六月综合| 五月婷婷高清| 婷婷99丁香| 亚洲中文字幕AV| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 这里只有精品视频一区| 一区二区免费看| 玖玖爱资源站| 91人妻视频| 综合九九久久| 色九月婷婷| 狠狠干五码| xxxx五月天色色| 色色色国产| 五月丁香啪| 日本少妇裸体做爰高潮片| 久播影院免费观看电视剧大全最新网| 天天搡日日搡aaaaⅩ| 五月激情小说| 亚洲丁香婷婷丁香五月天激情| 婷婷丁香九月| 香蕉视频性爱BB做爱| 婷婷五月天开心网| 五月婷婷深爱六月| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 亚洲丁香五冃97色| 99操碰| 人人人va亚洲视频在线| 久久婷婷六月天| 97大香蕉五月天| 大香蕉久久婷婷| 婷婷伊在线| 五月天久久激情| 亚洲永久免费| 99这里热| 五月天婷婷影院影院观看| 国产成人av在线播放| 欧美三级巜人妻互换| 九色无码| 五月丁六月香| 色婷婷狠狠久久综合五月| 91无码视频| 日本三级第一页| 色狠狠色| 91碰在线| 丁香五月婷婷综合91| 成片免费播放| 色在线99| 开心五月激情网| 天天爽人人爽| 色色综合日韩| 开心婷婷五| 国产精品日日躁夜夜躁| 六月丁香激情| 日韩无码系列| 欧美伊人9| 在线中文AV| 色情成人五月天| 在线观看婷婷5月| 五月婷婷精品无在线| 99色色网站| 91操片| 九九99男女视频在线观看| www.色多多婷| www.金莲av| 91超级碰碰碰| 乱岳熟女50岁| 婷婷五月花| 99热这里只有精品4| Av大香蕉| 婷婷丁香五月综合| 亚洲黄色影视| 97在线观视频免费观看| 国产九月婷婷| 欧美日韩五月婷婷| 97丁香五月| 9久9久| 日笨久久网| 亚州欧美黄色电影| 色玖玖综合| 久久九九婷婷| 玖玖在线视频| 色五月天天| 欧美日韩大黄| 激情五月天色爱| 丁香五月激情综合网激情五月| www色婷婷久久综合久色 | 色亭亭九月| 99热伊人综合| 超碰人人91| 97黑人精品区| 国产xxxxx在线观看| 丁香五月AV综合| 亚洲成色综合网站免费观看| 婷婷五月丁香久久| 久久香蕉丁香| 亚洲精品V天堂中文字幕| 久操婷婷| 亚洲天堂碰碰婷婷| 亚洲婷婷在线播放十月| 五月丁香六月激情网| 丁香5月综合啪啪| 中文字幕 久久9999| 久久欧洲综合网| 五月五婷婷| 天天爽天天操| 伊人无码高清| 9超碰在线| 91操片| 这里只有精品视频视频在线观看| 三级大香蕉网| 99自拍视频网站| 另类激情综合| 婷婷五月中文字幕| 九九热九九热精品| 色五月涩涩婷婷| 五月色影院| 99精品偷自拍| 人人操97| 久播影院免费观看电视剧大全最新网| 激情综合五月| AV在线二十六页| 色久女| 四色 爱 婷婷 精品 亚洲 五月天| 色天天综合成人网| 欧美日韩一区二区三区四区| 狠狠色噜噜狠狠狠777奇米| 超碰91人人操| 色五月天成人| 午夜不卡久久精品无码免费| 伊人网大香| 在线色五月婷婷| 激情综合激情综合| 五月J香蕉婷婷| 久久综合中文字幕| 丁香六月色婷婷综合| 91美女被操| 中文字幕视频色婷婷| 七七九色| 丁香成人视频| 婷婷丁香熟女| 婷婷丁香五月视频| 午夜大香蕉| 色色97丁香婷婷五月天| 5月丁香六月情| 色99自拍| 五月丁香六月婷婷操操操| 五月婷激情| 操操熟女| 久久A区B区| 五月天激情视频| 99啪啪骑| 26uuu亚洲欧美日本| 九九热在线精品视频| 丁香九月综合激情| 久久婷婷五月综合色丁香| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 另类激情码| 五月丁香久久激情网| 色九月| av线电影| 久久久久人妻| 一级二级色大片| 九九视频在线观看视频6| 九九99免费视频| 噜噜狠狠色| aaaa久久| 五月五婷婷| 99热在线观看| 激情开心五月亚洲| 99cao婷婷| 亚洲综合丁香五月| 成人网在线观看视频| 久久久久妻| 97碰| 热九九精品| 99干日本| 国产欧美日韩性爱| 久99热| 五月天日日操夜夜操 | 色婷婷偷拍| 超碰99热在线观看| 99色| 天天做天天爱天天爽夜夜揉| 思思热在线| 99这里的视频都是精品| av一级棒av| 亚洲AAAA网| 性做爰A片免费视频A片直播| 国产另类综合| 开心五月婷婷综合在线精品素人| 综合啪啪| 丁香五月天在线观看视频| 99在线观看| 亚洲成人在线播放| 国产亚洲精品AAAA片APP| 狠狠另类视频| 色婷婷激情视频| 欧美成人精品A片免费一区99| 激情婷婷五六月天| 五月天丁香婷婷久久九| 狠狠色噜噜狠狠狠狠综合| 婷婷久久18| 91日日日| 久久亚洲网| 九九丁香社区欧美激情| 日本天堂免费99| 五月丁香亭亭操逼| 国内外色色色色色成人视频| 开心五月天激情网站| 精品一区二区三区三区| 99性视频| 这里只有精品9| 538任你爽视频不一样的| 久操热| 色欲丁香久久| 久久久久婷| 婷婷色播婷婷| 久久综合天天综合| 婷婷五月色情天| 国产亚洲成AV人片在线观黄桃| 婷婷四色成人综合色视| 香蕉视频91| 色爱综合网| 色99欧洲色19| 久久久人妻久久久| 加勒比久热| 久热99| 婷婷五月久久| 99热在线播放| 99热精品超碰| 久久久99精品免费观看| 丁香花五月天激情| 狠狠色综合五月| 亚洲、欧美、国产另类笫二区| 欧美大肥婆大肥BBBBB| 色五月丁香六月欧美综合| 综合色五月| 久综合九综合99| 三级三久久线久久99久目本WW| 色亚洲婷婷| 久久精品五月天| 最近中文字幕2019视频1| 开心婷婷丁香五月| 99久久人妻精品无码二区| 久久免费精彩视频| 天天干肏夜夜| 五月婷婷深深爱爱| 99久在线观看| 丁香五月激情综合婷综| 97人碰人操| 婷婷六月色开| 色五月涩涩婷婷| 六月丁香婷婷色综合| 爆乳熟女一区二区三区爆乳| 亚洲成人av中文| 婷婷五月激情网| 九九热re99re6在线精品| 久久这里只有精品无码| 激情深爱综合| 亚洲色婷婷| 久久精品天| 大伊香蕉精品视频在线| 五月天婷婷成人网| 五月天偷拍| 久久92| AAAA网站| 婷婷噜噜| 思思国产99| 丁香五月瑟瑟| 欧美va视频不用播放器的va视频网| 超碰人人91| 久久伊人五月天| 人妻内射一区二区在线视频| 五月天激情国产综合婷婷婷| 91狠狠综合久久久久久| 日韩九区| 尔尔AV一区| 日韩久久视频| 激情综合无码| 五月天综合视频| 97操碰视频| 第四色五月婷婷| 这里只有精品1| 九九视频这里只有精品| 婷婷综合精品视频97| 思思热国产| 久久思思热视频| 久久婷婷五月丁香| 99er久久| 国产美女视频久| 五月丁香成人小说| 丁香狠狠色婷婷| 性热视频99精品| 天天搞天天色综合| 91丨九色丨东北熟女| 99久久99久久综合| 综合婷婷| 91久女| 一区操| 亚洲成人AV在线| 色爱99| 人人97碰| 色婷婷五月天激情久久| 996热re视频精品视频这里| 99热777| 丁香五月五月婷婷五月天激情四射| 丁香六月五月婷婷| www.五月婷婷.com| 六月色婷婷| 尤物一区二区| 五月婷久久草| 激情丁香婷婷六月天| 色综合色欲综合天天免费 | 色婷婷天堂| 色五月首页| 五月大香蕉| 色五月婷婷777| 成人一区在线观看| 五月丁香网视频| 成人网丁香五月| 五月婷婷激情久久| 日日天天干| 国产精品久久久久久久久久免费| 黄页免费一级视频懂色| 九九伊人网| 五月综合激情综合久| 五月天,激情四射,婷婷频道| 成人AV在线电影| 777影视理论片大全在线观看| 任你干线上免费视频有3吗| 色综合久久中文| 伍月婷婷免费视频| 天天狠狠六月婷丁香影院| 久综合网| 欲求不满的人妻| 9久精品| 久草xx性爱视频| 97碰久久| 日韩精品呦呦va| 99啪啪| 婷婷五月天狠狠搞干| 九色PORNY自拍成人精彩视频| 久久怡红院| 激情五月婷婷视频一区二区三区| 婷婷六月激情啪啪| 欧美影院婷婷| 婷婷综合偷拍| 九九热区一区二区三区| 婷婷五月天色色| 丁香五月玖玖| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 九九这里是免费的视频5| 内射爽无广熟女亚洲| 九艹在线| 欧美色色网| 国产精产国品一二三在观看| 影音先锋噜一噜| 丁香五月婷综合网| 九月丁香久久网| 无码四色色色| 99激情在线| 9色小视频在线观看| 五月婷婷五月丁香综合| 亚洲成人AV在线观看| 青青草99re| 五月丁香六月激情网| AV人人操| 爱射综合| 五月婷婷色情| 婷婷色啪| 日亚二欧美| 综合激情四射一theav| 婷婷五月AA五月在线| 激情小说五月天| 操碰久| 日日夜夜婷婷| 丁香婷婷综合色五月激情国产基地| 六月婷伊人| 五月激情综合网| 丁香五月欧美激情| 久99视频在线观看| 站长推荐无码播放| 五月婷婷影院| 九九色影视| 婷婷操超碰| 97操碰在线视频| 日日爽日日| Av在线资源| WWW.99热| 1024AV视频| 日本成人小说婷婷六月| seuuu婷婷| 色五月婷婷激情五月| 天天日天天色| 五月色俺婷婷| 六月丁香开心婷婷欧美| 婷婷五月天成人网| 99riAV国产精品视频| 婷婷色色丁香五月天| 成人av观看| 婷婷五月情| 激情AV| 人人草人人爱| 六月丁香深深爱| 成人无码精品1区2区3区免费看| 色七色九九| CHINESE熟女老女人HD视频| 蜘蛛女免费观看完整版高清电影| 97精品人人A片免费看| 欧美黑人巨大猛烈cuckold| 国精产品一区一区三区免费视频| 一级A片天天操夜夜操| 五月丁香六月综合图| 可以免费看AV网站| 色九月婷婷丁香| 五月天综合久久| 99re熱| 大香蕉在九| 成人丁香五月天| 99热亚洲精品| 熟妇人妻中文字幕无码老熟妇| 婷婷五月天六月综合| 亚州欧美黄色电影| 97操碰碰无码视频| 天天操天天操综合| 热热99爱爱| 深爱激情六月天| 色色丁香五月婷婷| 亚洲av午夜精品一区二区| 99干日本| 色情一区二区播放| 五月婷婷深深爱| 婷婷色中文字幕| 97韩国久久电影院| 色婷婷免费视频| 99热这里| 香蕉婷婷色五月| 九九热九九| 在线一起草av| 激情六月婷婷| 色婷婷的五月天| 色情五月天视频网| 久久天堂婷婷五月| 欧美成人精品A片免费一区99| 老司机伊人| 色五月婷婷中文字幕在线观看| 婷婷丁香日韩五月| 99操| 国产激情综合五月久久| oumeisesewang| 色综合久久无码| 婷婷五月天成人| 夜夜爽天天干| 日本噜噜色网| 欧亚洲在线高清视频| 丁香五月熟女| 99精品偷自拍| 国产成人网站在线观看| 天天久| 婷婷丁香五月天综合网| 久久久久亚洲AV无码网影音先锋| 99久久婷婷国产综合亚洲| 五月婷婷六月丁香综合在线| 99精彩视频| 五月丁香青草综合啪啪| 成人精品一区二区三区四区五区 | 97久久久久久久久久久| 久久这里只有精品热在99| 玖玖色综合色| 久久9视频| 99精品在线观看视频| 综合五月天婷婷色| 婷婷深爱五月亚洲综合| 色五月天天在线观看资源站| 91精品久久久久久久| 五月丁香婷色| 免费观看高清无码| 免费碰碰视频久| 无码日本精品XXXXXXXXX | 人人爱国产| 中文成人在线| 五月婷婷色五月| 丁香五月综合在线视频| 亚洲色vA| 色色丁香激情五月| 五月天基地| 五月丁香六月婷婷综合伊人| 婷婷日| 在线观看五月婷婷网| 色一情一乱一乱一区91| 91久久九久久九久久九久久九久久| 一区=区操屄高清大全av| 免费无码毛片一区二区A片| 激情丁香五月| 欧美性做爰大片免费看办公室| 婷婷五月丁香六月| 五月激情视频| 亚洲精品无AMM毛片| 国产毛多水多女人A片| AA片在线观看视频在线播放| 久久er99热精品一区二区| 国产精品大香蕉| 国产精品国产成人国产三级| 强壮的公次次弄得我高潮A片日本 | 大香蕉综合| www.狠狠操| 久草热久草在线视频| 性av| 欧美精品狠狠色丁香婷婷| 亚洲AV日韩在线观看| 97人人妻人人艹| 香蕉色色网| 丁香五月婷婷亚洲另类| 久久婷婷网| 人妻久久久久久久久妻久久久久久久久| 婷婷导航| 天天日夜夜夜操操操操| 丁香五月五婷| WWW免费视频碰碰碰碰| 91日本在线| 成人做爰A片免费看网站找不到了| 丁香五月激情综合| 婷婷九九色| 激情五月,激情综合网| 在线观看的av| www.久久五月天.com| 五月丁香婷婷激激激综合网色播| 人妻啪啪啪| 五月丁香999| 国产亚洲精品AAAAAAA片| 97伦乱| 婷婷久久性爱| 思思99精品视频在线观看| 亚洲成人黄色网| 97干欧美| 亚洲在线免费成人| 超碰人人99| 久久久er热| 亚洲激情婷婷| 在线只有精品| 亚洲av成人电影在线观看| 丁香五月婷婷啪啪啪| 色色aⅤ網| 91狠狠色丁香| 国产肥白大熟妇BBBB视频| 五月丁香成年黄色| 97丁香五月天| 99热日| 亚洲精品又粗又大又爽A片| 久久久婷婷色五月资源网| 五月天激情国产综合婷婷婷就去爱| 丁香五月天BBw| 丁香六月久久| 婷婷激情97| 五月天色婷婷激情综合| 激情五月色婷婷| 日本不卡一区二区三区| 成人精品人妻| 九色色| 婷婷视频网| 色五月97| 五月丁香婷在线| 五月激情婷婷丁香| www.AV在线| 天天狠狠插| 色丁香久久| 在线一起草av| 天天久久综合| 五月激情小说| 婷婷激情九月| 色婷婷五月天在线观看| 激情五月四色| 五月丁香啪啪拍| 午夜色婷婷| 东北黄色一级| 深爱激情五月婷婷| www,黄色在线,con| 狠狠色噜噜狠狠色噜噜噜999| 开心五月天激情网| 在线超碰精品| 五月丁香在线婷婷美女| 久久精品A片777777| 99国产er热视频| 久久久久久激情| 人妻精品一区二区三区| 夜色五月天| 爱草视频在线| 被男人添B超爽视频| 婷婷激情伍月网| 99久在线精品99re8| 热久69| 丁婷婷五月天在线播放| 综合五月激情| 五月丁香婷婷激情澎湃四射| 中字幕视频在线永久在线观看免费 | 99热这里只有精品最新地址获取| 麻豆WWWCOM内射软件| 丁香激惜男女| 大香蕉综合网| 色播播之激情五月婷婷| 婷婷精品| 色综合xx| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 超碰cap| 淫荡综合网| 欧美久久九九| 精品久久久人妻| 综合久久综合综合| 激情六月色| A级毛片高清免费不卡播放谢谢谢谢| 开心婷婷五月天激情网| 成人片在线免费看| 亚洲无码99| 大香蕉人在线65| 婷婷五月天天爽| 好看的国产精品| 天天色色天天| 色五月开心五月激情五月| 性做爰1一7伦| 狠狠草综合网| 综合www色| 激情綜合網址| 婷婷第六色| 狠狠精品干练久久久无码中文字幕 | WWW.婷婷| 五月丁香色婷婷基地| 久久激情四射| 五月婷婷丁香六月| 91五月天| 日韩成人不卡| 五月天色婷婷综合| 91色噜噜狠狠狠狠色综合| 亚洲成人免费在线| 嫩草综合网| www.韩日视频| 五月色网| 手机AVAV天堂看网| 亭亭玉月丁香| 色婷婷六月| 色五月婷激情| 久久性刺激| 色婷婷狠狠| 99热这里只有精品官网| 九热免费视频| 国产成人精品一区二区三区视频| 99热精品在线免费观看| 欧美日朝成人| 五月丁香色停停啪啪啪| 久久综合婷婷五月| 婷婷五月天激情在线观看| 久久爱综合| 99精色| 日本成人噜噜| 五月天久久婷婷| 色色色色色色综合网| 九九干视频| 欧美成人网婷婷综合在线| 五月天婷婷色情| 嫩草AV久久伊人妇女超级A| 天天碰夜夜爽| 激情五月开心五月在线视频| 婷婷五月娱乐在线| 丁香婷婷啪啪| 66成人网| 五月婷婷免费| 97在线精品| 六月婷婷日| 婷婷精品视频| 九九大香蕉黄色影院| 国产日日夜夜操| 亚洲最大在线| 熟女国产在线一区二区三区四区| 激情深爱五月天| AV在线免费观看不卡| 色色色色色色网| z色五月播播久久| 99久久思思| 日本va欧美va欧美va精品| 夜色爱爱亚洲| 欧美性猛交99久久久久99按摩| 激情婷婷久久| 99久热这里只有精品| 第四色婷婷最爱| 婷婷永久在线| 丁香久月婷| 色99久草在线| 99国产精品久久久久久久久久久| 99免费热视频在线| 伊人啪啪网| 91啪级电影| 激情综合5月| 中文精品在| 激情久久 婷婷| 91色综合久久| 午夜不卡久久精品无码免费| 欧美色频| 久久激情五月| 99热精品在线观看| 九九99免费理论| 综合婷婷五月天| 激情综合网五月天| 婷婷瑟瑟五月天| 婷婷五月骚厕所| 99精品7| 99热精这里只有精品| 99热欧| 玖玖在线资源视频| 激情五月天噢美| 婷婷八月激情| 欧美天天草人人草| 五月天狠狠网站| 色999五月色| 97操操| 亚洲激情综合| 亚洲国产婷婷色五月| 91热爆在线| 丁香六月婷婷综合| 99视频在线| 亚洲色色色色色色色色色| 日本久久99| 亚洲精品色色| 人人操Av| 这里只有精品在线播放| 淫水导航| 五月天婷婷激情在线色图| 五月天网站免费欧美| 色综合久久五月天| 26UUU欧美激情一区二区| 婷婷五月AV| 思思热精品在线视频| 99热这里全都是精品| 97人人干人人操| 少妇性按摩无码中文A片| 国产午夜精品一区二区三区四区| 俺也去五月婷婷丁| 91操女| 97精品综合久久内射| 黑人熟妇一区二区三区| 97久久人人| 丁香久久AV| 亚洲色A| 99色在线观看视频| 九九热99热| 狠狠精品干练久久久无码中文字幕| 色色色五月天婷婷| 97碰碰电影| 色播综合| 激情五月天网页| 日韩三级高清无码| 九九色综合| 裸体做A爰片毛片A片免费| 超91热| 99伊人性爱在线影院| 性日本激情| 五月婷六月丁香| 婷婷五月,偷窥偷拍网| 欧洲亚洲精品| 亚洲网在线观看| 精品爆操| 久久小视频免费| 五月色天情| 色色色色色色色色五月先| 五月色情婷婷| 五月丁香AV在线| 在线婷婷| 天天综合天综合久久网| 五月婷婷综合久久| 五月婷婷免费在线观看| 久久最新色| 国产真人做爰视频免费| 99碰视频| 六月色婷婷欧美| 天天爽,夜夜爽| www五月| www.久久久久久久久久久| 国产VA播放| www.99热这里精品| 欧美大肥婆大肥BBBBB| 99久久.www| 丁香六月天婷婷色| 最新久久网址| 9色资源在线| 婷婷偷拍网| 激情综合激情综合| 免费无码毛片一区二区A片| 91综合色| 五月激情六月婷婷| 99久久婷婷国产综合精品草原| 五月婷婷色色网址| 深爱五月中文字幕| 色色色9| 六月激情丁香一道本7777| www.伊人天堂偷偷婷婷| 久久婷婷色| 婷婷五月丁香人妻无码高清| 精品视频99看在线视频| 玖玖爱综合网| 激情五月天福利| 九九热99精品| 日本狠狠干| 91丨九色丨熟女丰满| 99九九精品视频| 另类少妇人与禽zOZZ0性伦| 伊人久久大香蕉网| 亚洲五月停停| 综合网精品99| 五月丁香色五月| 色五月av| 91丨九色丨熟女高潮| 日本九婷婷| 91seAV| 日日日影院| 丰满人妻一区二区三区| 66精品国产成人| 日韩AV片| 综合久久高清| 久久人妻人人| 伊人影院久久网| 久色国产| 五月丁香婷婷伊人日韩| 六月婷婷七月丁香| 极品人妻VIDEOSSS人妻 | 国外亚洲成AV人片在线观看| 毛片网站谁有| 五月天婷婷丁香| 99久在线精品99re8热| 大香线蕉伊人| 激情av在线| 丁香婷婷激情| 99热性色| 91色逼| 91丨九色丨白浆秘| 婷婷久久99| 国产免费AV在线| 天天肏夜夜肏| 99天堂网| 色色婷婷五月天| 99色啊| 国产小精品| 亚洲婷婷丁香五月视频| 国产成人精品一区二三区熟女在线| 激情播丁香| 少妇2做爰HD韩国电影| 婷婷五月天六月综合| 亚洲日韩乱码一区二区三区四区 | 中文网AV| 五月婷婷丁香| 五月丁香色播| 丁香深五月婷婷| 99在线小视频| 五月婷婷丁香婷婷| 日韩xx在线| 婷婷欧美综合| 26uuu视频欧美| 久久精品99国产精品日本| 2023天天日夜夜爽| 丁香五月婷婷五月基地| 四月丁香五月婷婷久久| 伊人婷婷综合| 色五月亚洲| 久热这里只有精品视频6| 久久久久9| 射久久丁香五月| 天天五月天综合网址| 另类在线| 99热这里只有精品亚洲| 婷婷精品性视频| 99日逼视频| 久久久精品人妻| 婷婷五月丁香五月天| 色五月激情问网站| 亚洲av日韩无码| 99色啊| 91 久热| 久久久久亚洲AV成人无码电影| 色优久久| 99视频热99| 五月天伊人久久久久| 99视频色在线观看| 97爱艹婷婷开心丁香激情综合| 玖玖资源在线视频| 狠狠色色| 欧美性爱专区| 亚洲综合视频在线| 森林影视大全,最好看的2019年视频 | 99热成人精品| 色色色天堂网| 日本va欧美va国产激情| 日韩人妻操逼视频| 99热最新精品| 久久五月天激情| 91久久综合亚洲鲁鲁五月天| 丁香六月 人妻| 久久看婷婷| 无码少妇高潮喷水A片免费| 婷婷五月天av| 激情五月综合ì香亚洲| 激情啪啪五月| 成人αV视频免费观看| 五月丁香久| 色情久久久| 91热爆在线| αV电影| 日日爽夜夜爽| h亚洲| 五月天堂在线| 欧美激情五月综合| 婷婷五月无码| 色五天综合| 日日综合网| 韩国激情五月天综合网| 婷婷六月色丁香视频在线观看| 月色色综合婷婷网| 91夫妻视频| 99这里只有精品|v| 六月婷婷中文字幕| 激情五月天色爱| 精品视频这里只有精品| …亚洲黄色在线播放日韩、av中文a…| 国产SUV精品一区二区883| 成人国产综合| 狠狠色成人影片| 色操b| 6080av| 五月天激情综合首页| 久久久99免费视频| 六月综合婷婷开心伊人 | 五月丁香激情怕怕| 大香蕉久久久久久久久| 99热在线观看| 欧美激情综合| 色九区| 色情久久久| 色天五月天在线观看视频| 久久人妻人人槡| 森林影视大全,最好看的2019年视频 | 超碰91在线| 色爱综合网| 深爱激情六月天| 精品皮股午夜AV| www.日韩艹| site:picc-up.com| 五月天丁香啪啪综合| 日韩影院三级| 91久久综合亚洲鲁鲁五月天| aaaa.黄| 国产色99| 丁香六月欧美| 色99欧洲色19| 久久久久视剧HD| 色情婷婷久久五月天| 色色丁香婷婷五月天| 7777国产盗摄农村女人| 婷婷五月花| 日本女色人人| 婷婷5月九九| 亚洲亚洲人成综合网络| 99re8在这里只有精品| 五月丁香啪啪啪| 翔田千里 50岁 无码| 99九九在线观看免费| 色五月五月婷婷| 五月婷婷AV| www.zbzhongsen.com| 五月天社区| 丁香六月综合| 五月天激情国产综合婷婷婷| 国产精品日本一区二区在线播放| 无码少妇高潮喷水A片免费| 极品人妻VIDEOSSS人妻| 六月婷婷毛片| 婷婷天堂综合网| 丁香六月婷婷色XXXXX| 一区三区视频有限公司| 狠狠色大香蕉| 激情婷婷五月| 国产VA播放| 五月在在观看| 这里只有精品免费视频在线观看| 婷婷久久亚洲| 91超级碰在线| 亚洲色网址| 草了bav视频在线观看| 亚洲人成网站999综合| 激情婷婷五月天丁香| 日韩在线视频网站| 性爱先锋AV| www.五月婷婷久久.com| 99这里只有精品|v| 最新av在线观看| 色墦五月丁香| 久久综合九色综合88i| 99热这里有精品首页10| 九九熱最新視頻| 五月天欧美激情| 五月天精品| 性爱久久| www天堂99| 色九亚洲| 五月婷婷和六月| 99久在线精品99re8| 三级黄网站| 国产麻豆视频| 婷婷少妇激情| 天天成人综合| 十一月婷婷激情四射| 天天综合网在线| 猫咪伊人AV| 五月停亭六月,六月停亭的英语| ji'qing'luan'ren'lun| 色五月天综合网| 深爱五月婷婷| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 99热综合网| 丁香婷婷啪啪啪| 99久在线视频| 五月停视频天堂| 伊人久久五月天| 丁香色情五月综合网站| 九九综合伊人| 色婷婷丁香女女| 99热综合网| 一本综合丁香日日狠狠色| 色噜噜狠狠色综合成人99| 亚洲色图欧美色图日本视频| 色综合偷拍| 6080av| 亚洲天堂爱爱| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 国产精品色婷婷久久久精品| 国产日韩欧美| 9人人操人人看| 丁香五月中文字幕久色| www.久久| 中文av在线观看| 天天草天天舔| 五月婷啪| 超碰免费电影| 清色五月天| 五月天色社区| 五月婷久久草| 午夜婷婷六月天| 五月丁香在线| 91九色在线| 26uuu在线观看| 五月桃花网综合| 热的国产99热| 九九99九九99九九99视频网| 伊人九九68| WwW天天干| 色色色色热| 久久激情五月婷婷| 激情欧美五月丁香| 97日韩无套内| WWW丁香五月| 综合五月婷婷| 欧美日韩123| 五月丁香综合网| 丁香五月玖玖| 深爱五月天天| 国产成人精品亚洲线观看| 婷婷色婷婷| 久久婷婷网站| 99热热这里只精品996小说| 2025色婷婷| 亚洲免费成人电影AV| 五月天婷婷青青草| 婷婷色色亚洲| 中国AV性爱观看| 欧美电影在线播放| 婷婷五月天无码熟女| 99热在线观看| 久久精品爱爱| 可以免费观看的AV| 婷婷6月综合网| 深爱激情五月天| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | av首页在线| 人妻VideOssS人妻高清| 67194中文在线| 久久激情五月网| 操97在线观看| 丁香六月婷婷综合在线| 久婷婷久草| 婷婷色5月激情网| 激情超碰网| 思思久久精品| 国产亚洲99久久| 综合网啪| 黄色三级日本| 久久99网| 婷婷六月婷婷| 99综合五月免费视频色婷婷|