1. 先想清楚:PSO-BiGRU回歸預(yù)測(cè)到底在解決什么問(wèn)題PSO-BiGRU回歸預(yù)測(cè),拆開(kāi)看就是三件事:用BiGRU(雙向門控循環(huán)單元)從時(shí)序數(shù)據(jù)里抽特征,用PSO(粒子群優(yōu)化)去搜索BiGRU的超參數(shù),最后輸出一個(gè)連續(xù)值。它解決的是一類很具體的問(wèn)題——你手上有一串按時(shí)間排列的數(shù)據(jù),想預(yù)測(cè)下一個(gè)時(shí)刻的數(shù)值,而且這個(gè)數(shù)值是連續(xù)的,比如設(shè)備的下一個(gè)工況指標(biāo)、下一小時(shí)的負(fù)荷值、下一批次的產(chǎn)出量。我接觸這個(gè)組合,最初是因?yàn)橐粋€(gè)很樸素的痛點(diǎn):BiGRU效果確實(shí)比單一方向的好,但它對(duì)超參數(shù)太敏感。隱藏單元數(shù)多給一倍,RMSE能差出三成;學(xué)習(xí)率從1e-3調(diào)到5e-4,訓(xùn)練曲線完全是兩個(gè)樣子?？咳斯ぴ?一個(gè)模型調(diào)一天是常事。而網(wǎng)格搜索在參數(shù)維度一多就爆炸,貝葉斯優(yōu)化效果好但實(shí)現(xiàn)起來(lái)門檻不低,還要處理代理模型和采集函數(shù)。PSO的好處是邏輯直白、參數(shù)少、代碼短,拿來(lái)做超參數(shù)搜索屬于性價(jià)比很高的選擇。這篇內(nèi)容適合誰(shuí):已經(jīng)跑通過(guò)LSTM/GRU基礎(chǔ)回歸、想往上再走一步的讀者;手上有時(shí)序數(shù)據(jù)、被調(diào)參折磨過(guò)的人;以及想搞清楚優(yōu)化算法為什么要套在神經(jīng)網(wǎng)絡(luò)外面這個(gè)問(wèn)題的同學(xué)。零基礎(chǔ)也能看,但我會(huì)默認(rèn)你知道什么是訓(xùn)練集驗(yàn)證集、什么是反向傳播,基礎(chǔ)概念不展開(kāi)講。需要說(shuō)明的是,下面涉及的具體數(shù)據(jù)規(guī)模、調(diào)參數(shù)值、訓(xùn)練耗時(shí),都是基于常見(jiàn)工程實(shí)踐給出的參考值,不是某個(gè)特定項(xiàng)目的實(shí)測(cè)記錄。你拿自己的數(shù)據(jù)套的時(shí)候,量級(jí)要按實(shí)際情況縮放。2. 方案選型:為什么是這套組合而不是別的2.1 回歸預(yù)測(cè)任務(wù)的三個(gè)真實(shí)痛點(diǎn)做時(shí)序回歸,大部分人卡在同一個(gè)地方:模型能跑,但預(yù)測(cè)值糊。所謂糊,就是預(yù)測(cè)曲線比真實(shí)曲線更平、更滯后,峰值預(yù)測(cè)不出來(lái),谷值也壓不下去。這不是代碼寫錯(cuò)了,是模型在優(yōu)化MSE的時(shí)候?qū)W到的最優(yōu)策略就是往均值靠——因?yàn)轭A(yù)測(cè)一個(gè)接近均值的值,期望誤差更小。第二個(gè)痛點(diǎn)是長(zhǎng)依賴。單向RNN只看歷史,對(duì)未來(lái)信息沒(méi)有感知。而很多時(shí)序數(shù)據(jù)里,當(dāng)前時(shí)刻的輸出其實(shí)同時(shí)受前后文影響,比如一段工況曲線里的異常段,判它是異常,得看它前后的走勢(shì)。BiGRU把序列正反各掃一遍,把兩個(gè)方向的隱藏狀態(tài)拼起來(lái),在特征提取上確實(shí)比單向強(qiáng)一檔。第三個(gè)痛點(diǎn)是參數(shù)敏感。BiGRU本身參數(shù)不多,但隱藏維度、層數(shù)、dropout、學(xué)習(xí)率、批大小這幾個(gè)湊一起,搜索空間很容易上到幾千種組合。人工試錯(cuò)的成本主要不在訓(xùn)練,而在訓(xùn)練完發(fā)現(xiàn)沒(méi)用的那種挫敗感。注意:BiGRU的雙向結(jié)構(gòu)在訓(xùn)練時(shí)要求整條序列可見(jiàn)。做在線推理的時(shí)候,如果只能拿到歷史數(shù)據(jù)、拿不到未來(lái),雙向的意義會(huì)打折。這是很多人忽略的坑,后面第6章會(huì)細(xì)說(shuō)。2.2 BiGRU相比單項(xiàng)GRU和LSTM的取舍GRU是LSTM的簡(jiǎn)化版,把遺忘門和輸入門合并成更新門,再加一個(gè)重置門。參數(shù)少了約四分之一,訓(xùn)練更快,在小樣本上過(guò)擬合風(fēng)險(xiǎn)更低。BiGRU則是把兩個(gè)方向的GRU疊起來(lái),輸出維度翻倍。我在幾個(gè)不同規(guī)模的數(shù)據(jù)集上對(duì)比過(guò),大致規(guī)律是:樣本量在幾千條以內(nèi)、特征維度不高的時(shí)候,BiGRU相對(duì)GRU的提升有限,有時(shí)候還因?yàn)閰?shù)變多而更容易過(guò)擬合;樣本量上萬(wàn)、序列里存在明顯的前后呼應(yīng)結(jié)構(gòu)時(shí),BiGRU的優(yōu)勢(shì)才明顯。所以別默認(rèn)雙向一定更好,先看你的數(shù)據(jù)里未來(lái)信息到底有沒(méi)有用。至于LSTM和GRU之爭(zhēng),我的看法是:除非你的序列特別長(zhǎng)(幾千步以上)、需要精細(xì)的門控,否則GRU足夠,而且訓(xùn)練更穩(wěn)。LSTM參數(shù)量大,在PSO搜索的時(shí)候每一次評(píng)估都更貴,這在后面算時(shí)間成本的時(shí)候會(huì)很直觀。2.3 為什么用PSO而不是網(wǎng)格搜索或貝葉斯優(yōu)化三種方法的對(duì)比我整理成一張表,你可以直接對(duì)照自己的場(chǎng)景選:方法實(shí)現(xiàn)難度單次評(píng)估成本適合的參數(shù)維度主要缺點(diǎn)網(wǎng)格搜索極低高(組合數(shù)爆炸)≤3維維度一多就不可行隨機(jī)搜索極低高3~6維不利用歷史信息貝葉斯優(yōu)化中高中5~15維代理模型擬合本身有開(kāi)銷粒子群PSO低高(每粒子一次訓(xùn)練)4~10維易早熟、適應(yīng)度噪聲敏感PSO的核心公式就兩行,速度更新和位置更新:v w*v c1*r1*(pbest - x) c2*r2*(gbest - x) x x v其中w是慣性權(quán)重,c1、c2是學(xué)習(xí)因子,r1、r2是[0,1]隨機(jī)數(shù),pbest是粒子歷史最優(yōu),gbest是全局最優(yōu)。邏輯是:每個(gè)粒子既相信自己的經(jīng)驗(yàn),也參考群體的經(jīng)驗(yàn),在兩者之間做加權(quán)。這個(gè)群體經(jīng)驗(yàn)的機(jī)制,恰好適合超參數(shù)搜索這種目標(biāo)函數(shù)不光滑、有多個(gè)局部最優(yōu)的場(chǎng)景。網(wǎng)格搜索是盲掃,PSO是帶著方向找。實(shí)測(cè)下來(lái),同樣評(píng)估400次,PSO找到的組合通常比隨機(jī)搜索好一檔,和貝葉斯優(yōu)化的差距不大,但代碼量只有后者的三分之一。我的判斷標(biāo)準(zhǔn)很粗暴:參數(shù)維度在8維以內(nèi)、每次評(píng)估能在幾分鐘內(nèi)跑完,就用PSO;評(píng)估一次要半小時(shí)以上,老老實(shí)實(shí)上貝葉斯優(yōu)化,因?yàn)镻SO需要的評(píng)估次數(shù)太多,時(shí)間成本壓不住。3. 數(shù)據(jù)準(zhǔn)備:模型的上限在這一步就定死了3.1 時(shí)序數(shù)據(jù)清洗與平穩(wěn)性檢查回歸預(yù)測(cè)里,數(shù)據(jù)質(zhì)量決定天花板這句話不是雞湯。我見(jiàn)過(guò)太多人把精力全放在調(diào)網(wǎng)絡(luò)上,結(jié)果數(shù)據(jù)里有一堆缺失值用0填了、異常值沒(méi)處理,模型怎么調(diào)都是那個(gè)RMSE。清理順序建議是:先去重(時(shí)間戳重復(fù)的記錄)、再處理缺失、最后處理異常。缺失值不要一律填0,那等于人為制造了一個(gè)突然掉到零的假模式,模型會(huì)學(xué)歪。數(shù)值型序列用線性插值或者前向填充更合理;如果連續(xù)缺失超過(guò)窗口長(zhǎng)度的10%,這段數(shù)據(jù)直接丟掉,別硬填。異常值處理要分清楚兩類:一類是采集錯(cuò)誤(比如傳感器量程外的值),這種直接剔除或用插值替換;另一類是真實(shí)的極端工況,這種必須保留,因?yàn)槟Ｐ颓∏⌒枰跇O端點(diǎn)上表現(xiàn)好。判斷方法可以看業(yè)務(wù)含義,也可以看3σ或者IQR,但剔之前一定要確認(rèn)那是不是真實(shí)發(fā)生的。平穩(wěn)性這塊,如果序列有明顯的趨勢(shì)(比如整體緩慢上升),做一階差分往往能讓模型好學(xué)很多。差分后的序列預(yù)測(cè)出來(lái),再做逆差分還原。這一步很多人跳過(guò),結(jié)果模型學(xué)成了預(yù)測(cè)昨天。3.2 滑窗構(gòu)造樣本:窗口長(zhǎng)度不是越大越好時(shí)序回歸要把序列切成(輸入窗口, 預(yù)測(cè)目標(biāo))的樣本對(duì)。假設(shè)原始序列是 x1 到 xN,窗口長(zhǎng)度記作 L,預(yù)測(cè)步長(zhǎng)記作 H,那么第 i 個(gè)樣本的輸入是 x[i : iL],標(biāo)簽是 x[iL : iLH]。單步預(yù)測(cè)時(shí) H1。窗口長(zhǎng)度 L 怎么定?經(jīng)驗(yàn)做法是先看數(shù)據(jù)的周期性。如果數(shù)據(jù)有以24為周期的日周期,窗口至少覆蓋2個(gè)周期,也就是48以上;如果沒(méi)有明顯周期,從16、32、64幾檔里讓PSO一起搜。窗口太短,模型看不到足夠上下文;窗口太長(zhǎng),樣本數(shù)驟減,而且引入了大量冗余信息。有個(gè)數(shù)量關(guān)系要先算清楚:樣本數(shù) ≈ N - L - H 1。你有5000條數(shù)據(jù),L64,那可用樣本只剩4930條左右,再按7:1:2切分訓(xùn)練/驗(yàn)證/測(cè)試,訓(xùn)練集大概3450條。如果你的模型隱藏維度是128、兩層,這個(gè)樣本量是偏緊的,過(guò)擬合風(fēng)險(xiǎn)要提前考慮。提示:切分一定要按時(shí)間順序切,不要隨機(jī)打亂。隨機(jī)打亂會(huì)讓未來(lái)的數(shù)據(jù)進(jìn)到訓(xùn)練集里,評(píng)估出來(lái)的指標(biāo)好看得不像話,上線就崩。這是時(shí)序任務(wù)里最常見(jiàn)也最致命的錯(cuò)誤。3.3 歸一化:防泄漏這件事必須做對(duì)神經(jīng)網(wǎng)絡(luò)對(duì)輸入尺度敏感,歸一化是必須的。但歸一化的均值和方差,只能用訓(xùn)練集算,然后應(yīng)用到驗(yàn)證集和測(cè)試集。這個(gè)順序反了,就是數(shù)據(jù)泄漏。常用兩種:Min-Max縮放到[0,1],或者Z-Score標(biāo)準(zhǔn)化。如果數(shù)據(jù)分布偏態(tài)嚴(yán)重、有長(zhǎng)尾,Min-Max會(huì)被極值壓縮得很厲害,這時(shí)候用Z-Score更穩(wěn)。目標(biāo)值 y 也要單獨(dú)歸一化,而且要用 y 自己的統(tǒng)計(jì)量,別和特征混在一起。反歸一化的時(shí)候注意,如果 y 做了差分,要先反歸一化再逆差分,順序不能亂。我踩過(guò)一次,先逆差分后反歸一化,結(jié)果預(yù)測(cè)值整體偏了一個(gè)常數(shù),排查了半天才發(fā)現(xiàn)是順序問(wèn)題。import numpy as np def make_windows(series, lookback, horizon1): X, y [], [] for i in range(len(series) - lookback - horizon 1): X.append(series[i:i lookback]) y.append(series[i lookback:i lookback horizon]) return np.array(X), np.array(y) # 只用訓(xùn)練段擬合scaler train_len int(len(series) * 0.7) mu, sigma series[:train_len].mean(), series[:train_len].std() series_norm (series - mu) / (sigma 1e-8)4. 模型結(jié)構(gòu)與參數(shù)編碼:把調(diào)參變成優(yōu)化問(wèn)題4.1 BiGRU網(wǎng)絡(luò)主體怎么搭一個(gè)夠用的回歸網(wǎng)絡(luò)結(jié)構(gòu)大致是:輸入層 → BiGRU層(1~2層) → 取最后時(shí)刻隱藏狀態(tài) → 全連接 → 輸出1維?；貧w任務(wù)不需要softmax,最后一層不加激活函數(shù),損失用MSE或者Huber。BiGRU的輸出維度是 2×hidden_size,因?yàn)檎蚝头聪虻碾[藏狀態(tài)拼接。取哪個(gè)位置做回歸頭也有講究:取最后時(shí)刻,適合用整段歷史預(yù)測(cè)下一步;對(duì)整段做平均池化,適合序列內(nèi)每個(gè)點(diǎn)重要性差不多的情況。我一般先用最后時(shí)刻,效果不好再試平均池化,兩者差異有時(shí)候能到5%以上。import torch import torch.nn as nn class BiGRURegressor(nn.Module): def __init__(self, input_size1, hidden_size64, num_layers1, dropout0.2, poollast): super().__init__() self.pool pool self.gru nn.GRU( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0, ) self.drop nn.Dropout(dropout) self.fc nn.Linear(hidden_size * 2, 1) def forward(self, x): out, _ self.gru(x) # (B, L, 2H) if self.pool last: feat out[:, -1, :] else: feat out.mean(dim1) return self.fc(self.drop(feat)).squeeze(-1)4.2 到底該讓PSO搜哪幾個(gè)參數(shù)參數(shù)不是搜得越多越好。每一個(gè)進(jìn)搜索空間的維度,都會(huì)讓所需評(píng)估次數(shù)上升。我的原則是:只搜那些影響大且不好憑經(jīng)驗(yàn)定的,其余固定。參數(shù)建議范圍編碼方式是否建議搜索hidden_size32~256取整到32的倍數(shù)是num_layers1~3取整是dropout0.0~0.5連續(xù)是learning_rate1e-4~1e-2對(duì)數(shù)尺度是batch_size16/32/64/128最近檔位可選lookback16~96取整到8的倍數(shù)可選weight_decay1e-6~1e-3對(duì)數(shù)尺度一般固定1e-5學(xué)習(xí)率必須用對(duì)數(shù)尺度編碼,否則線性映射會(huì)讓PSO在1e-3附近幾乎不動(dòng),而在1e-2附近一步跨太遠(yuǎn)。具體做法是讓粒子位置在 log10(lr) 的空間里飛,范圍取 [-4, -2]。4.3 粒子位置向量怎么解碼成超參數(shù)粒子就是一個(gè)實(shí)數(shù)向量,長(zhǎng)度等于要搜的參數(shù)個(gè)數(shù)。解碼函數(shù)負(fù)責(zé)把連續(xù)值映射到合法取值:def decode(pos, lookback_fixed48): hidden int(np.clip(round(pos[0] / 32) * 32, 32, 256)) layers int(np.clip(round(pos[1]), 1, 3)) dropout float(np.clip(pos[2], 0.0, 0.5)) lr float(10 ** np.clip(pos[3], -4, -2)) batch [16, 32, 64, 128][min(int(np.clip(pos[4], 0, 3.99)), 3)] return dict(hidden_sizehidden, num_layerslayers, dropoutdropout, lrlr, batch_sizebatch, lookbacklookback_fixed)這里有個(gè)細(xì)節(jié)值得說(shuō):取整到32的倍數(shù),是為了讓不同粒子解碼后落在有限的檔位上,減少兩個(gè)粒子其實(shí)一樣但適應(yīng)度不同的噪聲。噪聲在PSO里是致命的,它會(huì)讓pbest被誤更新,整個(gè)群體被帶偏。5. PSO的工程化實(shí)現(xiàn):讓它跑得動(dòng)才是關(guān)鍵5.1 慣性權(quán)重和兩個(gè)學(xué)習(xí)因子怎么取標(biāo)準(zhǔn)PSO里,慣性權(quán)重 w 控制保持原方向的程度。w 大,全局探索強(qiáng);w 小,局部開(kāi)發(fā)強(qiáng)。工程上最常用的是線性遞減:w w_max - (w_max - w_min) * iter / max_iterw_max 取0.9,w_min 取0.4,是經(jīng)過(guò)大量實(shí)踐驗(yàn)證比較穩(wěn)的一組。前30%的迭代在全局撒網(wǎng),后面慢慢收窄。c1 和 c2 分別是對(duì)自身經(jīng)驗(yàn)和群體經(jīng)驗(yàn)的權(quán)重。常見(jiàn)取 c1c22.0。如果你的問(wèn)題里局部最優(yōu)特別多,可以把 c1 調(diào)小一點(diǎn)(比如1.5)、c2 調(diào)大(2.5),讓粒子更多地跟著群體走,加快收斂但犧牲多樣性。反過(guò)來(lái),如果發(fā)現(xiàn)群體很快就擠成一團(tuán),就反過(guò)來(lái)調(diào)。速度要限幅,不然粒子一步飛出搜索空間:v_max 0.2 * (x_max - x_min)這個(gè)0.2是經(jīng)驗(yàn)系數(shù),范圍太寬的時(shí)候可以降到0.1。5.2 適應(yīng)度函數(shù):別只看驗(yàn)證集loss最直接的適應(yīng)度就是驗(yàn)證集上的RMSE。但我建議加兩項(xiàng)修正:第一,加復(fù)雜度懲罰。參數(shù)越多的模型越容易過(guò)擬合,適應(yīng)度里加一個(gè)小的正則項(xiàng),比如 1e-4 * hidden_size * num_layers / 100,讓PSO偏向簡(jiǎn)潔模型。系數(shù)要小,否則會(huì)壓得模型欠擬合。第二,用多次評(píng)估的平均值。神經(jīng)網(wǎng)絡(luò)訓(xùn)練有隨機(jī)性(初始化、dropout、數(shù)據(jù)打亂),同一個(gè)超參數(shù)組合跑兩次,RMSE 差5%很正常。如果只用單次結(jié)果,PSO就是在優(yōu)化噪聲。我的做法是固定隨機(jī)種子,同時(shí)把驗(yàn)證集切成兩折,適應(yīng)度取兩折的平均。def fitness(params, X_tr, y_tr, X_va, y_va, seed42): torch.manual_seed(seed) np.random.seed(seed) model BiGRURegressor(hidden_sizeparams[hidden_size], num_layersparams[num_layers], dropoutparams[dropout]) # ... 訓(xùn)練流程(見(jiàn)下一節(jié)) rmse evaluate(model, X_va, y_va) penalty 1e-4 * params[hidden_size] * params[num_layers] / 100 return rmse penalty5.3 PSO主循環(huán)與一次實(shí)打?qū)嵉臅r(shí)間賬先算成本。種群20、迭代20次,總評(píng)估次數(shù)約400。如果每次完整訓(xùn)練要3分鐘,400次就是20小時(shí)。這個(gè)時(shí)間大部分人接受不了。所以必須做降本。我常用的三個(gè)手段:評(píng)估階段用短訓(xùn)練。每個(gè)粒子只訓(xùn)練30~50輪,配合早停(patience10)。這個(gè)階段的目的不是訓(xùn)出最好模型,而是排出優(yōu)劣順序。排序?qū)α?搜索方向就對(duì)了。緩存結(jié)果。把解碼后的參數(shù)元組做key,存字典。PSO后期粒子會(huì)聚到相近區(qū)域,解碼后參數(shù)完全相同的概率不低,命中緩存能省10%~20%的評(píng)估。并行。種群內(nèi)的粒子互相獨(dú)立,用多進(jìn)程把種群評(píng)估并行起來(lái)。8核機(jī)器上實(shí)測(cè)能壓到原來(lái)的1/5左右。class PSO: def __init__(self, n_particles20, dims5, boundsNone, w_max0.9, w_min0.4, c12.0, c22.0, max_iter20): self.n, self.d, self.max_iter n_particles, dims, max_iter self.lb, self.ub bounds self.X np.random.uniform(self.lb, self.ub, (n_particles, dims)) self.V np.random.uniform(-1, 1, (n_particles, dims)) * 0.1 * (self.ub - self.lb) self.pbest self.X.copy() self.pbest_val np.full(n_particles, np.inf) self.gbest None self.gbest_val np.inf self.w_max, self.w_min, self.c1, self.c2 w_max, w_min, c1, c2 self.cache {} def step(self, t): w self.w_max - (self.w_max - self.w_min) * t / self.max_iter r1 np.random.rand(self.n, self.d) r2 np.random.rand(self.n, self.d) self.V (w * self.V self.c1 * r1 * (self.pbest - self.X) self.c2 * r2 * (self.gbest - self.X)) vmax 0.2 * (self.ub - self.lb) self.V np.clip(self.V, -vmax, vmax) self.X np.clip(self.X self.V, self.lb, self.ub) def run(self, fitness_fn): for t in range(self.max_iter): for i in range(self.n): key tuple(np.round(self.X[i], 4)) if key in self.cache: val self.cache[key] else: val fitness_fn(self.X[i]) self.cache[key] val if val self.pbest_val[i]: self.pbest_val[i] val self.pbest[i] self.X[i].copy() if val self.gbest_val: self.gbest_val val self.gbest self.X[i].copy() self.step(t) print(fiter {t1}/{self.max_iter} best{self.gbest_val:.5f}) return self.gbest, self.gbest_val6. 完整實(shí)操流程與調(diào)參實(shí)錄6.1 從原始序列到最終模型的六步走把前面的零件串起來(lái),完整流程是這樣的:數(shù)據(jù)清洗 → 差分(可選) → 按7:1:2時(shí)間切分;只用訓(xùn)練集擬合歸一化參數(shù),應(yīng)用到全段;用滑窗生成樣本,得到 (N, L, 1) 的輸入張量;定義PSO的搜索邊界,初始化種群(20×5);用短訓(xùn)練驗(yàn)證集RMSE作為適應(yīng)度,跑20輪PSO,拿到gbest;用gbest解碼出的參數(shù),在訓(xùn)練集驗(yàn)證集上完整重訓(xùn)(輪數(shù)放大到200,早停patience20),最后在測(cè)試集上評(píng)估一次。第6步只評(píng)估一次,這是紀(jì)律。測(cè)試集反復(fù)看、反復(fù)調(diào),它就不再是測(cè)試集了,指標(biāo)會(huì)虛高,上線打臉。6.2 訓(xùn)練環(huán)節(jié)的幾個(gè)必要設(shè)置梯度裁剪必加,clip_grad_norm_(model.parameters(), 1.0)。GRU類模型在序列長(zhǎng)的時(shí)候梯度容易炸,裁剪之后訓(xùn)練曲線平滑很多。學(xué)習(xí)率調(diào)度用 ReduceLROnPlateau,patience5,factor0.5。驗(yàn)證loss連續(xù)5輪不降就減半,比固定學(xué)習(xí)率穩(wěn)。損失函數(shù)方面,MSE對(duì)離群點(diǎn)敏感。如果你的數(shù)據(jù)里有少量極端值,用HuberLoss(delta1.0)會(huì)更魯棒,梯度不會(huì)被個(gè)別點(diǎn)主導(dǎo)。批大小在小樣本上別貪大。樣本3000條,batch128只有23個(gè)step,一個(gè)epoch更新23次,收斂會(huì)很慢;batch32有94個(gè)step,每輪更新更充分。6.3 一次可復(fù)現(xiàn)的對(duì)比記錄這里給一組基于常見(jiàn)實(shí)踐的參考數(shù)值,數(shù)據(jù)是我虛構(gòu)的一段約6000點(diǎn)的周期性序列,加10%噪聲,窗口48,預(yù)測(cè)下一步。目的是讓你有個(gè)量級(jí)概念,不是讓你對(duì)標(biāo)結(jié)果。配置驗(yàn)證RMSE測(cè)試RMSE訓(xùn)練耗時(shí)人工經(jīng)驗(yàn)參數(shù)(hidden64,lr1e-3)0.04120.04352.1 min隨機(jī)搜索100次最優(yōu)0.03680.039148 minPSO(20×15300次評(píng)估)0.03310.034962 minPSO相比人工經(jīng)驗(yàn)參數(shù),測(cè)試RMSE降了約20%。這個(gè)幅度在時(shí)序回歸里已經(jīng)算顯著了。但注意耗時(shí)是人工的30倍——所以如果你的問(wèn)題用默認(rèn)參數(shù)就能達(dá)到業(yè)務(wù)要求,別上來(lái)就上PSO,那是浪費(fèi)。另一個(gè)觀察:PSO搜出來(lái)的最優(yōu)配置里,hidden_size落在96、num_layers2、dropout0.28、lr≈6e-4。它沒(méi)有選最大的隱藏維度,說(shuō)明復(fù)雜度懲罰起作用了,把搜索往夠用就好的方向拉。7. 常見(jiàn)問(wèn)題與排查技巧速查7.1 群體早熟:所有粒子擠成一個(gè)點(diǎn)表現(xiàn)是迭代到第5、6輪,gbest就不動(dòng)了,后面15輪完全是白跑。原因通常是初始化范圍太窄,或者w衰減太快。處理辦法:初始化用拉丁超立方或者均勻撒滿搜索空間,別用正態(tài)分布聚在中間;w的遞減區(qū)間拉長(zhǎng)到整個(gè)迭代過(guò)程,別前幾輪就降到0.4;再加一個(gè)重啟機(jī)制——連續(xù)3輪gbest沒(méi)改善,就把最差的20%粒子重新隨機(jī)撒到空間里。7.2 適應(yīng)度抖動(dòng):同一組參數(shù)兩次結(jié)果差很多神經(jīng)網(wǎng)絡(luò)訓(xùn)練的隨機(jī)性是根源。除了固定種子,還有一個(gè)辦法是在適應(yīng)度里對(duì)同一組參數(shù)跑2次取平均。成本翻倍,但如果你的單次評(píng)估時(shí)間短(1分鐘以內(nèi)),這個(gè)交換是劃算的。我一般在前10輪用單次評(píng)估鋪開(kāi)探索,后10輪對(duì)排名前5的粒子做重復(fù)評(píng)估,確認(rèn)排序。7.3 預(yù)測(cè)滯后與曲線過(guò)平滑模型預(yù)測(cè)值系統(tǒng)性落后真實(shí)值半個(gè)到一個(gè)周期,峰值削平。除了第2章說(shuō)過(guò)的差分建模,還可以在損失里對(duì)方向錯(cuò)誤加懲罰:如果預(yù)測(cè)的差分符號(hào)和真實(shí)差分符號(hào)相反,額外加一項(xiàng)損失。實(shí)現(xiàn)上是loss mse 0.1 * relu(-sign(dy_true * dy_pred))的變體,能讓模型更敢預(yù)測(cè)拐點(diǎn)。另外檢查一下滑窗是不是切錯(cuò)了,標(biāo)簽是不是錯(cuò)位了一格。錯(cuò)位一格的表現(xiàn)就是穩(wěn)定滯后一步,很容易被誤判成模型能力問(wèn)題。7.4 線上表現(xiàn)比離線差一大截這是雙向結(jié)構(gòu)埋的雷。BiGRU訓(xùn)練時(shí)能看到整條序列,推理時(shí)如果只能拿到截止當(dāng)前的歷史,那反向那一半其實(shí)是在拿填充值或者零在算,輸出分布和訓(xùn)練時(shí)完全不同。解決辦法有兩個(gè):一,訓(xùn)練時(shí)做因果遮罩式的模擬,讓反向通道也只能看到截止當(dāng)前的信息;二,干脆換回單向GRU,或者用TCN這類因果卷積結(jié)構(gòu)。如果你的業(yè)務(wù)允許延遲幾秒再輸出(比如整段序列收集完再算),那雙向沒(méi)問(wèn)題。7.5 問(wèn)題排查速查表現(xiàn)象最可能原因優(yōu)先排查動(dòng)作訓(xùn)練loss降但驗(yàn)證不降過(guò)擬合加dropout、減hidden、加weight_decay訓(xùn)練loss就不降學(xué)習(xí)率不合適/歸一化錯(cuò)學(xué)習(xí)率掃1e-4~1e-2,檢查scaler是否只用訓(xùn)練集擬合loss變NaN梯度爆炸/學(xué)習(xí)率過(guò)大加梯度裁剪、學(xué)習(xí)率降10倍預(yù)測(cè)全是均值特征無(wú)效/損失被均值主導(dǎo)檢查輸入是否包含信息、換Huber損失PSO第5輪就收斂初始化窄/w衰減快擴(kuò)大初始化、線性遞減w、加重啟同一參數(shù)結(jié)果差異大訓(xùn)練隨機(jī)性固定種子、重復(fù)評(píng)估取均值測(cè)試指標(biāo)異常地好數(shù)據(jù)泄漏檢查切分是否按時(shí)間、歸一化是否泄漏線上比離線差雙向結(jié)構(gòu)因果性沖突改單向或做因果遮罩7.6 幾條從踩坑里換來(lái)的經(jīng)驗(yàn)PSO不要和完整訓(xùn)練綁在一起。我最初的實(shí)現(xiàn)是每個(gè)粒子都訓(xùn)200輪,一次搜索跑了兩天半。改成短訓(xùn)練30輪之后,搜出來(lái)的參數(shù)質(zhì)量基本沒(méi)下降,時(shí)間縮到4小時(shí)。搜索階段的目標(biāo)是排序,不是選出最優(yōu)模型。搜索空間寧窄勿寬。hidden_size 給到 32~512,PSO 大概率會(huì)在一開(kāi)始撒到512那邊,然后被適應(yīng)度拉回來(lái),白白浪費(fèi)評(píng)估次數(shù)。先用經(jīng)驗(yàn)把范圍收窄到 32~256,命中率高得多。驗(yàn)證集別太小。驗(yàn)證集只有一兩百個(gè)樣本的時(shí)候,RMSE 的波動(dòng)本身就很大,PSO 會(huì)追著噪聲跑。驗(yàn)證集至少留到總樣本的10%,絕對(duì)值不少于300個(gè)。記錄每次評(píng)估的參數(shù)和結(jié)果。不只是為了復(fù)現(xiàn),更重要的是事后能看出趨勢(shì)。我把300次評(píng)估結(jié)果畫成散點(diǎn)圖之后發(fā)現(xiàn),學(xué)習(xí)率在5e-4到8e-4之間的所有組合,驗(yàn)證RMSE都在低位,而hidden_size的影響反而沒(méi)那么大。這個(gè)認(rèn)識(shí)比最終那組參數(shù)值錢得多。固定隨機(jī)種子這件事,在PSO里比在單模型訓(xùn)練里重要十倍。因?yàn)槟阋容^的是不同參數(shù)組合的優(yōu)劣,如果每次的隨機(jī)性不同,比較的基準(zhǔn)就不一致了。8. 關(guān)于這套方法邊界的一點(diǎn)個(gè)人看法我在實(shí)際用下來(lái),PSO-BiGRU這套組合最舒服的場(chǎng)景是:數(shù)據(jù)量中等(幾千到幾萬(wàn)條)、序列有明顯的前后依賴、對(duì)預(yù)測(cè)精度有要求但又不是極致(不追求SOTA)、團(tuán)隊(duì)里沒(méi)人專門做超參搜索。在這個(gè)區(qū)間里,它的投入產(chǎn)出比很高。但它的邊界也很清楚。數(shù)據(jù)量上萬(wàn)之后,BiGRU的訓(xùn)練成本會(huì)迅速上升,PSO的評(píng)估次數(shù)就成了瓶頸,這時(shí)候更該考慮的是換更輕的結(jié)構(gòu)或者做特征工程,而不是繼續(xù)堆優(yōu)化算法。另外,如果你的序列里未來(lái)信息根本沒(méi)用(比如純隨機(jī)的金融高頻數(shù)據(jù)),雙向結(jié)構(gòu)就是白加參數(shù),單向GRU甚至簡(jiǎn)單的線性模型可能更靠譜。最后一個(gè)我覺(jué)得值得分享的小技巧:跑完P(guān)SO之后,別急著扔掉那300次評(píng)估記錄。把參數(shù)和適應(yīng)度導(dǎo)出來(lái),按單個(gè)維度做分組統(tǒng)計(jì),你往往能看出哪些參數(shù)是真敏感、哪些其實(shí)無(wú)所謂。下一輪做別的任務(wù)時(shí),這些先驗(yàn)?zāi)茏屇惆阉阉骺臻g直接砍掉一半,省下來(lái)的時(shí)間遠(yuǎn)比多跑幾輪PSO劃算。