強(qiáng)化學(xué)習(xí)學(xué)到 Actor-Critic 這一節(jié)基本算是從會(huì)跑 demo跨到能理解現(xiàn)代 RL 工程的分水嶺。前面講策略梯度時(shí)REINFORCE 用一整條軌跡的回報(bào)去估計(jì)梯度方差大到需要幾十次采樣才能勉強(qiáng)收斂講到值函數(shù)近似時(shí)又發(fā)現(xiàn)只學(xué) Q 值沒(méi)法直接輸出策略。Actor-Critic 把這兩條線擰在一起一個(gè)網(wǎng)絡(luò)負(fù)責(zé)決定動(dòng)作一個(gè)網(wǎng)絡(luò)負(fù)責(zé)評(píng)價(jià)動(dòng)作好不好用評(píng)價(jià)網(wǎng)絡(luò)的輸出給決策網(wǎng)絡(luò)的梯度降方差。A2C、A3C、PPO、DDPG、TD3、SAC 這一整串現(xiàn)在還在被廣泛使用的算法骨架都是它。這篇文章是2026 新版強(qiáng)化學(xué)習(xí)從入門(mén)到精通系列的第 42 篇重點(diǎn)不再停留在概念解釋上而是把 Actor-Critic 的網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)勢(shì)函數(shù)、GAE、損失函數(shù)組合、訓(xùn)練循環(huán)這些真正影響能不能跑通的部分拆開(kāi)講。文中的每段代碼都可以直接復(fù)制運(yùn)行環(huán)境用 PyTorch GymnasiumCartPole 這類(lèi)任務(wù)在純 CPU 上幾分鐘就能看到曲線抬起來(lái)不需要顯卡。讀者對(duì)象很明確已經(jīng)寫(xiě)過(guò) REINFORCE 或 DQN、知道策略梯度和貝爾曼方程大概在講什么、但自己動(dòng)手寫(xiě) Actor-Critic 時(shí)總是卡在為什么 loss 是這三項(xiàng)加在一起優(yōu)勢(shì)函數(shù)到底怎么算critic 學(xué)崩了怎么辦這幾個(gè)問(wèn)題上的人。看完之后應(yīng)該能獨(dú)立寫(xiě)出一個(gè)可訓(xùn)練的 A2C并且知道把它換成 PPO 需要?jiǎng)幽膸仔小?. Actor-Critic 核心能力速覽先把這套架構(gòu)的關(guān)鍵信息壓縮成一張表后面所有內(nèi)容都是圍繞這張表展開(kāi)的細(xì)節(jié)。需要注意Actor-Critic 不是某一個(gè)算法而是一類(lèi)架構(gòu)范式表里列的是這個(gè)范式的共性以及它在主流算法上的具體投影。能力項(xiàng)說(shuō)明架構(gòu)組成Actor 策略網(wǎng)絡(luò)輸出動(dòng)作分布Critic 價(jià)值網(wǎng)絡(luò)輸出狀態(tài)價(jià)值或動(dòng)作價(jià)值解決的核心問(wèn)題策略梯度方差過(guò)大、單步更新效率低、無(wú)法在線學(xué)習(xí)梯度估計(jì)方式用 Critic 給出的價(jià)值作為基線或優(yōu)勢(shì)替代蒙特卡洛回報(bào)支持的動(dòng)作空間離散動(dòng)作Categorical與連續(xù)動(dòng)作Gaussian / Tanh-Gaussian均可典型代表算法A2C、A3C、PPO、TRPO、DDPG、TD3、SAC網(wǎng)絡(luò)結(jié)構(gòu)可共享主干shared trunk也可完全分離separate networks更新方式同策略A2C/PPO或異策略DDPG/TD3/SAC需要經(jīng)驗(yàn)回放采樣效率同策略版本中等異策略版本較高訓(xùn)練穩(wěn)定性依賴(lài)優(yōu)勢(shì)歸一化、梯度裁剪、價(jià)值損失系數(shù)等工程手段硬件門(mén)檻小型任務(wù)純 CPU 可跑Atari 級(jí)別建議單卡 GPU并行環(huán)境吃 CPU 核數(shù)依賴(lài)環(huán)境Python 3.10、PyTorch 2.x、Gymnasium 1.x版本以實(shí)際安裝為準(zhǔn)典型調(diào)試周期CartPole 級(jí)別分鐘級(jí)MuJoCo 級(jí)別小時(shí)級(jí)適合場(chǎng)景連續(xù)控制、機(jī)器人仿真、游戲 AI、推薦策略?xún)?yōu)化、對(duì)話(huà)策略學(xué)習(xí)這里要提前說(shuō)清楚一個(gè)容易混淆的點(diǎn)很多教程把 Actor-Critic 當(dāng)成一個(gè)具體算法講實(shí)際上它更像一個(gè)模板。你在模板里換掉優(yōu)勢(shì)估計(jì)方式就得到 A2C換掉更新約束就得到 PPO把 Critic 從狀態(tài)價(jià)值換成動(dòng)作價(jià)值并加經(jīng)驗(yàn)回放就得到 DDPG。理解模板比背算法名有用得多因?yàn)檎鎸?shí)項(xiàng)目里你幾乎總要改一點(diǎn)東西。2. 從策略梯度到 Actor-Critic為什么必須有一個(gè) Critic先把動(dòng)機(jī)講透否則后面看到三項(xiàng) loss 相加會(huì)覺(jué)得是拍腦袋湊出來(lái)的。最原始的策略梯度定理給出的是這樣一個(gè)式子梯度等于策略對(duì)數(shù)概率乘以回報(bào)的期望。用采樣估計(jì)時(shí)我們用一整條軌跡的累計(jì)回報(bào) G_t 去乘 log π(a|s)。問(wèn)題在于 G_t 是一個(gè)隨機(jī)變量同一狀態(tài)下采樣十次可能得到十個(gè)差別很大的回報(bào)梯度方向跟著劇烈抖動(dòng)。為了讓這個(gè)估計(jì)穩(wěn)定下來(lái)一個(gè)很自然的想法是減去一個(gè)與動(dòng)作無(wú)關(guān)的基線 b(s)因?yàn)闇p去它不會(huì)改變期望只會(huì)改變方差。數(shù)學(xué)上可以證明E[?log π(a|s) · b(s)] 0所以基線是免費(fèi)的降方差工具。那么最優(yōu)的基線是什么理論上是狀態(tài)價(jià)值函數(shù) V(s)。把 G_t 換成 G_t - V(s)方差會(huì)顯著下降。而這個(gè) G_t - V(s) 恰好就是優(yōu)勢(shì)函數(shù) A(s,a) 的一個(gè)無(wú)偏估計(jì)它衡量的是在狀態(tài) s 下采取動(dòng)作 a比平均水平的動(dòng)作好多少。到這里Actor 的更新方向就變成了往優(yōu)勢(shì)為正的動(dòng)作上加概率往優(yōu)勢(shì)為負(fù)的動(dòng)作上減概率。接下來(lái)的問(wèn)題是怎么拿到 V(s)。用蒙特卡洛方式統(tǒng)計(jì)回報(bào)當(dāng)然可以但那樣必須等回合結(jié)束學(xué)習(xí)是離線的、慢的。Critic 網(wǎng)絡(luò)的作用就是用函數(shù)近似的方式直接學(xué) V(s)而且可以只依賴(lài)單步的 TD 誤差來(lái)更新實(shí)現(xiàn)真正的在線學(xué)習(xí)。這就是 Actor-Critic 的核心交換用 Critic 引入偏差bias換來(lái)方差的大幅下降和在線更新能力。用一句話(huà)概括兩者分工Actor 負(fù)責(zé)試Critic 負(fù)責(zé)評(píng)。Critic 的評(píng)價(jià)越準(zhǔn)Actor 的更新方向越穩(wěn)Actor 的策略越好Critic 面對(duì)的數(shù)據(jù)分布越集中學(xué)起來(lái)也越容易。這種互相依賴(lài)也帶來(lái)了這套架構(gòu)最典型的失敗模式——兩個(gè)網(wǎng)絡(luò)一起崩后面第 9 章會(huì)專(zhuān)門(mén)講怎么拆解。關(guān)于偏差和方差的取舍還有一個(gè)重要的工程變量用 TD(0) 的單步誤差偏差大但方差小用蒙特卡洛回報(bào)方差大但無(wú)偏中間的 n-step 回報(bào)和 GAE 就是在兩者之間滑動(dòng)。這個(gè)滑動(dòng)的旋鈕直接決定了訓(xùn)練曲線是平滑爬升還是劇烈震蕩是 Actor-Critic 調(diào)參里性?xún)r(jià)比最高的一個(gè)參數(shù)。3. 環(huán)境準(zhǔn)備與最小可運(yùn)行工程骨架Actor-Critic 對(duì)環(huán)境的依賴(lài)其實(shí)很輕它不需要 CUDA 編譯、不需要下載大模型權(quán)重甚至不需要顯卡。真正容易出問(wèn)題的地方在于包版本不匹配導(dǎo)致的 API 變更尤其是 Gymnasium 從 Gym 分叉出來(lái)之后step 的返回值從四項(xiàng)變成五項(xiàng)很多老教程直接復(fù)制過(guò)來(lái)就會(huì)報(bào)解包錯(cuò)誤?；A(chǔ)依賴(lài)如下。版本號(hào)這里不寫(xiě)死因?yàn)椴煌瑱C(jī)器上的 CUDA 與 PyTorch 對(duì)應(yīng)關(guān)系不同寫(xiě)死反而容易踩坑原則是 PyTorch 官方安裝向?qū)Ыo出的組合優(yōu)先。# 創(chuàng)建獨(dú)立環(huán)境避免和已有項(xiàng)目沖突 conda create -n actor_critic python3.10 -y conda activate actor_critic # 安裝核心依賴(lài)具體版本以本機(jī)可用的 CUDA 組合為準(zhǔn) pip install torch --index-url https://download.pytorch.org/whl/cpu pip install gymnasium numpy matplotlib tensorboard如果機(jī)器上有顯卡并且想跑圖像輸入的任務(wù)把第一行的 CPU 源換成官方對(duì)應(yīng)的 CUDA 源即可。對(duì)于 CartPole、Pendulum、MountainCarContinuous 這類(lèi)低維狀態(tài)任務(wù)CPU 訓(xùn)練速度快過(guò) GPU因?yàn)閿?shù)據(jù)傳輸開(kāi)銷(xiāo)會(huì)蓋過(guò)并行計(jì)算收益這一點(diǎn)在后面的資源占用章節(jié)還會(huì)提到。建議的工程目錄結(jié)構(gòu)如下把網(wǎng)絡(luò)定義、算法實(shí)現(xiàn)、訓(xùn)練腳本、配置分離后面要換成 PPO 或者換環(huán)境時(shí)改動(dòng)量會(huì)小很多actor_critic_demo/ ├── configs/ │ └── a2c_cartpole.yaml ├── models/ │ └── networks.py # Actor / Critic 定義 ├── algos/ │ ├── a2c.py # A2C 更新邏輯 │ └── gae.py # 優(yōu)勢(shì)估計(jì) ├── train.py # 訓(xùn)練主循環(huán) ├── evaluate.py # 評(píng)估與可視化 └── requirements.txt驗(yàn)證環(huán)境是否裝好跑一段最小檢查腳本就夠了。這段腳本同時(shí)能確認(rèn) Gymnasium 的 API 版本因?yàn)閞eset返回(obs, info)、step返回五項(xiàng)這個(gè)約定是從 Gymnasium 開(kāi)始統(tǒng)一的如果你的環(huán)境返回四項(xiàng)說(shuō)明裝的是老版本 Gym后面的代碼需要相應(yīng)調(diào)整。import gymnasium as gym import torch print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) env gym.make(CartPole-v1) obs, info env.reset(seed42) print(obs shape:, obs.shape) print(action space:, env.action_space) obs, reward, terminated, truncated, info env.step(env.action_space.sample()) print(step 返回項(xiàng)數(shù)正確reward , reward) env.close()運(yùn)行結(jié)果里如果打印出step 返回項(xiàng)數(shù)正確環(huán)境就沒(méi)問(wèn)題了。如果這里報(bào)too many values to unpack說(shuō)明裝的是老版 Gym最簡(jiǎn)單的處理是統(tǒng)一升級(jí)到 Gymnasium而不是在代碼里寫(xiě)兼容分支后者會(huì)讓后面所有邏輯都變臟。4. Actor 與 Critic 的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)是 Actor-Critic 里最容易被輕視的部分。很多人直接把別人的 MLP 抄過(guò)來(lái)層數(shù)、激活函數(shù)、初始化全都不動(dòng)結(jié)果在某個(gè)任務(wù)上怎么調(diào)都學(xué)不動(dòng)。實(shí)際上 Actor 和 Critic 對(duì)輸出的要求完全不同一個(gè)是概率分布參數(shù)一個(gè)是標(biāo)量?jī)r(jià)值兩者的輸出層設(shè)計(jì)必須分開(kāi)考慮。4.1 離散動(dòng)作空間的 Actor離散動(dòng)作下Actor 輸出的是每個(gè)動(dòng)作的 logit經(jīng)過(guò) softmax 得到概率再用Categorical分布采樣。輸出層不要加 softmax因?yàn)?PyTorch 的Categorical內(nèi)部會(huì)做 log_softmax提前做一次會(huì)導(dǎo)致數(shù)值不穩(wěn)定這是新手最常犯的錯(cuò)誤之一。import torch import torch.nn as nn class DiscreteActor(nn.Module): def __init__(self, obs_dim: int, action_dim: int, hidden: int 128): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.head nn.Linear(hidden, action_dim) def forward(self, obs: torch.Tensor): logits self.head(self.body(obs)) return logits激活函數(shù)這里選 Tanh 而不是 ReLU原因是 ReLU 在狀態(tài)輸入歸一化不理想時(shí)容易產(chǎn)生大片死區(qū)而策略網(wǎng)絡(luò)對(duì)梯度方向很敏感死區(qū)會(huì)導(dǎo)致某些動(dòng)作永遠(yuǎn)采不到探索直接退化。這不是絕對(duì)規(guī)則但在連續(xù)控制和低維狀態(tài)任務(wù)上Tanh 的魯棒性明顯更好代價(jià)是訓(xùn)練稍慢一點(diǎn)。4.2 連續(xù)動(dòng)作空間的 Actor連續(xù)動(dòng)作要輸出一個(gè)高斯分布的均值和對(duì)數(shù)標(biāo)準(zhǔn)差。均值通常經(jīng)過(guò) tanh 壓到 [-1, 1]再按動(dòng)作上下限縮放對(duì)數(shù)標(biāo)準(zhǔn)差用可學(xué)習(xí)參數(shù)并且要 clamp 到一個(gè)合理區(qū)間否則訓(xùn)練中期可能出現(xiàn)標(biāo)準(zhǔn)差指數(shù)爆炸采樣出來(lái)的動(dòng)作全是邊界值。class ContinuousActor(nn.Module): def __init__(self, obs_dim: int, action_dim: int, hidden: int 256): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.mean_head nn.Linear(hidden, action_dim) self.log_std nn.Parameter(torch.zeros(action_dim)) def forward(self, obs: torch.Tensor): mean torch.tanh(self.mean_head(self.body(obs))) log_std torch.clamp(self.log_std, min-20, max2) std log_std.exp() return mean, stdlog_std用獨(dú)立參數(shù)而不是網(wǎng)絡(luò)輸出是因?yàn)樵诖蟛糠诌B續(xù)控制任務(wù)里探索噪聲的水平與具體狀態(tài)關(guān)系不大獨(dú)立參數(shù)收斂更穩(wěn)。如果你做的是狀態(tài)相關(guān)性很強(qiáng)的任務(wù)比如機(jī)械臂在接近目標(biāo)時(shí)需要精細(xì)動(dòng)作可以讓網(wǎng)絡(luò)輸出 log_std但要額外做 clamp。4.3 Critic 的輸出與價(jià)值尺度Critic 輸出一個(gè)標(biāo)量 V(s)結(jié)構(gòu)比 Actor 簡(jiǎn)單但初始化很關(guān)鍵。如果 Critic 初始輸出偏離真實(shí)回報(bào)的量級(jí)太遠(yuǎn)第一批優(yōu)勢(shì)估計(jì)會(huì)全是噪聲Actor 會(huì)朝錯(cuò)誤方向更新一大步之后再想糾正就很困難。class Critic(nn.Module): def __init__(self, obs_dim: int, hidden: int 128): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.head nn.Linear(hidden, 1) # 輸出層用小初始化讓初始 V(s) 接近 0 nn.init.orthogonal_(self.head.weight, gain1.0) nn.init.zeros_(self.head.bias) def forward(self, obs: torch.Tensor): return self.head(self.body(obs)).squeeze(-1)這里的squeeze(-1)很重要不寫(xiě)的話(huà)價(jià)值張量是[batch, 1]后面和回報(bào)張量相減會(huì)發(fā)生廣播形狀悄悄變成[batch, batch]損失看起來(lái)在下降但學(xué)的是完全錯(cuò)誤的東西。這類(lèi)形狀 bug 不會(huì)報(bào)錯(cuò)只會(huì)讓訓(xùn)練莫名其妙地不收斂排查成本極高。4.4 共享主干還是分離主干經(jīng)典實(shí)現(xiàn)里常見(jiàn)兩種寫(xiě)法一種讓 Actor 和 Critic 共享前面的特征提取層只分開(kāi)輸出頭另一種完全獨(dú)立。共享主干的優(yōu)勢(shì)是參數(shù)少、特征復(fù)用、在小任務(wù)上收斂快缺點(diǎn)是梯度會(huì)互相干擾如果兩個(gè)損失量級(jí)差異大容易一方主導(dǎo)把另一方的特征壓掉。完全分離則沒(méi)有干擾但參數(shù)量翻倍。我的建議是CartPole、Acrobot 這種幾十維狀態(tài)的任務(wù)可以共享圖像輸入或高維連續(xù)控制一律分離。判斷標(biāo)準(zhǔn)很簡(jiǎn)單如果訓(xùn)練曲線出現(xiàn)策略熵快速塌縮但回報(bào)不漲很可能是共享主干被價(jià)值損失帶偏了改成分離往往立刻好轉(zhuǎn)。5. 優(yōu)勢(shì)函數(shù)與 GAE 實(shí)現(xiàn)優(yōu)勢(shì)函數(shù)的估計(jì)質(zhì)量直接決定 Actor-Critic 的表現(xiàn)上限。這一節(jié)從最簡(jiǎn)單的單步 TD 誤差一路推到 GAE每一步都給出可運(yùn)行的代碼。5.1 TD 誤差與 n-step 回報(bào)最基礎(chǔ)的優(yōu)勢(shì)估計(jì)就是 TD 誤差A(yù) r γV(s) - V(s)。它的偏差來(lái)自 Critic 本身不準(zhǔn)但因?yàn)橹挥靡徊秸鎸?shí)獎(jiǎng)勵(lì)方差極小。另一個(gè)極端是蒙特卡洛A G_t - V(s)無(wú)偏但方差大。中間的 n-step 回報(bào)用 n 步真實(shí)獎(jiǎng)勵(lì)加上第 n 步的價(jià)值估計(jì)def compute_nstep_returns(rewards, values, dones, gamma0.99, n5): rewards/values/dones 均為長(zhǎng)度 T 的列表values 多一個(gè) bootstrap 項(xiàng) T len(rewards) returns [] for t in range(T): R 0.0 for k in range(n): if t k T: break R (gamma ** k) * rewards[t k] if dones[t k]: break else: # 未終止則加上第 n 步的價(jià)值估計(jì)作為 bootstrap idx min(t n, T) R (gamma ** n) * values[idx] returns.append(R) return returns這段代碼里有個(gè)細(xì)節(jié)值得注意for...else結(jié)構(gòu)只有在循環(huán)正常走完沒(méi)有被break時(shí)才執(zhí)行 bootstrap。如果軌跡中途終止就不該再加 bootstrap 項(xiàng)否則會(huì)把下一回合的價(jià)值錯(cuò)誤地算進(jìn)來(lái)。這類(lèi)終止處理錯(cuò)誤在外行看來(lái)只是曲線抖一點(diǎn)實(shí)際上是系統(tǒng)性偏差。5.2 GAE 的遞推實(shí)現(xiàn)GAE 的做法是把所有 n-step 優(yōu)勢(shì)做指數(shù)加權(quán)平均用一個(gè)參數(shù) λ 控制偏差方差權(quán)衡。λ0 退化成單步 TDλ1 退化成蒙特卡洛。工程上最常用的是 0.95 左右。遞推公式是A_t δ_t γλ(1-done_t)A_{t1}其中 δ_t 就是單步 TD 誤差。從后往前算一遍即可復(fù)雜度 O(T)。def compute_gae(rewards, values, dones, gamma0.99, lam0.95): rewards: [T] values: [T1]最后一項(xiàng)是 bootstrap 價(jià)值 dones: [T]float終止為 1 返回 advantages [T] 和 returns [T] T len(rewards) advantages [0.0] * T last_adv 0.0 for t in reversed(range(T)): if t T - 1: next_value values[T] else: next_value values[t 1] delta rewards[t] gamma * next_value * (1 - dones[t]) - values[t] last_adv delta gamma * lam * (1 - dones[t]) * last_adv advantages[t] last_adv returns [advantages[t] values[t] for t in range(T)] return advantages, returns兩個(gè)輸出都要用advantages拿去算策略損失returns拿去算價(jià)值損失。有些人圖省事直接用 advantages 當(dāng)價(jià)值目標(biāo)這是錯(cuò)的因?yàn)閮r(jià)值網(wǎng)絡(luò)學(xué)的是 V(s) 而不是優(yōu)勢(shì)兩者差了一個(gè)基線。5.3 優(yōu)勢(shì)歸一化拿到優(yōu)勢(shì)后必須做一步歸一化這是 A2C/PPO 里最廉價(jià)也最有效的穩(wěn)定手段import torch def normalize_advantages(adv: torch.Tensor, eps: float 1e-8): return (adv - adv.mean()) / (adv.std() eps)歸一化的作用是把梯度步長(zhǎng)控制在合理范圍。不做這一步時(shí)如果某批次優(yōu)勢(shì)全是正數(shù)且數(shù)值很大一次更新就能把策略推得很遠(yuǎn)直接破壞探索歸一化之后優(yōu)勢(shì)的均值是 0、方差是 1更新量級(jí)與回報(bào)絕對(duì)大小解耦換環(huán)境時(shí)不用重新調(diào)學(xué)習(xí)率。這個(gè)技巧在 reward 尺度差異大的任務(wù)上幾乎是必須的。6. 完整 A2C 訓(xùn)練實(shí)現(xiàn)把前面的模塊拼起來(lái)就是一段可以直接跑的 A2C。選擇 A2C 而不是 PPO 作為第一個(gè)完整實(shí)現(xiàn)是因?yàn)樗鼪](méi)有重要性采樣比率和 clip邏輯干凈出錯(cuò)時(shí)定位容易。import gymnasium as gym import numpy as np import torch import torch.nn as nn import torch.optim as optim from torch.distributions import Categorical class ActorCritic(nn.Module): def __init__(self, obs_dim, action_dim, hidden128): super().__init__() self.shared nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.actor nn.Linear(hidden, action_dim) self.critic nn.Linear(hidden, 1) nn.init.orthogonal_(self.actor.weight, gain0.01) nn.init.zeros_(self.actor.bias) nn.init.orthogonal_(self.critic.weight, gain1.0) nn.init.zeros_(self.critic.bias) def forward(self, x): h self.shared(x) return self.actor(h), self.critic(h).squeeze(-1) def act(self, obs): logits, value self.forward(obs) dist Categorical(logitslogits) action dist.sample() return action, dist.log_prob(action), value, dist.entropy() def collect_rollout(env, model, rollout_steps20): obs_list, act_list, logp_list [], [], [] rew_list, done_list, val_list [], [], [] obs, _ env.reset() ep_return, ep_returns 0.0, [] for _ in range(rollout_steps): obs_t torch.as_tensor(obs, dtypetorch.float32) with torch.no_grad(): action, logp, value, _ model.act(obs_t) next_obs, reward, terminated, truncated, _ env.step(action.item()) done terminated or truncated obs_list.append(obs_t) act_list.append(action) logp_list.append(logp) rew_list.append(reward) done_list.append(float(done)) val_list.append(value.item()) ep_return reward obs next_obs if done: ep_returns.append(ep_return) ep_return 0.0 obs, _ env.reset() with torch.no_grad(): _, last_value model(torch.as_tensor(obs, dtypetorch.float32)) return (obs_list, act_list, logp_list, rew_list, done_list, val_list, last_value.item(), ep_returns) def train(): env gym.make(CartPole-v1) obs_dim env.observation_space.shape[0] action_dim env.action_space.n model ActorCritic(obs_dim, action_dim) optimizer optim.Adam(model.parameters(), lr3e-3) gamma, lam 0.99, 0.95 value_coef, entropy_coef 0.5, 0.01 returns_history [] for update in range(200): (obs_list, act_list, logp_list, rew_list, done_list, val_list, last_val, ep_returns) collect_rollout(env, model) returns_history.extend(ep_returns) values val_list [last_val] advs, rets [], [] last_adv 0.0 for t in reversed(range(len(rew_list))): delta rew_list[t] gamma * values[t 1] * (1 - done_list[t]) - values[t] last_adv delta gamma * lam * (1 - done_list[t]) * last_adv advs.append(last_adv) advs.reverse() rets [advs[i] values[i] for i in range(len(advs))] adv_t torch.tensor(advs, dtypetorch.float32) adv_t (adv_t - adv_t.mean()) / (adv_t.std() 1e-8) ret_t torch.tensor(rets, dtypetorch.float32) logp_t torch.stack(logp_list) obs_t torch.stack(obs_list) logits, values_pred model(obs_t) dist Categorical(logitslogits) entropy dist.entropy().mean() policy_loss -(logp_t * adv_t.detach()).mean() value_loss nn.functional.mse_loss(values_pred, ret_t) loss policy_loss value_coef * value_loss - entropy_coef * entropy optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 0.5) optimizer.step() if (update 1) % 10 0 and returns_history: avg np.mean(returns_history[-20:]) print(fupdate {update1:03d} | avg return {avg:.1f} | fentropy {entropy.item():.3f} | value loss {value_loss.item():.3f}) env.close() if __name__ __main__: train()這段代碼里有幾個(gè)設(shè)計(jì)選擇值得單獨(dú)說(shuō)。策略損失用采樣時(shí)記錄的logp_list而不是重新前向計(jì)算這是同策略算法的標(biāo)準(zhǔn)做法但要記得 detach 優(yōu)勢(shì)否則梯度會(huì)流進(jìn)價(jià)值網(wǎng)絡(luò)導(dǎo)致雙重反傳。價(jià)值損失用 MSE如果獎(jiǎng)勵(lì)尺度很大可以換成 Huber避免離群回報(bào)把 Critic 拉飛。熵獎(jiǎng)勵(lì)的符號(hào)是減去因?yàn)槲覀兿Ｍ畲蠡匾簿褪亲寭p失里包含負(fù)的熵項(xiàng)。梯度裁剪的 0.5 是個(gè)經(jīng)驗(yàn)值。A2C 在 CartPole 上即使不裁剪一般也能跑但在連續(xù)控制任務(wù)里一次異常大的優(yōu)勢(shì)就能讓策略參數(shù)跳變裁剪是最省事的保險(xiǎn)。裁剪閾值不要設(shè)得太小0.1 以下會(huì)讓學(xué)習(xí)明顯變慢因?yàn)榇蟛糠终Ｌ荻纫矔?huì)被削。在普通筆記本 CPU 上這段代碼大概 100 到 200 次 update 就能讓平均回報(bào)爬到 400 以上200 次全滿(mǎn)。如果跑到 500 次還在 20 左右徘徊基本可以判定是環(huán)境 API 或優(yōu)勢(shì)計(jì)算出了問(wèn)題直接跳到第 9 章排查。7. 算法族對(duì)比與選型Actor-Critic 這個(gè)模板衍生出的算法很多實(shí)際項(xiàng)目里選型的關(guān)鍵不是哪個(gè)最新而是樣本從哪來(lái)、動(dòng)作空間是什么、允許的調(diào)參時(shí)間有多少。下面這張表把常用的幾個(gè)放在一起對(duì)比。算法策略類(lèi)型采樣方式動(dòng)作空間經(jīng)驗(yàn)回放主要特點(diǎn)典型用途A2C隨機(jī)策略同策略同步多環(huán)境離散/連續(xù)否結(jié)構(gòu)簡(jiǎn)單易于調(diào)試教學(xué)、基線對(duì)比A3C隨機(jī)策略同策略異步多線程離散/連續(xù)否異步更新現(xiàn)已較少使用歷史參考PPO隨機(jī)策略同策略多輪復(fù)用離散/連續(xù)否clip 約束穩(wěn)定工業(yè)界主力大模型 RLHF、游戲 AIDDPG確定性策略異策略?xún)H連續(xù)是確定性策略加目標(biāo)網(wǎng)絡(luò)連續(xù)控制基線TD3確定性策略異策略?xún)H連續(xù)是雙 Critic、延遲更新、目標(biāo)平滑連續(xù)控制常用SAC隨機(jī)策略異策略?xún)H連續(xù)是最大熵框架探索充分機(jī)器人、樣本昂貴場(chǎng)景選型的實(shí)操判斷可以這樣走如果你能拿到大量并行仿真環(huán)境同策略的 PPO 是最省心的選擇它的調(diào)參空間相對(duì)寬容社區(qū)實(shí)現(xiàn)也最多如果真實(shí)環(huán)境采樣代價(jià)高、一步要花幾秒那就得走異策略路線用經(jīng)驗(yàn)回放提高樣本利用率連續(xù)動(dòng)作優(yōu)先考慮 SAC 或 TD3如果動(dòng)作是離散的且環(huán)境便宜A2C 足夠作為第一版基線。從 A2C 遷移到 PPO 的改動(dòng)量其實(shí)很小核心是把采一批數(shù)據(jù)更新一次改成采一批數(shù)據(jù)分多個(gè) epoch 更新同時(shí)加上重要性采樣比率和 clip。下面這段是 PPO 的策略損失核心可以對(duì)照第 6 章的 A2C 看差異def ppo_policy_loss(new_logp, old_logp, advantages, clip_ratio0.2): ratio torch.exp(new_logp - old_logp) surr1 ratio * advantages surr2 torch.clamp(ratio, 1.0 - clip_ratio, 1.0 clip_ratio) * advantages return -torch.min(surr1, surr2).mean()這里old_logp必須是采樣時(shí)記錄的、并且在多個(gè) epoch 內(nèi)保持不變。很多人把它每個(gè) epoch 重新算一遍clip 就失效了算法退化成沒(méi)有約束的策略梯度訓(xùn)練曲線會(huì)突然崩掉。這個(gè)坑在復(fù)現(xiàn) PPO 時(shí)出現(xiàn)頻率極高。8. 訓(xùn)練監(jiān)控、資源占用與常見(jiàn)問(wèn)題排查Actor-Critic 的調(diào)試核心是分而治之先把 Critic 單獨(dú)看好再看 Actor。因?yàn)?Actor 的更新方向完全依賴(lài) Critic 給出的優(yōu)勢(shì)如果價(jià)值估計(jì)本身在亂飄后面所有調(diào)參都是在錯(cuò)誤的地基上做微調(diào)。8.1 必須監(jiān)控的四個(gè)指標(biāo)第一是平均回合回報(bào)看趨勢(shì)不看單點(diǎn)用最近 20 到 100 回合的滑動(dòng)平均。第二是策略熵它反映探索程度CartPole 上健康的曲線是從 0.69 左右緩慢下降到 0.3 附近如果十幾輪就掉到 0.05說(shuō)明策略過(guò)早確定通常需要加大熵系數(shù)或降低學(xué)習(xí)率。第三是價(jià)值損失它應(yīng)該整體下降但允許波動(dòng)如果持續(xù)上升說(shuō)明價(jià)值目標(biāo)尺度有問(wèn)題。第四是梯度范數(shù)裁剪前的梯度范數(shù)突然放大到幾十上百往往是某批次優(yōu)勢(shì)異常或出現(xiàn)了數(shù)值問(wèn)題。把這幾項(xiàng)寫(xiě)進(jìn)日志接 TensorBoard 是最省事的做法from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(runs/a2c_cartpole) # 在每個(gè) update 結(jié)束時(shí)記錄 writer.add_scalar(train/avg_return, avg_return, update) writer.add_scalar(train/entropy, entropy.item(), update) writer.add_scalar(train/value_loss, value_loss.item(), update) writer.add_scalar(train/grad_norm, grad_norm, update) writer.close()8.2 資源占用怎么觀察低維狀態(tài)任務(wù)上瓶頸幾乎全在環(huán)境交互而不在網(wǎng)絡(luò)計(jì)算。一個(gè) 128×128 的 MLP 單次前向在 CPU 上是微秒級(jí)而env.step往往要幾十微秒到毫秒級(jí)。所以在 CartPole 上把模型搬到 GPU 反而更慢因?yàn)槊看味家鲆淮沃鳈C(jī)到設(shè)備的拷貝。判斷標(biāo)準(zhǔn)很直接用time.perf_counter()把采樣耗時(shí)和更新耗時(shí)分別打出來(lái)如果采樣占 80% 以上優(yōu)化方向就是并行環(huán)境而不是換硬件。import time t0 time.perf_counter() rollout collect_rollout(env, model) t1 time.perf_counter() # ... 更新邏輯 ... t2 time.perf_counter() print(fsample: {t1-t0:.3f}s | update: {t2-t1:.3f}s)當(dāng)任務(wù)換成圖像輸入情況就反過(guò)來(lái)了。Atari 的 84×84×4 幀堆疊輸入特征提取網(wǎng)絡(luò)的前向和反向會(huì)成為主要開(kāi)銷(xiāo)這時(shí)候 GPU 才有意義同時(shí)顯存占用主要取決于批量大小和網(wǎng)絡(luò)寬度。觀測(cè)這一點(diǎn)最方便的方式是torch.cuda.max_memory_allocated()在訓(xùn)練循環(huán)里定期打印比看任務(wù)管理器準(zhǔn)確得多。并行環(huán)境是另一個(gè)資源維度。A2C 原本就設(shè)計(jì)成多環(huán)境同步采樣用gymnasium.vector.SyncVectorEnv起 8 個(gè)環(huán)境采樣吞吐能提升數(shù)倍但 CPU 占用也會(huì)同步上升。這里要注意并行環(huán)境的數(shù)量不是越多越好超過(guò)物理核心數(shù)之后上下文切換開(kāi)銷(xiāo)會(huì)吃掉收益一般取物理核心數(shù)的一半到全部之間。8.3 常見(jiàn)問(wèn)題與排查表問(wèn)題現(xiàn)象可能原因排查方式解決方案回報(bào)長(zhǎng)期停在隨機(jī)水平優(yōu)勢(shì)符號(hào)寫(xiě)反或未 detach打印單批次優(yōu)勢(shì)均值檢查是否恒正或恒負(fù)修正優(yōu)勢(shì)計(jì)算確保adv.detach()策略熵幾輪內(nèi)塌到接近 0學(xué)習(xí)率過(guò)大或熵系數(shù)過(guò)小觀察 entropy 曲線下降速度降 lr 到 1e-3 以下熵系數(shù)提到 0.01 以上價(jià)值損失不降反升回報(bào)尺度與初始化不匹配打印values_pred.mean()與ret_t.mean()輸出層小初始化或?qū)貓?bào)做縮放張量形狀報(bào)錯(cuò)或結(jié)果異常Critic 輸出未 squeeze檢查values_pred.shape加.squeeze(-1)訓(xùn)練前期正常后期突然崩潰梯度爆炸記錄裁剪前梯度范數(shù)開(kāi)啟梯度裁剪閾值 0.5 左右換環(huán)境后完全不學(xué)觀測(cè)未歸一化檢查 obs 數(shù)值范圍加 running mean/std 歸一化多環(huán)境并行后變慢環(huán)境數(shù)超過(guò)物理核數(shù)對(duì)比不同 env 數(shù)的采樣耗時(shí)降到物理核心數(shù)以?xún)?nèi)PPO 復(fù)現(xiàn)后曲線不如 A2Cold_logp 每個(gè) epoch 重算檢查 old_logp 是否在 epoch 內(nèi)固定采樣時(shí)記錄一次全程復(fù)用連續(xù)動(dòng)作全落在邊界log_std 無(wú)約束打印 std 數(shù)值clamp log_std 到 [-20, 2]這張表里最值得展開(kāi)的是觀測(cè)未歸一化這一條。CartPole 的觀測(cè)數(shù)值都在個(gè)位數(shù)不歸一化也能跑所以很多人養(yǎng)成了不歸一化的習(xí)慣。一旦換到 Pendulum 或者 MuJoCo觀測(cè)里同時(shí)存在 0.01 量級(jí)和 10 量級(jí)的維度網(wǎng)絡(luò)會(huì)幾乎只對(duì)大量級(jí)維度敏感小量級(jí)維度相當(dāng)于被屏蔽表現(xiàn)為怎么調(diào)都不學(xué)。加一層 running 均值方差歸一化通常一次就解決。9. 最佳實(shí)踐與下一步Actor-Critic 這一套東西寫(xiě)對(duì)一次之后復(fù)用價(jià)值很高。下面是幾條從實(shí)際調(diào)試?yán)锟偨Y(jié)出來(lái)的、能明顯減少踩坑時(shí)間的做法。第一條永遠(yuǎn)先在 CartPole 上跑通再換環(huán)境。這不是偷懶而是建立一條已知正確的基線。當(dāng)你在 MuJoCo 上調(diào)了兩天沒(méi)結(jié)果時(shí)把同一份代碼切回 CartPole 跑 50 輪如果也不學(xué)問(wèn)題在算法實(shí)現(xiàn)如果正常問(wèn)題在超參或環(huán)境適配。這個(gè)二分能把排查范圍瞬間砍掉一半。第二條把 Critic 的學(xué)習(xí)率和 Actor 分開(kāi)設(shè)置。共享一個(gè)優(yōu)化器看似簡(jiǎn)潔但兩者對(duì)步長(zhǎng)的敏感度不同Critic 通常需要更快地跟上回報(bào)變化Actor 則需要更保守。實(shí)踐里 Critic 學(xué)習(xí)率取 Actor 的 2 到 3 倍是常見(jiàn)起點(diǎn)尤其在價(jià)值損失下降明顯滯后于策略改進(jìn)的時(shí)候。第三條保留一套最小可運(yùn)行配置。把能跑通的那組超參寫(xiě)進(jìn)configs/目錄并加注釋說(shuō)明適用環(huán)境之后每次實(shí)驗(yàn)都從它 fork 出來(lái)而不是在當(dāng)前腳本上反復(fù)改數(shù)字。Actor-Critic 調(diào)參很容易陷入改了 A 又影響 B的循環(huán)有基線配置才能判斷某次改動(dòng)是真的有效還是隨機(jī)波動(dòng)。第四條批量任務(wù)和長(zhǎng)訓(xùn)練要加斷點(diǎn)保存。訓(xùn)練腳本里定期保存模型參數(shù)、優(yōu)化器狀態(tài)和當(dāng)前 update 序號(hào)配合日志落盤(pán)。強(qiáng)化學(xué)習(xí)的訓(xùn)練曲線經(jīng)常在某個(gè)階段突然變好或變差如果沒(méi)保存中間狀態(tài)想回到那個(gè)點(diǎn)重新實(shí)驗(yàn)就只能從頭再來(lái)這在需要跑幾小時(shí)的任務(wù)上代價(jià)很大。def save_checkpoint(path, model, optimizer, update, best_return): torch.save({ model: model.state_dict(), optimizer: optimizer.state_dict(), update: update, best_return: best_return, }, path) def load_checkpoint(path, model, optimizer): ckpt torch.load(path, map_locationcpu) model.load_state_dict(ckpt[model]) optimizer.load_state_dict(ckpt[optimizer]) return ckpt[update], ckpt[best_return]第五條評(píng)估階段一定要關(guān)掉探索。訓(xùn)練時(shí)用隨機(jī)策略采樣是為了探索評(píng)估時(shí)應(yīng)該用分布的均值或 argmax并且固定隨機(jī)種子跑多個(gè)回合取平均。用帶噪聲的策略去評(píng)估得到的回報(bào)會(huì)明顯偏低且波動(dòng)很大容易誤判模型沒(méi)學(xué)好。關(guān)于下一步的擴(kuò)展方向比較自然的路徑有兩條。一條是往 PPO 走把第 6 章的采樣和更新拆成兩段加上重要性采樣比率和 clip這套代碼幾乎可以直接用在語(yǔ)言模型的 RLHF 微調(diào)流程里那邊的 reward model 扮演的就是 Critic 的角色只是評(píng)價(jià)對(duì)象從狀態(tài)變成了整段回復(fù)。另一條是往異策略走引入經(jīng)驗(yàn)回放緩沖區(qū)、目標(biāo)網(wǎng)絡(luò)和雙 Critic去處理真實(shí)采樣代價(jià)高的連續(xù)控制問(wèn)題。如果要在這兩條路上做選擇判斷依據(jù)就一句話(huà)你的環(huán)境能不能便宜地并行采樣。能就走同策略不能就走異策略。這個(gè)判斷比看任何算法排行榜都可靠。Actor-Critic 的骨架在這兩條路上是共通的先把它吃透后面換算法只是替換幾個(gè)模塊的事。