絡(luò)進階技巧全解：DDQN、Dueling DQN、PER、Noisy Net、分布式Q函數(shù)與Rainbow)
教程機器學習深度學習【免費下載鏈接】easy-rl強化學習中文教程蘑菇書在線閱讀地址https://datawhalechina.github.io/easy-rl/項目地址https://gitcode.com/gh_mirrors/ea/easy-rl點擊查看免費下載本章第7章講解深度Q網(wǎng)絡(luò)DQN訓練中的一系列進階技巧雙深度Q網(wǎng)絡(luò)Double DQN、競爭深度Q網(wǎng)絡(luò)Dueling DQN、優(yōu)先級經(jīng)驗回放Prioritized Experience Replay, PER、多步方法、噪聲網(wǎng)絡(luò)Noisy Net、分布式Q函數(shù)Distributional Q-function以及將它們組合起來的彩虹Rainbow。這些技巧解決DQN在實踐中的典型問題——Q值過估計、樣本利用效率低、探索方式不合理、獎勵不確定性被忽視等且彼此之間沒有沖突可以疊加使用。本文以蘑菇書Easy-RL第7章為骨架結(jié)合倉庫中 notebooks 目錄下的可運行實現(xiàn)DoubleDQN.ipynb、DuelingDQN.ipynb、PER_DQN.ipynb、NoisyDQN.ipynb與 第7章實踐項目逐項拆解每個技巧的原理、公式、實現(xiàn)要點與調(diào)參建議幫助讀者真正把進階DQN跑起來。7.1 雙深度Q網(wǎng)絡(luò)解決Q值被高估的問題7.1.1 為什么Q值總是被高估在實現(xiàn)上Q值往往是被高估的。以 4 個不同的小游戲為例見原文檔圖 7.1橫軸代表迭代輪次紅色鋸齒狀曲線表示Q函數(shù)對大量不同狀態(tài)采樣后取平均的 Q 值。由于Q函數(shù)取決于策略學習過程中策略越來越強同一狀態(tài)下期望獎勵越來越大因此Q值整體呈上升趨勢——但這是深度Q網(wǎng)絡(luò)預估出來的值。隨后用策略實際去玩例如100萬次統(tǒng)計真實獲得的累積獎勵會發(fā)現(xiàn)預估出來的值遠比真實值大且大很多在每一個游戲中都是如此。原因在于式(7.1)的訓練目標本身我們希望左側(cè)與右側(cè)目標越接近越好但目標很容易被設(shè)得過高因為計算目標時實際上做的是看哪一個動作 $a$ 可以得到最大的Q值就把它加上去變成目標$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}\max{a} Q\left(s{t1}, a\right) \tag{7.1} $$例如有 4 個動作本來它們得到的Q值與獎勵都差不多但網(wǎng)絡(luò)估計有誤差。如圖 7.2(a) 所示若第一個動作被高估智能體就會選它用被高估的 Q 值加 $r_t$ 當目標若第四個動作被高估圖 7.2(b)就會選第四個。智能體總是會選那個 Q 值被高估的動作所以目標值總是太大。7.1.2 DDQN 的解法動作選擇與價值計算解耦在DDQN中選動作的Q函數(shù)與計算值的Q函數(shù)不是同一個。原DQN窮舉所有 $a$ 代入Q函數(shù)把Q值最高的 $a$ 對應的Q值加 $r_t$DDQN 則有兩個Q網(wǎng)絡(luò)第一個Q網(wǎng)絡(luò) $Q$ 決定哪一個動作的Q值最大決定動作后Q值用 $Q$ 算出來式 7.2$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}Q^{\prime}\left(s_{t1}, \arg \max{a} Q\left(s{t1}, a\right)\right) \tag{7.2} $$如果 $Q$ 高估了它選出的動作 $a$只要 $Q$ 沒有高估這個動作的值算出來的就還是正常值反過來若 $Q$ 高估了某個動作只要 $Q$ 不選它就沒問題。DDQN 相較于DQN的更改最少幾乎沒有增加任何運算量也不需要新網(wǎng)絡(luò)原來就有兩個網(wǎng)絡(luò)只需把用目標網(wǎng)絡(luò) $Q$ 找使 Q 值最大的 $a$改為用另一個會更新的Q網(wǎng)絡(luò)找使 Q 值最大的 $a$。如果只選一個技巧一般都會選DDQN因為其極易實現(xiàn)。7.1.3 源碼對照DoubleDQN 的更新核心倉庫 notebooks/DoubleDQN.ipynb 完整實現(xiàn)了該邏輯核心更新代碼1.3 節(jié)DoubleDQN.update為q_value_batch self.policy_net(state_batch).gather(dim1, indexaction_batch) # 實際Q值 next_q_value_batch self.policy_net(next_state_batch) # 策略網(wǎng)絡(luò)選動作 next_target_value_batch self.target_net(next_state_batch) # 目標網(wǎng)絡(luò)算價值 # 將策略網(wǎng)絡(luò)Q值最大的動作對應的目標網(wǎng)絡(luò)Q值作為期望的Q值 next_target_q_value_batch next_target_value_batch.gather( 1, torch.max(next_q_value_batch, 1)[1].unsqueeze(1)) expected_q_value_batch reward_batch self.gamma * next_target_q_value_batch * (1 - done_batch) loss nn.MSELoss()(q_value_batch, expected_q_value_batch)其中policy_net會更新負責torch.max(next_q_value_batch, 1)[1]選出最優(yōu)動作target_net固定住負責取該動作的Q值——正是式(7.2)的代碼形態(tài)。其余部分MLP網(wǎng)絡(luò)、ReplayBuffer、ε-貪心采樣、目標網(wǎng)絡(luò)定期load_state_dict拷貝參數(shù)與DQN完全一致印證了更改最少的說法。該 notebook 在 CartPole-v1 上的一組默認超參數(shù)第 4 節(jié)Config可直接參考algo_name DoubleDQN; env_name CartPole-v1; seed 1 train_eps 100; test_eps 10; max_steps 200 gamma 0.99; lr 0.0001 epsilon_start 0.95; epsilon_end 0.01; epsilon_decay 500 buffer_size 10000; batch_size 64; target_update 4; hidden_dim 256 device cuda if torch.cuda.is_available() else cpu其中epsilon按epsilon_end (epsilon_start - epsilon_end) * exp(-sample_count / epsilon_decay)指數(shù)衰減target_update為策略網(wǎng)絡(luò)參數(shù)拷貝到目標網(wǎng)絡(luò)的頻率以采樣次數(shù)計。訓練 100 回合后測試 10 回合基本可穩(wěn)定拿到 200 分滿分。7.2 競爭深度Q網(wǎng)絡(luò)拆分為狀態(tài)價值與優(yōu)勢7.2.1 網(wǎng)絡(luò)結(jié)構(gòu)V(s) 與 A(s,a) 兩條路徑競爭深度Q網(wǎng)絡(luò)與原始DQN唯一的差別是改變了網(wǎng)絡(luò)架構(gòu)。原DQN輸入狀態(tài)直接輸出每個動作的Q值Dueling DQN 不直接輸出Q值而是分成兩條路徑第一條路徑輸出一個與輸入 $s$ 有關(guān)的標量 $V(\boldsymbol{s})$第二條路徑輸出一個向量 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$每個動作一個值。二者相加得到 $\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$$$ \boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a}) V(\boldsymbol{s}) \boldsymbol{A}(\boldsymbol{s},\boldsymbol{a}) $$假設(shè)只有 4 個狀態(tài)、3 個動作$\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$ 可看成一個表格原文檔圖 7.4把 $V(\boldsymbol{s})$ 加到 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的每一列就得到 Q 值。7.2.2 為什么更有效率訓練網(wǎng)絡(luò)時我們真正能修改的是 $V(\boldsymbol{s})$ 與 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的值。假設(shè)希望 Q 表格中第一行第二列由 3 變 4、第二行第二列由 ?1 變 0此時可能只改 $V(\boldsymbol{s})$ 即可從 0 變 1于是 Q 表格中第三個動作的值?2→?1也被順帶修改了。也就是說即使某個狀態(tài)只采樣到兩個動作、沒采樣到第三個動作第三個動作的 Q 值也會被更新——不需要把所有的狀態(tài)-動作對都采樣就能用更高效的方式估計 Q 值。因此 Dueling DQN 是一個使用數(shù)據(jù)比較有效率的方法。7.2.3 可辨識性問題與零均值化約束一個潛在問題是智能體可能學到 $V(\boldsymbol{s})0$、$\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})Q$那樣Dueling結(jié)構(gòu)就退化成原DQN毫無好處。為避免這個問題要給 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 加約束讓它的更新比較麻煩從而迫使網(wǎng)絡(luò)傾向于用 $V(\boldsymbol{s})$ 解決問題。最直覺的約束是讓 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 每一列的和為 0此時 $V(\boldsymbol{s})$ 可理解為每列 Q 值的平均值由于每列和恒為 0無法讓某列所有元素都加 1網(wǎng)絡(luò)就被迫去更新 $V(\boldsymbol{s})$。實現(xiàn)上就是零均值化假設(shè) 3 個動作輸出 $[7,3,2]^{\mathrm{T}}$先求均值 (732)/34每個元素減 4 得 $[3,-1,2]^{\mathrm{T}}$再與 $V(\boldsymbol{s})$ 相加得到Q值。該步驟沒有參數(shù)、是網(wǎng)絡(luò)的一部分可以隨網(wǎng)絡(luò)一起反向傳播訓練。7.2.4 源碼對照DuelingNet 的結(jié)構(gòu)與組合公式倉庫 notebooks/DuelingDQN.ipynb 的DuelingNet正是共享隱藏層 價值/優(yōu)勢兩個分支的實現(xiàn)class DuelingNet(nn.Module): def __init__(self, n_states, n_actions, hidden_dim128): super(DuelingNet, self).__init__() self.hidden_layer nn.Sequential(nn.Linear(n_states, hidden_dim), nn.ReLU()) # advantage 分支 self.advantage_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, n_actions)) # value 分支 self.value_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1)) def forward(self, state): x self.hidden_layer(state) advantage self.advantage_layer(x) value self.value_layer(x) return value advantage - advantage.mean() # 零均值化forward末尾的value advantage - advantage.mean()即帶約束的組合公式notebook 中給出的可辨識形式$$ Q(S, A, w, \alpha, \beta)V(S, w, \alpha)\left(A(S, A, w, \beta)-\frac{1}{\mathcal{A}} \sum_{a^{\prime} \in \mathcal{A}} A\left(S, a^{\prime}, w, \beta\right)\right) $$模型結(jié)構(gòu)圖可參考 notebooks/figs/duelingdqn_model.png左普通三層MLP右Dueling 雙分支結(jié)構(gòu)。該 notebook 在 CartPole-v1 上使用gamma0.95、lr0.0001、memory_capacity10000、batch_size64、target_update800、hidden_dim256訓練 100 回合后測試 10 回合同樣能達到 200 滿分驗證了數(shù)據(jù)利用效率更高的實際效果。7.3 優(yōu)先級經(jīng)驗回放讓難樣本更大概率被采樣7.3.1 動機原來從回放緩沖區(qū)采樣訓練Q網(wǎng)絡(luò)時是均勻采樣這不一定是最好策略。有些數(shù)據(jù)之前采樣過、發(fā)現(xiàn)其時序差分誤差TD誤差特別大——即網(wǎng)絡(luò)的輸出與目標之間的差距大說明這些數(shù)據(jù)比較不好訓練。既然不好訓練就應該給它們更大的被采樣概率優(yōu)先權(quán)。需要注意的是PER不僅改變了采樣數(shù)據(jù)的分布還改變了更新參數(shù)的方法訓練過程因為采樣分布變了必須用重要性采樣權(quán)重修正梯度偏差。7.3.2 源碼對照SumTree 與優(yōu)先級更新倉庫 notebooks/PER_DQN.ipynb 給出了完整的 PER 實現(xiàn)核心數(shù)據(jù)結(jié)構(gòu)是SumTree線段樹/求和樹用于按優(yōu)先級快速采樣。關(guān)鍵設(shè)計第 2 節(jié)PrioritizedReplayBuffer如下self.alpha 0.6 # 優(yōu)先級指數(shù)控制優(yōu)先級對采樣的影響程度 self.beta 0.4 # 重要性采樣權(quán)重指數(shù)IS weights self.epsilon 0.01 # 避免零優(yōu)先級的常數(shù) self.abs_err_upper 1. # 用于對TD誤差進行截斷 ... p (np.abs(error) self.epsilon) ** self.alpha # 由TD誤差計算優(yōu)先級 ... self.beta np.min([1., self.beta self.beta_increment_per_sampling]) # beta隨采樣逐步增大 is_weights np.power(self.tree.n_entries * sampling_probabilities, -self.beta) # 重要性采樣權(quán)重要點SumTree 采樣根據(jù)根節(jié)點優(yōu)先級和采樣樣本數(shù)劃分采樣區(qū)間逐層與節(jié)點優(yōu)先級對比最終得到要采樣的葉子樣本notebook 中 1.2 節(jié)有圖解說明優(yōu)先級更新采樣后用本批 TD 誤差ps np.power(clipped_errors, self.alpha)回寫樹節(jié)點重要性采樣權(quán)重由于改變了采樣分布更新時必須乘以is_weights以修正偏差beta從 0.4 隨采樣逐步線性增至 1.0abs_err_upper1.用于把 TD 誤差截斷在 $[-1,1]$防止個別異常樣本優(yōu)先級過大。7.4 多步方法在蒙特卡洛與時序差分之間取得平衡蒙特卡洛方法與時序差分方法各有優(yōu)劣多步方法multi-step在二者之間取得平衡。TD 方法只走一步在狀態(tài) $s_t$ 采取動作 $a_t$ 得到獎勵 $r_t$進入 $s_{t1}$多步方法則保存 $N$ 個步驟的數(shù)據(jù)一直記錄到在 $s_{tN}$ 采取 $a_{tN}$、得到 $r_{tN}$、進入 $s_{tN1}$。更新時讓 $Q(s_t,a_t)$ 與目標值越接近越好其中 $\hat{Q}$ 計算的不是 $s_{t1}$ 而是 $s_{tN1}$ 的獎勵目標值再加上多步獎勵之和$$ \sum_{t^{\prime}t}^{tN} r_{t^{\prime}} $$即從時間 $t$ 到 $tN$ 共 $N1$ 個獎勵的和。好處TD 只采樣一步接下來都是Q值估測出來的多步方法采樣 $N$ 步才估測估測部分造成的影響更小壞處與蒙特卡洛方法一樣$N$ 項獎勵加起來方差會變大權(quán)衡$N$ 是一個可調(diào)的超參數(shù)例如 3 步還是 5 步用于在方差與Q值不精確之間取得平衡。7.5 噪聲網(wǎng)絡(luò)在參數(shù)空間而非動作空間探索7.5.1 基本思想$\varepsilon$-貪心是在動作空間上加噪聲做探索。噪聲網(wǎng)絡(luò)Noisy Net則是在參數(shù)空間上加噪聲每個回合開始、智能體與環(huán)境交互之前給Q函數(shù)網(wǎng)絡(luò)的每個參數(shù)加一個高斯噪聲Gaussian noise把原Q函數(shù)變成噪聲Q函數(shù) $\tilde{Q}$。使用噪聲網(wǎng)絡(luò)執(zhí)行的動作為$$ a\underset{a}{\arg \max} \tilde{Q}(s, a) $$關(guān)鍵約定每個回合開始時采樣噪聲隨后用固定的噪聲網(wǎng)絡(luò)玩完整個回合直到游戲結(jié)束才重新采樣噪聲在一個回合內(nèi)不能改變。OpenAI 與 DeepMind 幾乎同時提出該方法兩篇論文均發(fā)表于 ICLR 2018區(qū)別僅在于加噪聲的方式——OpenAI 直接給每個權(quán)重加高斯噪聲較簡單DeepMind 的噪聲由一組參數(shù)控制、網(wǎng)絡(luò)可以自己決定噪聲加多大較復雜但概念一致。7.5.2 依賴狀態(tài)的探索與ε-貪心的本質(zhì)差異這帶來了與動作空間采樣方法的本質(zhì)差異。在 $\varepsilon$-貪心中給定同樣的狀態(tài)智能體可能執(zhí)行不同的動作有時用Q函數(shù)、有時隨機這在真實世界中是不正常的——真實策略給定相同狀態(tài)應有相同回應。而在參數(shù)上加噪聲時同一個回合內(nèi)網(wǎng)絡(luò)參數(shù)固定看到相同或類似的狀態(tài)就會采取相同的動作這被稱為依賴狀態(tài)的探索state-dependent exploration動作噪聲只是隨機亂試參數(shù)噪聲則是系統(tǒng)地嘗試——比如某狀態(tài)每次向左試下個回合看到同樣狀態(tài)再向右試是系統(tǒng)性地探索環(huán)境。7.5.3 源碼對照NoisyLinear 與回合級噪聲重置倉庫 notebooks/NoisyDQN.ipynb 實現(xiàn)了NoisyLinear帶噪聲的全連接層與噪聲網(wǎng)絡(luò)NoisyNetnoisy_fc1/2/3并在forward中應用噪聲?；睾霞壴肼曋刂眠壿嬻w現(xiàn)在self.policy_net.reset_noise() # 訓練每回合開始時重置策略網(wǎng)絡(luò)噪聲 self.target_net.reset_noise() # 目標網(wǎng)絡(luò)同樣重置reset_noise內(nèi)部用_scale_noise生成與參數(shù)同形狀的高斯噪聲epsilon_in/epsilon_out拷貝到weight_epsilon、bias_epsilon上。noise 在網(wǎng)絡(luò)訓練時作為可學習的參數(shù)一起反向傳播——這正是網(wǎng)絡(luò)可以自己決定噪聲要加多大的實現(xiàn)基礎(chǔ)。該 notebook 的配置中epsilon_start0.95, epsilon_end0.01, epsilon_decay500依然保留但探索主要依賴網(wǎng)絡(luò)內(nèi)部噪聲默認還提供gamma0.95, lr0.0001, buffer_size100000, batch_size64, target_update4, hidden_dim256等參數(shù)。7.6 分布式Q函數(shù)對獎勵分布而非期望建模7.6.1 為什么只建模期望不夠Q函數(shù)是累積獎勵的期望值但環(huán)境有隨機性在某狀態(tài)采取某動作游戲結(jié)束時統(tǒng)計所有可能獎勵得到的是一個分布例如獎勵為 0 的概率很高?10 和 10 的概率較低。對這個分布取平均才是Q值。不同的分布可以有相同的平均值——假設(shè)只用Q值的期望代表整個獎勵會丟失信息無法對獎勵分布進行建模見原文檔圖 7.8平均值相同但形狀不同的兩個分布。7.6.2 做法輸出落在某個長條中的概率分布式Q函數(shù)直接對分布建模假設(shè)獎勵分布落在某個范圍內(nèi)如 ?10 ~ 10把它拆成一個個長條例如每個動作的獎勵空間拆成 5 個長條Q函數(shù)的輸出變成預測在某狀態(tài)采取某動作得到的獎勵落在某一個長條內(nèi)的概率。以 3 個動作 $a_1,a_2,a_3$ 為例輸入一個狀態(tài)分別輸出三組概率綠色/紅色/藍色長條每組概率之和為 1高度代表落在該長條內(nèi)的概率。測試時選平均值最大的動作執(zhí)行。額外的好處是還可以利用分布信息比如方差大的動作風險高——在兩個動作平均值差不多時可以選風險更小的動作執(zhí)行從而訓練出規(guī)避風險的策略。7.7 彩虹把全部技巧組合起來7.7.1 組合與消融彩虹Rainbow把前述方法全部組合使用原DQN算一種顏色加上 DDQN、PER、Dueling、多步、Noisy、分布式Q函數(shù)共 7 種顏色原文檔圖 7.10。橫軸是訓練幀數(shù)縱軸是十幾個雅達利小游戲分數(shù)的中位數(shù)取中位數(shù)而非平均是因為不同游戲分數(shù)差距很大取平均會讓某幾個游戲控制結(jié)果。單看各種方法灰色普通DQN性能較差噪聲DQNnoisy DQN比DQN好很多紫色DDQN挺有效優(yōu)先級雙DQNprioritized DDQN、競爭雙DQNdueling DDQN、分布式DQNdistributional DQN性能都較高異步優(yōu)勢演員-評論員A3C屬于演員-評論員方法將在本書第九章詳細介紹A3C 內(nèi)部本身就含多步方法所以圖 7.10 中沒有單獨的多步方法曲線——實現(xiàn)A3C 就等于實現(xiàn)了多步方法。這些方法彼此不沖突全部疊加就是彩虹方法性能很好。7.7.2 去掉一種方法會怎樣把全部方法組合后逐一去掉其中一種方法可以判斷它的貢獻原文檔圖 7.11虛線為去掉某方法后的結(jié)果去掉多步方法后性能掉很多去掉優(yōu)先級經(jīng)驗回放后掉下來去掉**分布分布式Q函數(shù)**后也掉下來——有趣的是訓練初期分布方法與其他方法速度差不多去掉它訓練不會變慢但最終性能收斂在比較差的地方去掉噪聲網(wǎng)絡(luò)后性能差一點去掉競爭深度Q網(wǎng)絡(luò)后性能差一點去掉雙深度Q網(wǎng)絡(luò)卻沒什么差別。為什么 DDQN 在組合中作用變小因為分布式DQN本質(zhì)上就不會高估獎勵它輸出的是分布的范圍范圍必然受限如 ?10 ~ 10若真實獎勵超過 10比如 100就會被當作沒看到而丟棄因此極端的大值獎勵被丟棄不會高估獎勵、反而會低估獎勵。既然用了分布式Q函數(shù)后已無高估問題DDQN 的用武之地就變小了。7.8 綜合實踐把進階技巧用在 CartPole 上7.8.1 實踐項目環(huán)境CartPole-v0倉庫 第7章實踐項目project2.md建議使用 Double-DQN 解決 CartPole-v0即建立兩個初始參數(shù)相同的全連接網(wǎng)絡(luò)target_net與policy_net。CartPole-v0 是 OpenAI Gym 經(jīng)典環(huán)境通過向左action0或向右action1推車保持平衡動作空間由兩個動作組成每進行一個 step 得 1 獎勵無法保持平衡時doneTrue本次 episode 失敗。理想狀態(tài)下每個 episode 至少進行 200 個 step即每個 episode 的獎勵總和至少 200、step 數(shù)至少 200。環(huán)境建立如下import gym env gym.make(CartPole-v0) env.seed(1) # 設(shè)置env隨機種子 n_states env.observation_space.shape[0] # 總狀態(tài)數(shù) n_actions env.action_space.n # 總動作數(shù)7.8.2 強化學習基本訓練循環(huán)項目文檔給出的訓練主循環(huán)結(jié)構(gòu)記錄獎勵、滑動平均、每回合更新目標網(wǎng)絡(luò)rewards [] # 記錄總的rewards moving_average_rewards [] # 記錄滑動平均處理后的rewards ep_steps [] for i_episode in range(1, cfg.max_episodes1): # cfg.max_episodes 最大訓練episode數(shù) state env.reset() # reset環(huán)境狀態(tài) ep_reward 0 for i_step in range(1, cfg.max_steps1): # cfg.max_steps 每episode最大步數(shù) action agent.select_action(state) # 根據(jù)當前state選擇action next_state, reward, done, _ env.step(action) # 更新環(huán)境參數(shù) ep_reward reward agent.memory.push(state, action, reward, next_state, done) # transition存入memory state next_state # 跳轉(zhuǎn)到下一個狀態(tài) agent.update() # 每步更新網(wǎng)絡(luò) if done: break # 更新target network復制DQN中的所有weights and biases if i_episode % cfg.target_update 0: # cfg.target_update 目標網(wǎng)絡(luò)更新頻率 agent.target_net.load_state_dict(agent.policy_net.state_dict()) print(Episode:, i_episode, Reward: %i % int(ep_reward), n_steps:, i_step, done: , done, Explore: %.2f % agent.epsilon) ep_steps.append(i_step) rewards.append(ep_reward) # 計算滑動窗口的reward if i_episode 1: moving_average_rewards.append(ep_reward) else: moving_average_rewards.append( 0.9*moving_average_rewards[-1]0.1*ep_reward)7.8.3 結(jié)果可視化與超參數(shù)記錄訓練后應繪制reward 及滑動平均 reward 隨 episode 的變化曲線并記錄超參數(shù)寫成報告。項目文檔在 docs/chapter7/assets 目錄給出了訓練train與測試eval的參考曲線圖訓練曲線rewards_train.png、moving_average_rewards_train.png、steps_train.png評估曲線rewards_eval.png、moving_average_rewards_eval.png、steps_eval.png。其中滑動平均的遞推式0.9 * moving_average_rewards[-1] 0.1 * ep_reward與 DoubleDQN.ipynb、DuelingDQN.ipynb 中smooth(data, weight0.9)的平滑方式一致即指數(shù)加權(quán)滑動平均。此外也可以用 TensorBoard 查看訓練過程的獎勵與步數(shù)曲線見 project2.md 末尾的截圖說明。7.9 總結(jié)與選型建議技巧解決的核心問題改動點實現(xiàn)成本Double DQNQ值過估計目標Q值的計算方式選動作與算價值解耦極低只改幾行Dueling DQN數(shù)據(jù)利用效率低網(wǎng)絡(luò)結(jié)構(gòu)拆成 V(s) A(s,a) 并零均值化低改網(wǎng)絡(luò)結(jié)構(gòu)Prioritized Replay難樣本采樣不足采樣分布 重要性采樣權(quán)重中需 SumTreeMulti-stepTD偏差與MC方差折中保存并累加 N 步獎勵低$N$ 為超參數(shù)Noisy Net探索不合理參數(shù)空間加噪聲、回合級重置中需自定義帶噪聲層Distributional Q忽視獎勵分布信息輸出分布而非期望較高需分布投影Rainbow綜合上述全部收益全部疊加高工程量大若只選一個技巧首選 DDQN改動最少、幾乎不增加運算量卻最直接地緩解Q值高估Dueling DQN 與 PER 通常都能帶來穩(wěn)定收益且互不沖突多步方法N≈3~5是低成本高收益的折中A3C 等演員-評論員方法內(nèi)部本身就包含多步Noisy Net 與分布式Q函數(shù)更進階后者還能支持風險敏感選低方差動作的策略Rainbow 是這些方法的組合上限消融實驗表明多步、PER、分布式貢獻最大而在使用分布式Q函數(shù)后 DDQN 的邊際收益變小。所有技巧的完整可運行實現(xiàn)與默認超參數(shù)均可從倉庫 notebooks 目錄下對應的DoubleDQN、DuelingDQN、PER_DQN、NoisyDQN等 notebook 中直接獲取并在 CartPole 系列環(huán)境中驗證配套的章節(jié)關(guān)鍵詞與習題含面試題見 第7章問答文檔可進一步自測對每個技巧原理的掌握程度。贊分享教程機器學習深度學習【免費下載鏈接】easy-rl強化學習中文教程蘑菇書在線閱讀地址https://datawhalechina.github.io/easy-rl/項目地址https://gitcode.com/gh_mirrors/ea/easy-rl點擊查看免費下載相關(guān)推薦easy-rl 蘑菇書第七章深度Q網(wǎng)絡(luò)進階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹easy rl 蘑菇書第七章深度Q網(wǎng)絡(luò)進階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹 本文以蘑菇書easy rl 第教程機器學習深度學習Easy-RL深度Q網(wǎng)絡(luò)DQN及其進階技巧全解析Easy RL深度Q網(wǎng)絡(luò)DQN及其進階技巧全解析 本文全面解析了深度Q網(wǎng)絡(luò)DQN及其核心改進技術(shù)。DQN通過結(jié)合深度學習與Q學習解決了高維狀態(tài)空間下的價人工智能強化學習深度學習教程Easy-RL項目深度Q網(wǎng)絡(luò)進階技巧詳解Easy RL項目深度Q網(wǎng)絡(luò)進階技巧詳解 深度Q網(wǎng)絡(luò) DQN 作為強化學習中的重要算法在實際應用中存在多種改進方法。本文將系統(tǒng)介紹Easy RL項目中提出的7教程機器學習深度學習上一篇Factorio藍圖可視化工具打造你的工廠藝術(shù)下一篇從0到1掌握ahk2_lib解放Windows自動化潛能的全棧工具庫創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Easy-RL 深度Q網(wǎng)絡(luò)進階技巧全解：DDQN、Dueling DQN、PER、Noisy Net、分布式Q函數(shù)與Rainbow
教程機器學習深度學習【免費下載鏈接】easy-rl強化學習中文教程蘑菇書在線閱讀地址https://datawhalechina.github.io/easy-rl/項目地址https://gitcode.com/gh_mirrors/ea/easy-rl點擊查看免費下載本章第7章講解深度Q網(wǎng)絡(luò)DQN訓練中的一系列進階技巧雙深度Q網(wǎng)絡(luò)Double DQN、競爭深度Q網(wǎng)絡(luò)Dueling DQN、優(yōu)先級經(jīng)驗回放Prioritized Experience Replay, PER、多步方法、噪聲網(wǎng)絡(luò)Noisy Net、分布式Q函數(shù)Distributional Q-function以及將它們組合起來的彩虹Rainbow。這些技巧解決DQN在實踐中的典型問題——Q值過估計、樣本利用效率低、探索方式不合理、獎勵不確定性被忽視等且彼此之間沒有沖突可以疊加使用。本文以蘑菇書Easy-RL第7章為骨架結(jié)合倉庫中 notebooks 目錄下的可運行實現(xiàn)DoubleDQN.ipynb、DuelingDQN.ipynb、PER_DQN.ipynb、NoisyDQN.ipynb與 第7章實踐項目逐項拆解每個技巧的原理、公式、實現(xiàn)要點與調(diào)參建議幫助讀者真正把進階DQN跑起來。7.1 雙深度Q網(wǎng)絡(luò)解決Q值被高估的問題7.1.1 為什么Q值總是被高估在實現(xiàn)上Q值往往是被高估的。以 4 個不同的小游戲為例見原文檔圖 7.1橫軸代表迭代輪次紅色鋸齒狀曲線表示Q函數(shù)對大量不同狀態(tài)采樣后取平均的 Q 值。由于Q函數(shù)取決于策略學習過程中策略越來越強同一狀態(tài)下期望獎勵越來越大因此Q值整體呈上升趨勢——但這是深度Q網(wǎng)絡(luò)預估出來的值。隨后用策略實際去玩例如100萬次統(tǒng)計真實獲得的累積獎勵會發(fā)現(xiàn)預估出來的值遠比真實值大且大很多在每一個游戲中都是如此。原因在于式(7.1)的訓練目標本身我們希望左側(cè)與右側(cè)目標越接近越好但目標很容易被設(shè)得過高因為計算目標時實際上做的是看哪一個動作 $a$ 可以得到最大的Q值就把它加上去變成目標$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}\max{a} Q\left(s{t1}, a\right) \tag{7.1} $$例如有 4 個動作本來它們得到的Q值與獎勵都差不多但網(wǎng)絡(luò)估計有誤差。如圖 7.2(a) 所示若第一個動作被高估智能體就會選它用被高估的 Q 值加 $r_t$ 當目標若第四個動作被高估圖 7.2(b)就會選第四個。智能體總是會選那個 Q 值被高估的動作所以目標值總是太大。7.1.2 DDQN 的解法動作選擇與價值計算解耦在DDQN中選動作的Q函數(shù)與計算值的Q函數(shù)不是同一個。原DQN窮舉所有 $a$ 代入Q函數(shù)把Q值最高的 $a$ 對應的Q值加 $r_t$DDQN 則有兩個Q網(wǎng)絡(luò)第一個Q網(wǎng)絡(luò) $Q$ 決定哪一個動作的Q值最大決定動作后Q值用 $Q$ 算出來式 7.2$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}Q^{\prime}\left(s_{t1}, \arg \max{a} Q\left(s{t1}, a\right)\right) \tag{7.2} $$如果 $Q$ 高估了它選出的動作 $a$只要 $Q$ 沒有高估這個動作的值算出來的就還是正常值反過來若 $Q$ 高估了某個動作只要 $Q$ 不選它就沒問題。DDQN 相較于DQN的更改最少幾乎沒有增加任何運算量也不需要新網(wǎng)絡(luò)原來就有兩個網(wǎng)絡(luò)只需把用目標網(wǎng)絡(luò) $Q$ 找使 Q 值最大的 $a$改為用另一個會更新的Q網(wǎng)絡(luò)找使 Q 值最大的 $a$。如果只選一個技巧一般都會選DDQN因為其極易實現(xiàn)。7.1.3 源碼對照DoubleDQN 的更新核心倉庫 notebooks/DoubleDQN.ipynb 完整實現(xiàn)了該邏輯核心更新代碼1.3 節(jié)DoubleDQN.update為q_value_batch self.policy_net(state_batch).gather(dim1, indexaction_batch) # 實際Q值 next_q_value_batch self.policy_net(next_state_batch) # 策略網(wǎng)絡(luò)選動作 next_target_value_batch self.target_net(next_state_batch) # 目標網(wǎng)絡(luò)算價值 # 將策略網(wǎng)絡(luò)Q值最大的動作對應的目標網(wǎng)絡(luò)Q值作為期望的Q值 next_target_q_value_batch next_target_value_batch.gather( 1, torch.max(next_q_value_batch, 1)[1].unsqueeze(1)) expected_q_value_batch reward_batch self.gamma * next_target_q_value_batch * (1 - done_batch) loss nn.MSELoss()(q_value_batch, expected_q_value_batch)其中policy_net會更新負責torch.max(next_q_value_batch, 1)[1]選出最優(yōu)動作target_net固定住負責取該動作的Q值——正是式(7.2)的代碼形態(tài)。其余部分MLP網(wǎng)絡(luò)、ReplayBuffer、ε-貪心采樣、目標網(wǎng)絡(luò)定期load_state_dict拷貝參數(shù)與DQN完全一致印證了更改最少的說法。該 notebook 在 CartPole-v1 上的一組默認超參數(shù)第 4 節(jié)Config可直接參考algo_name DoubleDQN; env_name CartPole-v1; seed 1 train_eps 100; test_eps 10; max_steps 200 gamma 0.99; lr 0.0001 epsilon_start 0.95; epsilon_end 0.01; epsilon_decay 500 buffer_size 10000; batch_size 64; target_update 4; hidden_dim 256 device cuda if torch.cuda.is_available() else cpu其中epsilon按epsilon_end (epsilon_start - epsilon_end) * exp(-sample_count / epsilon_decay)指數(shù)衰減target_update為策略網(wǎng)絡(luò)參數(shù)拷貝到目標網(wǎng)絡(luò)的頻率以采樣次數(shù)計。訓練 100 回合后測試 10 回合基本可穩(wěn)定拿到 200 分滿分。7.2 競爭深度Q網(wǎng)絡(luò)拆分為狀態(tài)價值與優(yōu)勢7.2.1 網(wǎng)絡(luò)結(jié)構(gòu)V(s) 與 A(s,a) 兩條路徑競爭深度Q網(wǎng)絡(luò)與原始DQN唯一的差別是改變了網(wǎng)絡(luò)架構(gòu)。原DQN輸入狀態(tài)直接輸出每個動作的Q值Dueling DQN 不直接輸出Q值而是分成兩條路徑第一條路徑輸出一個與輸入 $s$ 有關(guān)的標量 $V(\boldsymbol{s})$第二條路徑輸出一個向量 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$每個動作一個值。二者相加得到 $\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$$$ \boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a}) V(\boldsymbol{s}) \boldsymbol{A}(\boldsymbol{s},\boldsymbol{a}) $$假設(shè)只有 4 個狀態(tài)、3 個動作$\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$ 可看成一個表格原文檔圖 7.4把 $V(\boldsymbol{s})$ 加到 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的每一列就得到 Q 值。7.2.2 為什么更有效率訓練網(wǎng)絡(luò)時我們真正能修改的是 $V(\boldsymbol{s})$ 與 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的值。假設(shè)希望 Q 表格中第一行第二列由 3 變 4、第二行第二列由 ?1 變 0此時可能只改 $V(\boldsymbol{s})$ 即可從 0 變 1于是 Q 表格中第三個動作的值?2→?1也被順帶修改了。也就是說即使某個狀態(tài)只采樣到兩個動作、沒采樣到第三個動作第三個動作的 Q 值也會被更新——不需要把所有的狀態(tài)-動作對都采樣就能用更高效的方式估計 Q 值。因此 Dueling DQN 是一個使用數(shù)據(jù)比較有效率的方法。7.2.3 可辨識性問題與零均值化約束一個潛在問題是智能體可能學到 $V(\boldsymbol{s})0$、$\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})Q$那樣Dueling結(jié)構(gòu)就退化成原DQN毫無好處。為避免這個問題要給 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 加約束讓它的更新比較麻煩從而迫使網(wǎng)絡(luò)傾向于用 $V(\boldsymbol{s})$ 解決問題。最直覺的約束是讓 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 每一列的和為 0此時 $V(\boldsymbol{s})$ 可理解為每列 Q 值的平均值由于每列和恒為 0無法讓某列所有元素都加 1網(wǎng)絡(luò)就被迫去更新 $V(\boldsymbol{s})$。實現(xiàn)上就是零均值化假設(shè) 3 個動作輸出 $[7,3,2]^{\mathrm{T}}$先求均值 (732)/34每個元素減 4 得 $[3,-1,2]^{\mathrm{T}}$再與 $V(\boldsymbol{s})$ 相加得到Q值。該步驟沒有參數(shù)、是網(wǎng)絡(luò)的一部分可以隨網(wǎng)絡(luò)一起反向傳播訓練。7.2.4 源碼對照DuelingNet 的結(jié)構(gòu)與組合公式倉庫 notebooks/DuelingDQN.ipynb 的DuelingNet正是共享隱藏層 價值/優(yōu)勢兩個分支的實現(xiàn)class DuelingNet(nn.Module): def __init__(self, n_states, n_actions, hidden_dim128): super(DuelingNet, self).__init__() self.hidden_layer nn.Sequential(nn.Linear(n_states, hidden_dim), nn.ReLU()) # advantage 分支 self.advantage_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, n_actions)) # value 分支 self.value_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1)) def forward(self, state): x self.hidden_layer(state) advantage self.advantage_layer(x) value self.value_layer(x) return value advantage - advantage.mean() # 零均值化forward末尾的value advantage - advantage.mean()即帶約束的組合公式notebook 中給出的可辨識形式$$ Q(S, A, w, \alpha, \beta)V(S, w, \alpha)\left(A(S, A, w, \beta)-\frac{1}{\mathcal{A}} \sum_{a^{\prime} \in \mathcal{A}} A\left(S, a^{\prime}, w, \beta\right)\right) $$模型結(jié)構(gòu)圖可參考 notebooks/figs/duelingdqn_model.png左普通三層MLP右Dueling 雙分支結(jié)構(gòu)。該 notebook 在 CartPole-v1 上使用gamma0.95、lr0.0001、memory_capacity10000、batch_size64、target_update800、hidden_dim256訓練 100 回合后測試 10 回合同樣能達到 200 滿分驗證了數(shù)據(jù)利用效率更高的實際效果。7.3 優(yōu)先級經(jīng)驗回放讓難樣本更大概率被采樣7.3.1 動機原來從回放緩沖區(qū)采樣訓練Q網(wǎng)絡(luò)時是均勻采樣這不一定是最好策略。有些數(shù)據(jù)之前采樣過、發(fā)現(xiàn)其時序差分誤差TD誤差特別大——即網(wǎng)絡(luò)的輸出與目標之間的差距大說明這些數(shù)據(jù)比較不好訓練。既然不好訓練就應該給它們更大的被采樣概率優(yōu)先權(quán)。需要注意的是PER不僅改變了采樣數(shù)據(jù)的分布還改變了更新參數(shù)的方法訓練過程因為采樣分布變了必須用重要性采樣權(quán)重修正梯度偏差。7.3.2 源碼對照SumTree 與優(yōu)先級更新倉庫 notebooks/PER_DQN.ipynb 給出了完整的 PER 實現(xiàn)核心數(shù)據(jù)結(jié)構(gòu)是SumTree線段樹/求和樹用于按優(yōu)先級快速采樣。關(guān)鍵設(shè)計第 2 節(jié)PrioritizedReplayBuffer如下self.alpha 0.6 # 優(yōu)先級指數(shù)控制優(yōu)先級對采樣的影響程度 self.beta 0.4 # 重要性采樣權(quán)重指數(shù)IS weights self.epsilon 0.01 # 避免零優(yōu)先級的常數(shù) self.abs_err_upper 1. # 用于對TD誤差進行截斷 ... p (np.abs(error) self.epsilon) ** self.alpha # 由TD誤差計算優(yōu)先級 ... self.beta np.min([1., self.beta self.beta_increment_per_sampling]) # beta隨采樣逐步增大 is_weights np.power(self.tree.n_entries * sampling_probabilities, -self.beta) # 重要性采樣權(quán)重要點SumTree 采樣根據(jù)根節(jié)點優(yōu)先級和采樣樣本數(shù)劃分采樣區(qū)間逐層與節(jié)點優(yōu)先級對比最終得到要采樣的葉子樣本notebook 中 1.2 節(jié)有圖解說明優(yōu)先級更新采樣后用本批 TD 誤差ps np.power(clipped_errors, self.alpha)回寫樹節(jié)點重要性采樣權(quán)重由于改變了采樣分布更新時必須乘以is_weights以修正偏差beta從 0.4 隨采樣逐步線性增至 1.0abs_err_upper1.用于把 TD 誤差截斷在 $[-1,1]$防止個別異常樣本優(yōu)先級過大。7.4 多步方法在蒙特卡洛與時序差分之間取得平衡蒙特卡洛方法與時序差分方法各有優(yōu)劣多步方法multi-step在二者之間取得平衡。TD 方法只走一步在狀態(tài) $s_t$ 采取動作 $a_t$ 得到獎勵 $r_t$進入 $s_{t1}$多步方法則保存 $N$ 個步驟的數(shù)據(jù)一直記錄到在 $s_{tN}$ 采取 $a_{tN}$、得到 $r_{tN}$、進入 $s_{tN1}$。更新時讓 $Q(s_t,a_t)$ 與目標值越接近越好其中 $\hat{Q}$ 計算的不是 $s_{t1}$ 而是 $s_{tN1}$ 的獎勵目標值再加上多步獎勵之和$$ \sum_{t^{\prime}t}^{tN} r_{t^{\prime}} $$即從時間 $t$ 到 $tN$ 共 $N1$ 個獎勵的和。好處TD 只采樣一步接下來都是Q值估測出來的多步方法采樣 $N$ 步才估測估測部分造成的影響更小壞處與蒙特卡洛方法一樣$N$ 項獎勵加起來方差會變大權(quán)衡$N$ 是一個可調(diào)的超參數(shù)例如 3 步還是 5 步用于在方差與Q值不精確之間取得平衡。7.5 噪聲網(wǎng)絡(luò)在參數(shù)空間而非動作空間探索7.5.1 基本思想$\varepsilon$-貪心是在動作空間上加噪聲做探索。噪聲網(wǎng)絡(luò)Noisy Net則是在參數(shù)空間上加噪聲每個回合開始、智能體與環(huán)境交互之前給Q函數(shù)網(wǎng)絡(luò)的每個參數(shù)加一個高斯噪聲Gaussian noise把原Q函數(shù)變成噪聲Q函數(shù) $\tilde{Q}$。使用噪聲網(wǎng)絡(luò)執(zhí)行的動作為$$ a\underset{a}{\arg \max} \tilde{Q}(s, a) $$關(guān)鍵約定每個回合開始時采樣噪聲隨后用固定的噪聲網(wǎng)絡(luò)玩完整個回合直到游戲結(jié)束才重新采樣噪聲在一個回合內(nèi)不能改變。OpenAI 與 DeepMind 幾乎同時提出該方法兩篇論文均發(fā)表于 ICLR 2018區(qū)別僅在于加噪聲的方式——OpenAI 直接給每個權(quán)重加高斯噪聲較簡單DeepMind 的噪聲由一組參數(shù)控制、網(wǎng)絡(luò)可以自己決定噪聲加多大較復雜但概念一致。7.5.2 依賴狀態(tài)的探索與ε-貪心的本質(zhì)差異這帶來了與動作空間采樣方法的本質(zhì)差異。在 $\varepsilon$-貪心中給定同樣的狀態(tài)智能體可能執(zhí)行不同的動作有時用Q函數(shù)、有時隨機這在真實世界中是不正常的——真實策略給定相同狀態(tài)應有相同回應。而在參數(shù)上加噪聲時同一個回合內(nèi)網(wǎng)絡(luò)參數(shù)固定看到相同或類似的狀態(tài)就會采取相同的動作這被稱為依賴狀態(tài)的探索state-dependent exploration動作噪聲只是隨機亂試參數(shù)噪聲則是系統(tǒng)地嘗試——比如某狀態(tài)每次向左試下個回合看到同樣狀態(tài)再向右試是系統(tǒng)性地探索環(huán)境。7.5.3 源碼對照NoisyLinear 與回合級噪聲重置倉庫 notebooks/NoisyDQN.ipynb 實現(xiàn)了NoisyLinear帶噪聲的全連接層與噪聲網(wǎng)絡(luò)NoisyNetnoisy_fc1/2/3并在forward中應用噪聲?；睾霞壴肼曋刂眠壿嬻w現(xiàn)在self.policy_net.reset_noise() # 訓練每回合開始時重置策略網(wǎng)絡(luò)噪聲 self.target_net.reset_noise() # 目標網(wǎng)絡(luò)同樣重置reset_noise內(nèi)部用_scale_noise生成與參數(shù)同形狀的高斯噪聲epsilon_in/epsilon_out拷貝到weight_epsilon、bias_epsilon上。noise 在網(wǎng)絡(luò)訓練時作為可學習的參數(shù)一起反向傳播——這正是網(wǎng)絡(luò)可以自己決定噪聲要加多大的實現(xiàn)基礎(chǔ)。該 notebook 的配置中epsilon_start0.95, epsilon_end0.01, epsilon_decay500依然保留但探索主要依賴網(wǎng)絡(luò)內(nèi)部噪聲默認還提供gamma0.95, lr0.0001, buffer_size100000, batch_size64, target_update4, hidden_dim256等參數(shù)。7.6 分布式Q函數(shù)對獎勵分布而非期望建模7.6.1 為什么只建模期望不夠Q函數(shù)是累積獎勵的期望值但環(huán)境有隨機性在某狀態(tài)采取某動作游戲結(jié)束時統(tǒng)計所有可能獎勵得到的是一個分布例如獎勵為 0 的概率很高?10 和 10 的概率較低。對這個分布取平均才是Q值。不同的分布可以有相同的平均值——假設(shè)只用Q值的期望代表整個獎勵會丟失信息無法對獎勵分布進行建模見原文檔圖 7.8平均值相同但形狀不同的兩個分布。7.6.2 做法輸出落在某個長條中的概率分布式Q函數(shù)直接對分布建模假設(shè)獎勵分布落在某個范圍內(nèi)如 ?10 ~ 10把它拆成一個個長條例如每個動作的獎勵空間拆成 5 個長條Q函數(shù)的輸出變成預測在某狀態(tài)采取某動作得到的獎勵落在某一個長條內(nèi)的概率。以 3 個動作 $a_1,a_2,a_3$ 為例輸入一個狀態(tài)分別輸出三組概率綠色/紅色/藍色長條每組概率之和為 1高度代表落在該長條內(nèi)的概率。測試時選平均值最大的動作執(zhí)行。額外的好處是還可以利用分布信息比如方差大的動作風險高——在兩個動作平均值差不多時可以選風險更小的動作執(zhí)行從而訓練出規(guī)避風險的策略。7.7 彩虹把全部技巧組合起來7.7.1 組合與消融彩虹Rainbow把前述方法全部組合使用原DQN算一種顏色加上 DDQN、PER、Dueling、多步、Noisy、分布式Q函數(shù)共 7 種顏色原文檔圖 7.10。橫軸是訓練幀數(shù)縱軸是十幾個雅達利小游戲分數(shù)的中位數(shù)取中位數(shù)而非平均是因為不同游戲分數(shù)差距很大取平均會讓某幾個游戲控制結(jié)果。單看各種方法灰色普通DQN性能較差噪聲DQNnoisy DQN比DQN好很多紫色DDQN挺有效優(yōu)先級雙DQNprioritized DDQN、競爭雙DQNdueling DDQN、分布式DQNdistributional DQN性能都較高異步優(yōu)勢演員-評論員A3C屬于演員-評論員方法將在本書第九章詳細介紹A3C 內(nèi)部本身就含多步方法所以圖 7.10 中沒有單獨的多步方法曲線——實現(xiàn)A3C 就等于實現(xiàn)了多步方法。這些方法彼此不沖突全部疊加就是彩虹方法性能很好。7.7.2 去掉一種方法會怎樣把全部方法組合后逐一去掉其中一種方法可以判斷它的貢獻原文檔圖 7.11虛線為去掉某方法后的結(jié)果去掉多步方法后性能掉很多去掉優(yōu)先級經(jīng)驗回放后掉下來去掉**分布分布式Q函數(shù)**后也掉下來——有趣的是訓練初期分布方法與其他方法速度差不多去掉它訓練不會變慢但最終性能收斂在比較差的地方去掉噪聲網(wǎng)絡(luò)后性能差一點去掉競爭深度Q網(wǎng)絡(luò)后性能差一點去掉雙深度Q網(wǎng)絡(luò)卻沒什么差別。為什么 DDQN 在組合中作用變小因為分布式DQN本質(zhì)上就不會高估獎勵它輸出的是分布的范圍范圍必然受限如 ?10 ~ 10若真實獎勵超過 10比如 100就會被當作沒看到而丟棄因此極端的大值獎勵被丟棄不會高估獎勵、反而會低估獎勵。既然用了分布式Q函數(shù)后已無高估問題DDQN 的用武之地就變小了。7.8 綜合實踐把進階技巧用在 CartPole 上7.8.1 實踐項目環(huán)境CartPole-v0倉庫 第7章實踐項目project2.md建議使用 Double-DQN 解決 CartPole-v0即建立兩個初始參數(shù)相同的全連接網(wǎng)絡(luò)target_net與policy_net。CartPole-v0 是 OpenAI Gym 經(jīng)典環(huán)境通過向左action0或向右action1推車保持平衡動作空間由兩個動作組成每進行一個 step 得 1 獎勵無法保持平衡時doneTrue本次 episode 失敗。理想狀態(tài)下每個 episode 至少進行 200 個 step即每個 episode 的獎勵總和至少 200、step 數(shù)至少 200。環(huán)境建立如下import gym env gym.make(CartPole-v0) env.seed(1) # 設(shè)置env隨機種子 n_states env.observation_space.shape[0] # 總狀態(tài)數(shù) n_actions env.action_space.n # 總動作數(shù)7.8.2 強化學習基本訓練循環(huán)項目文檔給出的訓練主循環(huán)結(jié)構(gòu)記錄獎勵、滑動平均、每回合更新目標網(wǎng)絡(luò)rewards [] # 記錄總的rewards moving_average_rewards [] # 記錄滑動平均處理后的rewards ep_steps [] for i_episode in range(1, cfg.max_episodes1): # cfg.max_episodes 最大訓練episode數(shù) state env.reset() # reset環(huán)境狀態(tài) ep_reward 0 for i_step in range(1, cfg.max_steps1): # cfg.max_steps 每episode最大步數(shù) action agent.select_action(state) # 根據(jù)當前state選擇action next_state, reward, done, _ env.step(action) # 更新環(huán)境參數(shù) ep_reward reward agent.memory.push(state, action, reward, next_state, done) # transition存入memory state next_state # 跳轉(zhuǎn)到下一個狀態(tài) agent.update() # 每步更新網(wǎng)絡(luò) if done: break # 更新target network復制DQN中的所有weights and biases if i_episode % cfg.target_update 0: # cfg.target_update 目標網(wǎng)絡(luò)更新頻率 agent.target_net.load_state_dict(agent.policy_net.state_dict()) print(Episode:, i_episode, Reward: %i % int(ep_reward), n_steps:, i_step, done: , done, Explore: %.2f % agent.epsilon) ep_steps.append(i_step) rewards.append(ep_reward) # 計算滑動窗口的reward if i_episode 1: moving_average_rewards.append(ep_reward) else: moving_average_rewards.append( 0.9*moving_average_rewards[-1]0.1*ep_reward)7.8.3 結(jié)果可視化與超參數(shù)記錄訓練后應繪制reward 及滑動平均 reward 隨 episode 的變化曲線并記錄超參數(shù)寫成報告。項目文檔在 docs/chapter7/assets 目錄給出了訓練train與測試eval的參考曲線圖訓練曲線rewards_train.png、moving_average_rewards_train.png、steps_train.png評估曲線rewards_eval.png、moving_average_rewards_eval.png、steps_eval.png。其中滑動平均的遞推式0.9 * moving_average_rewards[-1] 0.1 * ep_reward與 DoubleDQN.ipynb、DuelingDQN.ipynb 中smooth(data, weight0.9)的平滑方式一致即指數(shù)加權(quán)滑動平均。此外也可以用 TensorBoard 查看訓練過程的獎勵與步數(shù)曲線見 project2.md 末尾的截圖說明。7.9 總結(jié)與選型建議技巧解決的核心問題改動點實現(xiàn)成本Double DQNQ值過估計目標Q值的計算方式選動作與算價值解耦極低只改幾行Dueling DQN數(shù)據(jù)利用效率低網(wǎng)絡(luò)結(jié)構(gòu)拆成 V(s) A(s,a) 并零均值化低改網(wǎng)絡(luò)結(jié)構(gòu)Prioritized Replay難樣本采樣不足采樣分布 重要性采樣權(quán)重中需 SumTreeMulti-stepTD偏差與MC方差折中保存并累加 N 步獎勵低$N$ 為超參數(shù)Noisy Net探索不合理參數(shù)空間加噪聲、回合級重置中需自定義帶噪聲層Distributional Q忽視獎勵分布信息輸出分布而非期望較高需分布投影Rainbow綜合上述全部收益全部疊加高工程量大若只選一個技巧首選 DDQN改動最少、幾乎不增加運算量卻最直接地緩解Q值高估Dueling DQN 與 PER 通常都能帶來穩(wěn)定收益且互不沖突多步方法N≈3~5是低成本高收益的折中A3C 等演員-評論員方法內(nèi)部本身就包含多步Noisy Net 與分布式Q函數(shù)更進階后者還能支持風險敏感選低方差動作的策略Rainbow 是這些方法的組合上限消融實驗表明多步、PER、分布式貢獻最大而在使用分布式Q函數(shù)后 DDQN 的邊際收益變小。所有技巧的完整可運行實現(xiàn)與默認超參數(shù)均可從倉庫 notebooks 目錄下對應的DoubleDQN、DuelingDQN、PER_DQN、NoisyDQN等 notebook 中直接獲取并在 CartPole 系列環(huán)境中驗證配套的章節(jié)關(guān)鍵詞與習題含面試題見 第7章問答文檔可進一步自測對每個技巧原理的掌握程度。贊分享教程機器學習深度學習【免費下載鏈接】easy-rl強化學習中文教程蘑菇書在線閱讀地址https://datawhalechina.github.io/easy-rl/項目地址https://gitcode.com/gh_mirrors/ea/easy-rl點擊查看免費下載相關(guān)推薦easy-rl 蘑菇書第七章深度Q網(wǎng)絡(luò)進階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹easy rl 蘑菇書第七章深度Q網(wǎng)絡(luò)進階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹 本文以蘑菇書easy rl 第教程機器學習深度學習Easy-RL深度Q網(wǎng)絡(luò)DQN及其進階技巧全解析Easy RL深度Q網(wǎng)絡(luò)DQN及其進階技巧全解析 本文全面解析了深度Q網(wǎng)絡(luò)DQN及其核心改進技術(shù)。DQN通過結(jié)合深度學習與Q學習解決了高維狀態(tài)空間下的價人工智能強化學習深度學習教程Easy-RL項目深度Q網(wǎng)絡(luò)進階技巧詳解Easy RL項目深度Q網(wǎng)絡(luò)進階技巧詳解 深度Q網(wǎng)絡(luò) DQN 作為強化學習中的重要算法在實際應用中存在多種改進方法。本文將系統(tǒng)介紹Easy RL項目中提出的7教程機器學習深度學習上一篇Factorio藍圖可視化工具打造你的工廠藝術(shù)下一篇從0到1掌握ahk2_lib解放Windows自動化潛能的全棧工具庫創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考