簡介文檔為無人駕駛行為決策方向的研究綜述面向自動駕駛、強化學(xué)習(xí)領(lǐng)域的研究者與高年級學(xué)生系統(tǒng)梳理了基于強化學(xué)習(xí)的行為決策方法發(fā)展脈絡(luò)與最新進(jìn)展。內(nèi)容首先介紹自動駕駛車輛環(huán)境感知、行為決策、運動控制三大模塊明確行為決策作為自動駕駛“大腦”的核心地位隨后分析傳統(tǒng)強化學(xué)習(xí)建模在動態(tài)環(huán)境中的適應(yīng)性局限并重點圍繞決策精度、決策廣度與不確定因素應(yīng)對三條主線展開詳細(xì)介紹了DQN、DDPG等深度強化學(xué)習(xí)算法在車道保持、自主制動、跟車行駛等典型場景中的應(yīng)用思路、實驗設(shè)置與效果對比同時指出當(dāng)前模型在精度、廣度及魯棒性方面仍待突破。資源共1個docx文檔37KB結(jié)構(gòu)完整、條理清晰適合作為文獻(xiàn)調(diào)研、課題開題或論文撰寫的參考材料。目前已有200人學(xué)習(xí)下載對于快速把握該交叉領(lǐng)域研究脈絡(luò)具有較高參考價值。1. 行為決策是無人駕駛的“天花板”強化學(xué)習(xí)在啃這塊硬骨頭如果你做過幾年自動駕駛相關(guān)的開發(fā)或研究大概率會有同感感知問題已經(jīng)被深度學(xué)習(xí)打得差不多了車端算力也足夠跑各種大模型真正卡住無人駕駛落地體驗的恰恰是“接下來該怎么開”這個行為決策問題。傳統(tǒng)基于規(guī)則的方法在結(jié)構(gòu)化高速場景還能應(yīng)付一旦進(jìn)入城區(qū)、無保護(hù)左轉(zhuǎn)、人車混雜的十字路口有限狀態(tài)機(jī)的組合爆炸和人工調(diào)參的維護(hù)成本會讓人崩潰。強化學(xué)習(xí)Reinforcement LearningRL之所以被推到這個問題的前臺是因為無人駕駛行為決策本質(zhì)上就是一個序列決策問題車輛在每個時刻根據(jù)自身狀態(tài)和環(huán)境觀測選擇一個動作跟車、換道、超車、停車、繞障目標(biāo)是長期累積的行駛安全性和通行效率最大化。這和 RL 的“智能體通過與環(huán)境交互獲取累積獎勵”的范式之間存在天然的對位關(guān)系。和規(guī)劃層不同行為決策面對的是更高層的語義動作和高維交通交互狀態(tài)空間里帶著交通參與者的意圖與不確定性獎勵函數(shù)里必須同時表達(dá)安全、效率、舒適甚至法規(guī)約束。這篇文章不是綜述復(fù)讀機(jī)我會按“問題建?！惴ㄟx型—工程實現(xiàn)—研究前沿—實驗驗證技巧”的脈絡(luò)把行為決策這個任務(wù)在 RL 框架下如何落地、參數(shù)如何設(shè)、坑在哪、當(dāng)下進(jìn)展到哪一步完整梳理一遍。適合剛接觸 RL 決策的工程師也適合讀了論文但難以復(fù)現(xiàn)實驗的從業(yè)者。讀完你可以清楚地知道一個可跑的 RL 決策訓(xùn)練系統(tǒng)從環(huán)境封裝到獎勵塑形到底需要做哪些事。2. 無人駕駛行為決策為什么難以及強化學(xué)習(xí)如何把難題變成可優(yōu)化目標(biāo)2.1 行為決策的數(shù)學(xué)結(jié)構(gòu)從有限狀態(tài)機(jī)到馬爾可夫決策過程無人駕駛的行為決策層業(yè)界常稱之為“行為規(guī)劃”或“決策規(guī)劃”處在感知預(yù)測與運動規(guī)劃之間。它的輸入是自車狀態(tài)速度、航向、位置、環(huán)境語義信息車道線、交通信號燈、障礙物列表以及每個障礙物的預(yù)測軌跡分布輸出是一個離散的動作空間——例如車道保持、左換道、右換道、跟車、停車、通過路口、繞行等。傳統(tǒng)的工程做法是用有限狀態(tài)機(jī)FSM加規(guī)則編碼但狀態(tài)機(jī)的缺陷在復(fù)雜城市場景下暴露得很明顯狀態(tài)劃分依賴人工設(shè)計場景組合指數(shù)增長長尾工況幾乎無法枚舉。強化學(xué)習(xí)提供了一個替代坐標(biāo)系把決策問題寫成馬爾可夫決策過程MDP。用數(shù)學(xué)語言描述一個 MDP 由五元組構(gòu)成狀態(tài)空間 S、動作空間 A、狀態(tài)轉(zhuǎn)移概率 P(s|s,a)、獎勵函數(shù) R(s,a,s)、折扣因子 γ。在這個建模下無人駕駛決策問題可以被嚴(yán)格地定義為找到一個策略 π(a|s)使得期望折扣累計獎勵 E[Σγ^t r_t] 最大化。這個數(shù)學(xué)形式可以統(tǒng)一處理不確定性——狀態(tài)轉(zhuǎn)移概率 P 天然包含了其他車輛行為的不確定性不必像規(guī)則系統(tǒng)那樣顯式枚舉所有情況。提示在實際系統(tǒng)中Q 函數(shù)定義為 Q^π(s,a)E[Σ_{k0}^∞ γ^k r_{tk}|s_ts,a_ta]它表示在狀態(tài) s 下采取動作 a 后繼續(xù)按策略 π 執(zhí)行的期望收益。幾乎所有主流算法——DQN、DDPG、PPO、SAC——核心都在直接或間接地逼近這個 Q 函數(shù)或其策略梯度形式。2.2 狀態(tài)空間設(shè)計決定問題規(guī)模的天花板狀態(tài)空間的選取是 RL 決策系統(tǒng)設(shè)計中最容易被低估、卻最影響收斂質(zhì)量的環(huán)節(jié)。在無人駕駛決策里狀態(tài)通常分為三層自車狀態(tài)層、環(huán)境靜態(tài)層和交互動態(tài)層。自車狀態(tài)包括縱向速度、橫向速度或航向角速度、加速度、當(dāng)前車道編號環(huán)境靜態(tài)層包含車道寬度、曲率、限速、與停車線的距離交互動態(tài)層則包括前車和后車的相對距離、相對速度、目標(biāo)車道前車距離等。工程上常將多車道多目標(biāo)的信息拼接為定長特征向量再送入網(wǎng)絡(luò)。與全場景感知信息直接作為狀態(tài)輸入的做法相比我更推薦一種“語義抽象”的狀態(tài)表征。拿換道決策舉例原圖級的 BEV 特征雖然信息完整但對訓(xùn)練效率極不友好。業(yè)界常見的方案是提取當(dāng)前車道和相鄰車道各最近目標(biāo)的相對距離與相對速度組成一個類似 [v_ego, x_front_cur, v_front_cur, x_rear_cur, v_rear_cur, x_front_left, v_front_left, ...] 的向量維度控制在 2040 之間。這樣做的核心優(yōu)勢在于狀態(tài)維度大幅下降樣本效率顯著提升且決策層的泛化性能更好。狀態(tài)歸一化同樣不能省尤其是速度和距離這種不同量綱的量不歸一化會導(dǎo)致深度網(wǎng)絡(luò)訓(xùn)練初期的梯度震蕩收斂穩(wěn)定性大打折扣。2.3 動作空間與獎勵塑形把“安全、高效、舒適”翻譯成數(shù)學(xué)語言動作空間的定義直接決定了控制層的輸入方式。行業(yè)實踐大致分三類動作空間類型具體形式優(yōu)缺點適用場景離散高本文還有配套的精品資源點擊獲取