獎勵基線的精確 On-Policy 強化學(xué)習(xí)實戰(zhàn)指南)
verl 中的 OPO 算法基于最優(yōu)獎勵基線的精確 On-Policy 強化學(xué)習(xí)實戰(zhàn)指南【免費下載鏈接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework項目地址: https://gitcode.com/GitHub_Trending/ve/verlOPOOn-Policy RL with Optimal Reward Baseline是一種面向大模型 RL 后訓(xùn)練的強化學(xué)習(xí)算法通過精確的 On-Policy 采樣與理論最優(yōu)的長度加權(quán)獎勵基線Length-Weighted Reward Baseline解決傳統(tǒng)分組采樣算法中策略漂移過大、熵坍縮導(dǎo)致的訓(xùn)練不穩(wěn)定問題。本文以 verlHybridFlow框架中的 OPO 算法文檔 為主體結(jié)合 advantage 計算源碼 與 算法配置模塊完整講解 OPO 的原理、配置方法、運行示例以及向 RLOO、Reinforce 等算法的擴展路徑幫助讀者在 verl 中快速落地 OPO 訓(xùn)練。OPO 的核心思想兩個關(guān)鍵組件OPO 解決的痛點非常明確在 RL 后訓(xùn)練中寬松的 On-Policy 約束與次優(yōu)的獎勵基線往往共同導(dǎo)致訓(xùn)練不穩(wěn)定典型表現(xiàn)是大規(guī)模策略偏移policy shift與熵坍縮entropy collapse。為此OPO 引入兩個關(guān)鍵組件精確 On-Policy 訓(xùn)練Exact On-Policy Training始終從當前策略生成響應(yīng)絕不使用任何預(yù)生成數(shù)據(jù)或 Off-Policy 數(shù)據(jù)從源頭消除策略失配policy mismatch帶來的偏差。最優(yōu)獎勵基線Optimal Reward Baseline與 GRPO 等分組采樣算法使用組內(nèi)平均獎勵作為基線不同OPO 使用組內(nèi)長度加權(quán)獎勵length-weighted reward作為基線來歸一化獎勵并且省略標準差歸一化。正如 原文檔 所述這兩點組合使得 OPO 可以用僅最大化期望獎勵這一單一目標來訓(xùn)練單一策略模型從而獲得更小的策略偏移和更高的輸出熵鼓勵模型生成更多樣、更少重復(fù)的響應(yīng)。長度加權(quán)基線的最優(yōu)性為什么長度加權(quán)獎勵是理論最優(yōu)基線直觀理解較長響應(yīng)天然擁有更多 token其累積獎勵的期望值也會相應(yīng)更大。若用簡單平均獎勵做基線長響應(yīng)會被系統(tǒng)性低估、短響應(yīng)被高估基線估計產(chǎn)生偏差。OPO 按長度加權(quán)計算組內(nèi)基線讓基線對響應(yīng)長度帶來的期望獎勵差異做出校正使 advantage 估計更接近去除長度干擾后的真實相對優(yōu)劣。這一設(shè)計在 verl 源碼中有精確對應(yīng)。查看 compute_opo_outcome_advantageresponse_length response_mask.sum(dim-1) scores token_level_rewards.sum(dim-1) id2score defaultdict(list) id2len defaultdict(list) id2bsl {} with torch.no_grad(): bsz scores.shape[0] for i in range(bsz): id2score[index[i]].append(scores[i]) id2len[index[i]].append(response_length[i]) for idx in id2score: if len(id2score[idx]) 1: id2bsl[idx] torch.tensor(0.0) elif len(id2score[idx]) 1: score_tensor torch.stack(id2score[idx]) len_tensor torch.stack(id2len[idx]) id2bsl[idx] (len_tensor * score_tensor).sum() / len_tensor.sum() else: raise ValueError(fno score in prompt index: {idx}) for i in range(bsz): scores[i] scores[i] - id2bsl[index[i]] scores scores.unsqueeze(-1) * response_mask return scores, scores關(guān)鍵公式對應(yīng)源碼第 683 行baseline(group) Σ(len_i × score_i) / Σ(len_i) advantage_i score_i ? baseline(group)可以看到三個重要實現(xiàn)細節(jié)按 prompt 分組通過index數(shù)組將同屬一個 prompt 的多條響應(yīng)組采樣結(jié)果聚合到同一個組每組計算一個獨立基線。組內(nèi)僅一條響應(yīng)時基線置 0此時無法估計組內(nèi)相對優(yōu)劣直接以原始得分作為 advantage。不做標準差歸一化源碼中完全沒有出現(xiàn)std除法或 whiten 操作——這正是 OPO 與 GRPO 的核心差異之一避免額外引入方差放縮。同時函數(shù)通過register_adv_est(AdvantageEstimator.OPO)裝飾器注冊源碼第 639 行AdvantageEstimator.OPO opo定義在 core_algos.py 第 103 行這就是配置字符串a(chǎn)dv_estimator: opo的來源。在 verl 中啟用 OPO完整配置解析要啟用 OPO只需將算法配置中的 advantage 估計器切換為opo并調(diào)整三個與訓(xùn)練目標相關(guān)的超參。以下是 原文檔 給出的完整配置附上默認值與源碼依據(jù)algorithm: adv_estimator: opo # Use OPO for optimal reward baseline data: train_batch_size: 1024 actor_rollout_ref: actor: ppo_mini_batch_size: 1024 # ppo_mini_batch_size should equal to train_batch_size to enable exact on-policy training entropy_coeff: 0 # disable entropy regularization use_kl_loss: False # disable kl regularization kl_loss_coef: 0各參數(shù)的作用與依據(jù)如下參數(shù)取值要求作用說明源碼/配置位置algorithm.adv_estimatoropo切換 advantage 估計器為 OPO 的長度加權(quán)基線定義于 algorithm.py 第 629、657 行默認值為gaedata.train_batch_size按顯存與吞吐設(shè)定示例 1024每輪訓(xùn)練采樣的總樣本數(shù)ppo_trainer.yamlactor_rollout_ref.actor.ppo_mini_batch_size必須等于train_batch_size保證一次完整采樣對應(yīng)一輪完整策略更新實現(xiàn)精確 On-Policy若 mini-batch 小于 train batch則同一批數(shù)據(jù)會被拆成多輪更新采樣策略與更新策略之間出現(xiàn)錯位默認值 256見 actor.yaml 第 18 行actor_rollout_ref.actor.entropy_coeff0關(guān)閉熵正則化。OPO 依靠最優(yōu)基線自然維持輸出多樣性無需額外熵獎勵默認值 0見 actor.yaml 第 93 行actor_rollout_ref.actor.use_kl_lossFalse關(guān)閉顯式 KL 懲罰損失避免對策略更新過度約束默認值 false見 actor.yaml 第 103 行actor_rollout_ref.actor.kl_loss_coef0配合use_kl_loss: False將 KL 系數(shù)歸零即使置 False也建議顯式歸零以防配置繼承歧義默認值 0.001見 actor.yaml 第 112-113 行關(guān)于 On-Policy 一致性的進一步說明ppo_mini_batch_size train_batch_size是 OPO 能否生效的關(guān)鍵前提。在 verl 中train_batch_size決定一次 rollout 階段采樣的數(shù)據(jù)量而ppo_mini_batch_size決定一次梯度更新消費的數(shù)據(jù)量。二者相等意味著采集一批 → 完整更新一次策略 → 再用更新后的策略采集下一批策略自始至終保持采樣時即當前版本從機制上杜絕 Off-Policy 數(shù)據(jù)混入。若二者不等例如默認 256 vs 1024同一批響應(yīng)會被重復(fù)用于多輪更新產(chǎn)生隱式 Off-Policy 效應(yīng)與 OPO 的設(shè)計前提相悖。另外注意use_kl_loss: False會關(guān)閉基于參考模型reference model的顯式 KL 損失而algorithm.use_kl_in_reward若開啟則會將 KL 作為獎勵內(nèi)部項計入。OPO 場景建議兩者均關(guān)閉僅依賴長度加權(quán)基線這一單一目標。參考模型默認配置說明見 ppo_trainer.yaml 第 20 行。端到端運行示例將上述配置寫入 YAML 后即可通過 verl 的標準訓(xùn)練入口啟動 OPO 訓(xùn)練。以倉庫中現(xiàn)有的單策略 RL 訓(xùn)練腳本為參照例如 examples/ppo_trainer/run_qwen3_8b_fsdp.sh 所演示的 FSDP 后端啟動方式典型命令如下python3 -m verl.trainer.main_ppo \ algorithm.adv_estimatoropo \ data.train_filesyour_train.parquet \ data.val_filesyour_val.parquet \ data.train_batch_size1024 \ data.max_prompt_length1024 \ data.max_response_length2048 \ actor_rollout_ref.model.pathQwen/Qwen3-8B \ actor_rollout_ref.actor.ppo_mini_batch_size1024 \ actor_rollout_ref.actor.entropy_coeff0 \ actor_rollout_ref.actor.use_kl_lossFalse \ actor_rollout_ref.actor.kl_loss_coef0 \ actor_rollout_ref.rollout.namevllm \ trainer.experiment_nameopo_qwen3_8b \ trainer.n_gpus_per_node8命令說明通過 Hydra 風格的keyvalue覆蓋方式注入 OPO 所需的全部參數(shù)等價于在 YAML 中顯式聲明。也可將 原文檔配置 直接寫入自定義 YAML再用verl.trainer.main_ppo加載兩種方式等價。后端的差異化配置FSDP / Megatron / VeOmni可參考examples/下各 trainer 目錄中的.sh腳本例如 examples/ppo_trainer/、examples/grpo_trainer/ 中針對不同模型規(guī)模與硬件的腳本組合。訓(xùn)練過程中可重點觀察兩類指標以驗證 OPO 效果策略偏移相關(guān)指標KL、響應(yīng)分布變化應(yīng)顯著小于傳統(tǒng)均值基線算法輸出熵response entropy應(yīng)保持較高水平即模型輸出更趨多樣、重復(fù)率下降。高級擴展將 OPO 思想注入 RLOO 與 Reinforce原文檔 明確說明OPO 可以擴展到 RLOO 與 Reinforce 等算法——只需在保持各自 advantage 函數(shù)的前提下開啟精確 On-Policy 訓(xùn)練并引入長度加權(quán)基線改動量極小。在 verl 源碼中這三種算法共享同一套組采樣 基線歸一化的代碼骨架位于 verl/trainer/ppo/core_algos.py算法advantage 估計器字符串基線策略是否做 std 歸一化源碼位置OPOopo長度加權(quán)組獎勵否core_algos.py#L639-L690RLOOrlooleave-one-out 組均值否core_algos.py#L587-L636Reinforce baselinereinforce_plus_plus_baseline組均值是masked whitencore_algos.py#L533-L584三者的差異僅在如何計算基線與是否歸一化兩處這也印證了原文檔只需對 advantage 估計函數(shù)做最小修改的判斷RLOO 的 leave-one-out 基線第 631-632 行是去除自身后其余樣本均值的無偏估計Reinforce 使用組均值并額外執(zhí)行verl_F.masked_whiten做 masked 白化第 582 行而 OPO 直接用長度加權(quán)均值作為基線且不做白化——從源碼結(jié)構(gòu)看這正是它在三者中目標最純粹的原因advantage 完全由長度校正后的相對優(yōu)劣決定沒有任何附加正則項。因此若想在其他算法中復(fù)刻 OPO 的收益可以將其基線計算邏輯(len_tensor * score_tensor).sum() / len_tensor.sum()移植到對應(yīng)算法的 advantage 函數(shù)中同時保持ppo_mini_batch_size train_batch_size、entropy_coeff 0、use_kl_loss False的精確 On-Policy 配置即可獲得與 OPO 一致的訓(xùn)練穩(wěn)定性提升?？偨Y(jié)OPO 為 RL 后訓(xùn)練提供了一種少即是多的設(shè)計范式不增加額外正則項而是通過精確 On-Policy 采樣與理論最優(yōu)的長度加權(quán)獎勵基線兩個機制層面的改進同時緩解策略漂移與熵坍縮。在 verl 中啟用 OPO 只需五處配置adv_estimator: opo、train_batch_size ppo_mini_batch_size、entropy_coeff: 0、use_kl_loss: False、kl_loss_coef: 0且其核心 advantage 邏輯在 core_algos.py 中僅有約 50 行實現(xiàn)便于閱讀、驗證與二次擴展。對于追求穩(wěn)定、多樣輸出的單策略 RL 訓(xùn)練場景OPO 是一個值得優(yōu)先嘗試的基線方案其長度加權(quán)基線思想也可低成本地注入 RLOO、Reinforce 等算法作為通用改進手段使用。【免費下載鏈接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework項目地址: https://gitcode.com/GitHub_Trending/ve/verl創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 verl 中的 OPO 算法：基于最優(yōu)獎勵基線的精確 On-Policy 強化學(xué)習(xí)實戰(zhàn)指南
verl 中的 OPO 算法基于最優(yōu)獎勵基線的精確 On-Policy 強化學(xué)習(xí)實戰(zhàn)指南【免費下載鏈接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework項目地址: https://gitcode.com/GitHub_Trending/ve/verlOPOOn-Policy RL with Optimal Reward Baseline是一種面向大模型 RL 后訓(xùn)練的強化學(xué)習(xí)算法通過精確的 On-Policy 采樣與理論最優(yōu)的長度加權(quán)獎勵基線Length-Weighted Reward Baseline解決傳統(tǒng)分組采樣算法中策略漂移過大、熵坍縮導(dǎo)致的訓(xùn)練不穩(wěn)定問題。本文以 verlHybridFlow框架中的 OPO 算法文檔 為主體結(jié)合 advantage 計算源碼 與 算法配置模塊完整講解 OPO 的原理、配置方法、運行示例以及向 RLOO、Reinforce 等算法的擴展路徑幫助讀者在 verl 中快速落地 OPO 訓(xùn)練。OPO 的核心思想兩個關(guān)鍵組件OPO 解決的痛點非常明確在 RL 后訓(xùn)練中寬松的 On-Policy 約束與次優(yōu)的獎勵基線往往共同導(dǎo)致訓(xùn)練不穩(wěn)定典型表現(xiàn)是大規(guī)模策略偏移policy shift與熵坍縮entropy collapse。為此OPO 引入兩個關(guān)鍵組件精確 On-Policy 訓(xùn)練Exact On-Policy Training始終從當前策略生成響應(yīng)絕不使用任何預(yù)生成數(shù)據(jù)或 Off-Policy 數(shù)據(jù)從源頭消除策略失配policy mismatch帶來的偏差。最優(yōu)獎勵基線Optimal Reward Baseline與 GRPO 等分組采樣算法使用組內(nèi)平均獎勵作為基線不同OPO 使用組內(nèi)長度加權(quán)獎勵length-weighted reward作為基線來歸一化獎勵并且省略標準差歸一化。正如 原文檔 所述這兩點組合使得 OPO 可以用僅最大化期望獎勵這一單一目標來訓(xùn)練單一策略模型從而獲得更小的策略偏移和更高的輸出熵鼓勵模型生成更多樣、更少重復(fù)的響應(yīng)。長度加權(quán)基線的最優(yōu)性為什么長度加權(quán)獎勵是理論最優(yōu)基線直觀理解較長響應(yīng)天然擁有更多 token其累積獎勵的期望值也會相應(yīng)更大。若用簡單平均獎勵做基線長響應(yīng)會被系統(tǒng)性低估、短響應(yīng)被高估基線估計產(chǎn)生偏差。OPO 按長度加權(quán)計算組內(nèi)基線讓基線對響應(yīng)長度帶來的期望獎勵差異做出校正使 advantage 估計更接近去除長度干擾后的真實相對優(yōu)劣。這一設(shè)計在 verl 源碼中有精確對應(yīng)。查看 compute_opo_outcome_advantageresponse_length response_mask.sum(dim-1) scores token_level_rewards.sum(dim-1) id2score defaultdict(list) id2len defaultdict(list) id2bsl {} with torch.no_grad(): bsz scores.shape[0] for i in range(bsz): id2score[index[i]].append(scores[i]) id2len[index[i]].append(response_length[i]) for idx in id2score: if len(id2score[idx]) 1: id2bsl[idx] torch.tensor(0.0) elif len(id2score[idx]) 1: score_tensor torch.stack(id2score[idx]) len_tensor torch.stack(id2len[idx]) id2bsl[idx] (len_tensor * score_tensor).sum() / len_tensor.sum() else: raise ValueError(fno score in prompt index: {idx}) for i in range(bsz): scores[i] scores[i] - id2bsl[index[i]] scores scores.unsqueeze(-1) * response_mask return scores, scores關(guān)鍵公式對應(yīng)源碼第 683 行baseline(group) Σ(len_i × score_i) / Σ(len_i) advantage_i score_i ? baseline(group)可以看到三個重要實現(xiàn)細節(jié)按 prompt 分組通過index數(shù)組將同屬一個 prompt 的多條響應(yīng)組采樣結(jié)果聚合到同一個組每組計算一個獨立基線。組內(nèi)僅一條響應(yīng)時基線置 0此時無法估計組內(nèi)相對優(yōu)劣直接以原始得分作為 advantage。不做標準差歸一化源碼中完全沒有出現(xiàn)std除法或 whiten 操作——這正是 OPO 與 GRPO 的核心差異之一避免額外引入方差放縮。同時函數(shù)通過register_adv_est(AdvantageEstimator.OPO)裝飾器注冊源碼第 639 行AdvantageEstimator.OPO opo定義在 core_algos.py 第 103 行這就是配置字符串a(chǎn)dv_estimator: opo的來源。在 verl 中啟用 OPO完整配置解析要啟用 OPO只需將算法配置中的 advantage 估計器切換為opo并調(diào)整三個與訓(xùn)練目標相關(guān)的超參。以下是 原文檔 給出的完整配置附上默認值與源碼依據(jù)algorithm: adv_estimator: opo # Use OPO for optimal reward baseline data: train_batch_size: 1024 actor_rollout_ref: actor: ppo_mini_batch_size: 1024 # ppo_mini_batch_size should equal to train_batch_size to enable exact on-policy training entropy_coeff: 0 # disable entropy regularization use_kl_loss: False # disable kl regularization kl_loss_coef: 0各參數(shù)的作用與依據(jù)如下參數(shù)取值要求作用說明源碼/配置位置algorithm.adv_estimatoropo切換 advantage 估計器為 OPO 的長度加權(quán)基線定義于 algorithm.py 第 629、657 行默認值為gaedata.train_batch_size按顯存與吞吐設(shè)定示例 1024每輪訓(xùn)練采樣的總樣本數(shù)ppo_trainer.yamlactor_rollout_ref.actor.ppo_mini_batch_size必須等于train_batch_size保證一次完整采樣對應(yīng)一輪完整策略更新實現(xiàn)精確 On-Policy若 mini-batch 小于 train batch則同一批數(shù)據(jù)會被拆成多輪更新采樣策略與更新策略之間出現(xiàn)錯位默認值 256見 actor.yaml 第 18 行actor_rollout_ref.actor.entropy_coeff0關(guān)閉熵正則化。OPO 依靠最優(yōu)基線自然維持輸出多樣性無需額外熵獎勵默認值 0見 actor.yaml 第 93 行actor_rollout_ref.actor.use_kl_lossFalse關(guān)閉顯式 KL 懲罰損失避免對策略更新過度約束默認值 false見 actor.yaml 第 103 行actor_rollout_ref.actor.kl_loss_coef0配合use_kl_loss: False將 KL 系數(shù)歸零即使置 False也建議顯式歸零以防配置繼承歧義默認值 0.001見 actor.yaml 第 112-113 行關(guān)于 On-Policy 一致性的進一步說明ppo_mini_batch_size train_batch_size是 OPO 能否生效的關(guān)鍵前提。在 verl 中train_batch_size決定一次 rollout 階段采樣的數(shù)據(jù)量而ppo_mini_batch_size決定一次梯度更新消費的數(shù)據(jù)量。二者相等意味著采集一批 → 完整更新一次策略 → 再用更新后的策略采集下一批策略自始至終保持采樣時即當前版本從機制上杜絕 Off-Policy 數(shù)據(jù)混入。若二者不等例如默認 256 vs 1024同一批響應(yīng)會被重復(fù)用于多輪更新產(chǎn)生隱式 Off-Policy 效應(yīng)與 OPO 的設(shè)計前提相悖。另外注意use_kl_loss: False會關(guān)閉基于參考模型reference model的顯式 KL 損失而algorithm.use_kl_in_reward若開啟則會將 KL 作為獎勵內(nèi)部項計入。OPO 場景建議兩者均關(guān)閉僅依賴長度加權(quán)基線這一單一目標。參考模型默認配置說明見 ppo_trainer.yaml 第 20 行。端到端運行示例將上述配置寫入 YAML 后即可通過 verl 的標準訓(xùn)練入口啟動 OPO 訓(xùn)練。以倉庫中現(xiàn)有的單策略 RL 訓(xùn)練腳本為參照例如 examples/ppo_trainer/run_qwen3_8b_fsdp.sh 所演示的 FSDP 后端啟動方式典型命令如下python3 -m verl.trainer.main_ppo \ algorithm.adv_estimatoropo \ data.train_filesyour_train.parquet \ data.val_filesyour_val.parquet \ data.train_batch_size1024 \ data.max_prompt_length1024 \ data.max_response_length2048 \ actor_rollout_ref.model.pathQwen/Qwen3-8B \ actor_rollout_ref.actor.ppo_mini_batch_size1024 \ actor_rollout_ref.actor.entropy_coeff0 \ actor_rollout_ref.actor.use_kl_lossFalse \ actor_rollout_ref.actor.kl_loss_coef0 \ actor_rollout_ref.rollout.namevllm \ trainer.experiment_nameopo_qwen3_8b \ trainer.n_gpus_per_node8命令說明通過 Hydra 風格的keyvalue覆蓋方式注入 OPO 所需的全部參數(shù)等價于在 YAML 中顯式聲明。也可將 原文檔配置 直接寫入自定義 YAML再用verl.trainer.main_ppo加載兩種方式等價。后端的差異化配置FSDP / Megatron / VeOmni可參考examples/下各 trainer 目錄中的.sh腳本例如 examples/ppo_trainer/、examples/grpo_trainer/ 中針對不同模型規(guī)模與硬件的腳本組合。訓(xùn)練過程中可重點觀察兩類指標以驗證 OPO 效果策略偏移相關(guān)指標KL、響應(yīng)分布變化應(yīng)顯著小于傳統(tǒng)均值基線算法輸出熵response entropy應(yīng)保持較高水平即模型輸出更趨多樣、重復(fù)率下降。高級擴展將 OPO 思想注入 RLOO 與 Reinforce原文檔 明確說明OPO 可以擴展到 RLOO 與 Reinforce 等算法——只需在保持各自 advantage 函數(shù)的前提下開啟精確 On-Policy 訓(xùn)練并引入長度加權(quán)基線改動量極小。在 verl 源碼中這三種算法共享同一套組采樣 基線歸一化的代碼骨架位于 verl/trainer/ppo/core_algos.py算法advantage 估計器字符串基線策略是否做 std 歸一化源碼位置OPOopo長度加權(quán)組獎勵否core_algos.py#L639-L690RLOOrlooleave-one-out 組均值否core_algos.py#L587-L636Reinforce baselinereinforce_plus_plus_baseline組均值是masked whitencore_algos.py#L533-L584三者的差異僅在如何計算基線與是否歸一化兩處這也印證了原文檔只需對 advantage 估計函數(shù)做最小修改的判斷RLOO 的 leave-one-out 基線第 631-632 行是去除自身后其余樣本均值的無偏估計Reinforce 使用組均值并額外執(zhí)行verl_F.masked_whiten做 masked 白化第 582 行而 OPO 直接用長度加權(quán)均值作為基線且不做白化——從源碼結(jié)構(gòu)看這正是它在三者中目標最純粹的原因advantage 完全由長度校正后的相對優(yōu)劣決定沒有任何附加正則項。因此若想在其他算法中復(fù)刻 OPO 的收益可以將其基線計算邏輯(len_tensor * score_tensor).sum() / len_tensor.sum()移植到對應(yīng)算法的 advantage 函數(shù)中同時保持ppo_mini_batch_size train_batch_size、entropy_coeff 0、use_kl_loss False的精確 On-Policy 配置即可獲得與 OPO 一致的訓(xùn)練穩(wěn)定性提升?？偨Y(jié)OPO 為 RL 后訓(xùn)練提供了一種少即是多的設(shè)計范式不增加額外正則項而是通過精確 On-Policy 采樣與理論最優(yōu)的長度加權(quán)獎勵基線兩個機制層面的改進同時緩解策略漂移與熵坍縮。在 verl 中啟用 OPO 只需五處配置adv_estimator: opo、train_batch_size ppo_mini_batch_size、entropy_coeff: 0、use_kl_loss: False、kl_loss_coef: 0且其核心 advantage 邏輯在 core_algos.py 中僅有約 50 行實現(xiàn)便于閱讀、驗證與二次擴展。對于追求穩(wěn)定、多樣輸出的單策略 RL 訓(xùn)練場景OPO 是一個值得優(yōu)先嘗試的基線方案其長度加權(quán)基線思想也可低成本地注入 RLOO、Reinforce 等算法作為通用改進手段使用。【免費下載鏈接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework項目地址: https://gitcode.com/GitHub_Trending/ve/verl創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考