自動駕駛汽車面臨的一個核心挑戰(zhàn)是如何與人類合作。因此，在模擬環(huán)境中，將現實中的人類代理納入到自主駕駛系統(tǒng)的可擴展訓練和評估中至關重要。模擬代理通常是通過模仿大規(guī)模、高質量的人類駕駛數據集來開發(fā)的。然而，純粹的模仿學習代理在多代理閉環(huán)環(huán)境中執(zhí)行時經驗上具有較高的碰撞率。為了構建在閉環(huán)設置中既逼真又有效的代理，研究人員提出了一種名為 Human-Regularized PPO（HR-PPO） 的多代理方法，其中代理通過與一個人類參考策略做自我對弈訓練，并對偏離人類參考策略的行為施加了小的懲罰。與以往的方法相比，該方法以強化學習為主，僅利用了30分鐘的不完美人類示范數據。在大量的多代理交通場景的評估中，HR-PPO 代理在實現目標方面非常有效，成功率達到 93%，越出道路的比率為 3.5%，碰撞率為 3%。與此同時，HR-PPO 代理以類似人類駕駛的方式行駛，在與人類駕駛協(xié)調的代理指標上表現出相當大的改進，特別是在高度互動的情景中。

當前的駕駛模擬器提供了基本的交互代理 - 簡單的車輛跟隨模型、基于規(guī)則的代理、記錄的人類駕駛日志或模仿學習代理。這些模型無法創(chuàng)建具有挑戰(zhàn)性的協(xié)調場景，或者在閉環(huán)中具有高碰撞率。

為了構建在閉環(huán)設置中既逼真又有效的代理，研究人員提出了Human-Regularized PPO (HR-PPO)，一種多代理方法，通過自我對弈訓練，并對偏離人類參考策略的行為施加了小的懲罰。

方法

• 步驟1：模仿學習

通過對人類駕駛示范進行模仿學習，獲取人類參考策略。

• 步驟2：引導自我對弈

代理在多代理設置中進行訓練，每個場景最多可容納50個代理。目標函數如下：

實驗結果

在大量的多代理交通場景中，研究人員發(fā)現可以同時實現效果和逼真度。HR-PPO 代理在四種不同逼真度指標上實現了顯著的人類相似性改進，同時達到了與 PPO 相似的性能水平。

HR-PPO 代理在衡量與人類駕駛協(xié)調的代理指標上顯示出相當大的改進，特別是在需要代理之間協(xié)調的高度互動場景中。在互動場景中，HR-PPO 在 PPO 的基礎上提升了 20-40%。

有趣的是，它們甚至表現出比直接在代理的測試分布上訓練的代理更好的性能。這表明，多代理訓練可能比單一代理訓練提供了額外的好處。

為什么 HR-PPO 代理與人類駕駛日志更兼容呢？

• HR-PPO 代理的駕駛風格類似于人類駕駛員，這使得它更容易適應人類駕駛日志的行為；

• HR-PPO 代理與其他車輛保持更多距離，從而降低了碰撞的風險。

譯自（有刪改）：https://sites.google.com/view/driving-partners