控制無人機執(zhí)行敏捷、高機動性的行為是一項頗具挑戰(zhàn)的任務(wù)。傳統(tǒng)的控制方法，比如 PID 控制器和模型預(yù)測控制（MPC），在靈活性和效果上往往有所局限。而近年來，強化學習（RL）在機器人控制領(lǐng)域展現(xiàn)出了巨大的潛力。通過直接將觀測映射為動作，強化學習能夠減少對系統(tǒng)動力學模型的依賴。

然而，「Sim2Real」（從仿真到現(xiàn)實）的鴻溝卻始終是強化學習應(yīng)用于無人機控制的難點之一。如何實現(xiàn)無需額外微調(diào)的策略遷移，是研究者們追逐的目標。盡管有許多基于強化學習的控制方法被提出，但至今學界仍未就訓練出魯棒且可零微調(diào)部署的控制策略達成一致，比如：獎勵函數(shù)應(yīng)該如何設(shè)計才能讓無人機飛得平穩(wěn)？域隨機化在無人機控制中到底該怎么用？

最近，清華大學的研究團隊為我們帶來了一個突破性的答案。他們詳細研究了訓練零微調(diào)部署的魯棒 RL 策略所需的關(guān)鍵因素，并提出了一套集成五大技術(shù)、基于 PPO 的強化學習框架 SimpleFlight。這一框架在軌跡跟蹤誤差上比現(xiàn)有的 RL 基線方法降低了 50% 以上！如果你正為強化學習策略無法實際控制無人機而發(fā)愁，那么 SimpleFlight 能夠幫助你訓練出無需額外微調(diào)就能在真實環(huán)境中運行的魯棒策略。

• 論文標題：What Matters in Learning A Zero-Shot Sim-to-Real RL Policy for Quadrotor Control? A Comprehensive Study
• 論文鏈接：https://arxiv.org/abs/2412.11764
• 開源代碼及模型項目網(wǎng)站：https://sites.google.com/view/simpleflight

實驗效果一覽

為了驗證 SimpleFlight 的有效性，研究人員在開源的微型四旋翼無人機 Crazyflie 2.1 上進行了廣泛的實驗。

實驗中，無人機的位置、速度和姿態(tài)信息由 OptiTrack 運動捕捉系統(tǒng)以 100Hz 的頻率提供，并傳輸?shù)诫x線計算機上進行策略解算。策略生成的 collective thrust and body rates（ CTBR） 控制指令以 100Hz 的頻率通過 2.4GHz 無線電發(fā)送到無人機。

研究人員使用了以下兩種類型的軌跡作為基準軌跡：

• 平滑軌跡：包括八字形和隨機多項式軌跡。八字形軌跡具有周期性，研究人員測試了三種速度：慢速 (15.0s 完成)、正常速度 (5.5s 完成) 和快速 (3.5s 完成)。隨機多項式軌跡由多個隨機生成的五次多項式段組成，每個段的持續(xù)時間在 1.00s 和 4.00s 之間隨機選擇。
• 不可行軌跡：包括五角星和隨機之字形軌跡。五角星軌跡要求無人機以恒定速度依次訪問五角星的五個頂點。研究人員測試了兩種速度：慢速 (0.5m/s) 和快速 (1.0m/s)。隨機之字形軌跡由多個隨機選擇的航點組成，航點的 x 和 y 坐標在 -1m 和 1m 之間分布，連續(xù)航點之間由直線連接，時間間隔在 1s 和 1.5s 之間隨機選擇。

圖 1：四種軌跡的可視化

策略的訓練數(shù)據(jù)包括平滑隨機五次多項式和不可行之字形軌跡。訓練過程持續(xù) 15,000 個 epoch，訓練完成后，將策略直接部署到 Crazyflie 無人機上進行測試，沒有進行任何微調(diào)。值得注意的是，由于策略在不同隨機種子下表現(xiàn)穩(wěn)定，研究人員在 3 個隨機種子中隨機挑選了一個策略而沒有選擇表現(xiàn)最好的那個。

表 1：SimpleFlight 與基線算法的表現(xiàn)對比

研究人員將 SimpleFlight 與兩種 SOTA 的 RL 基線方法 (DATT [1] 和 Fly [2]) 進行了比較，如表 1 所示。結(jié)果表明，SimpleFlight 在所有基準軌跡上都取得了最佳性能，軌跡跟蹤誤差降低了 50% 以上，并且是唯一能夠成功完成所有基準軌跡（包括平滑和不可行軌跡）的方法。圖 2 是一些真機飛行的視頻。

圖 2：SimpleFlight 在 Crazyflie 2.1 無人機上的實驗效果

研究人員指出，這些對比的核心目的并非進行絕對的橫向評價，而是為了表明：SimpleFlight 實現(xiàn)了目前所知的在 Crazyflie 2.1 上的最佳控制性能，盡管沒有依賴任何新的算法改進或復雜的架構(gòu)升級。SimpleFlight 的意義更在于作為一套關(guān)鍵訓練因素的集合，它能夠輕松集成到現(xiàn)有的四旋翼無人機控制方法中，從而幫助研究者和開發(fā)者進一步優(yōu)化控制性能。

此外，研究人員還進行了額外實驗，將 SimpleFlight 部署到一款由團隊自制的 250mm 軸距四旋翼無人機上。這款無人機配備了 Nvidia Orin 處理器，進一步驗證了 SimpleFlight 在不同硬件平臺上的適應(yīng)性與效果。自制無人機的飛行視頻和結(jié)果已上傳至項目官網(wǎng)，供感興趣的同行參考。

SimpleFlight 的五大核心秘訣

那么，SimpleFlight 是如何做到的呢？研究人員主要是從優(yōu)化輸入空間設(shè)計、獎勵設(shè)計和訓練技術(shù)三方面來縮小模擬到現(xiàn)實的差距，并總結(jié)出了以下 5 大關(guān)鍵因素：

• 采用與未來一段參考軌跡的相對位姿誤差、速度和旋轉(zhuǎn)矩陣作為策略網(wǎng)絡(luò)的輸入，這使得策略可以進行長距離規(guī)劃，并更好地處理具有急轉(zhuǎn)彎的不可行軌跡。研究人員指出，在強化學習策略的學習中，采用旋轉(zhuǎn)矩陣而不是四元數(shù)作為輸入，更有利于神經(jīng)網(wǎng)絡(luò)的學習。
• 將時間向量添加到價值網(wǎng)絡(luò)的輸入。無人機的控制任務(wù)通常是隨時間動態(tài)變化的，時間向量作為價值網(wǎng)絡(luò)的額外輸入，增強了價值網(wǎng)絡(luò)對時間信息的感知，從而更準確地估計狀態(tài)值。
• 采用 CTBR 指令作為策略輸出動作，使用連續(xù)動作之間的差異的正則化作為平滑度獎勵。在無人機控制中，不平滑的動作輸出可能導致飛行過程中的不穩(wěn)定，甚至出現(xiàn)震蕩和意外偏離軌跡的情況。而現(xiàn)實中的無人機由于硬件特性和動態(tài)響應(yīng)的限制，比仿真環(huán)境更容易受到這些不穩(wěn)定動作的影響。研究人員比較了多種平滑度獎勵方案，結(jié)果表明使用連續(xù)動作之間的差異的正則化作為平滑度獎勵，可以獲得最佳的跟蹤性能，同時鼓勵策略輸出平滑的動作，避免在現(xiàn)實世界中產(chǎn)生不穩(wěn)定的飛行行為。
• 使用系統(tǒng)辨識對關(guān)鍵動力學參數(shù)進行校準，并選擇性地應(yīng)用域隨機化手段。研究人員通過系統(tǒng)辨識對關(guān)鍵動力學參數(shù)進行了精確校準，確保仿真模型能夠盡可能接近真實無人機的動力學特性。然而，研究也發(fā)現(xiàn)，域隨機化的應(yīng)用需要極為謹慎。對于那些能夠通過系統(tǒng)辨識達到合理精度的參數(shù)，過度引入域隨機化可能會適得其反。這是因為不必要的隨機化會顯著增加強化學習的學習復雜度，導致性能下降。換句話說，域隨機化并非 「越多越好」，需要通過合理選擇哪些參數(shù)應(yīng)用隨機化。
• 在訓練過程中使用較大的 batch size。在 SimpleFlight 的訓練過程中，研究人員特別關(guān)注了 batch size 對策略性能的影響。他們通過實驗發(fā)現(xiàn)，增大 batch size 盡管對仿真環(huán)境中的性能提升并不顯著，但在真實無人機上的表現(xiàn)卻得到了顯著改善。這表明，大 batch size 在縮小模擬與現(xiàn)實之間的 Sim2Real Gap 方面，扮演了關(guān)鍵角色。這種現(xiàn)象背后的原因可能與強化學習的泛化能力有關(guān)。在大 batch size 的訓練中，策略能夠在更廣泛的狀態(tài)分布上進行學習，從而提升其應(yīng)對真實環(huán)境中復雜情況的魯棒性。這種改進不僅幫助策略更好地適應(yīng)現(xiàn)實世界中的不確定性，還減少了從仿真到現(xiàn)實部署時可能出現(xiàn)的性能退化問題。

另外值得注意的是，SimpleFlight 框架集成在研究人員自主開發(fā)的高效無人機仿真平臺 OmniDrones，該平臺基于 NVIDIA 的 Isaac Sim 仿真環(huán)境搭建，允許用戶在 GPU 并行模擬之上輕松設(shè)計和試驗各種應(yīng)用場景，可以實現(xiàn)每秒超過 10^5 步的仿真速度，極大地加速了強化學習策略的訓練。

圖 4：OmniDrones 仿真平臺示意圖，來源：https://arxiv.org/abs/2309.12825

還等什么？趕快試試 SimpleFlight，把你的強化學習策略送上無人機吧！

Reference:

[1] Huang, K., Rana, R., Spitzer, A., Shi, G. and Boots, B., 2023. Datt: Deep adaptive trajectory tracking for quadrotor control. arXiv preprint arXiv:2310.09053.

[2] Eschmann, J., Albani, D. and Loianno, G., 2024. Learning to fly in seconds. IEEE Robotics and Automation Letters.