本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/

「感知-動(dòng)作」回路是我們?nèi)粘；顒?dòng)的核心。在潛意識(shí)中，我們的大腦利用感知輸入，實(shí)時(shí)觸發(fā)特定的運(yùn)動(dòng)動(dòng)作，形成一種持續(xù)的活動(dòng)，如運(yùn)動(dòng)、看電視等各種活動(dòng)都是這樣形成的。

在人工智能的背景下，「感知-動(dòng)作」回路是諸如自動(dòng)駕駛汽車等自主系統(tǒng)的基石。雖然強(qiáng)化學(xué)習(xí)等學(xué)科在這個(gè)領(lǐng)域已經(jīng)取得了一定進(jìn)展，但目前，自主系統(tǒng)在直接根據(jù)視覺數(shù)據(jù)做出決策方面仍遠(yuǎn)不及人類。

最近，微軟的人工智能研究人員發(fā)表了一篇論文，提出了一種遷移學(xué)習(xí)方法，用于在模擬環(huán)境中學(xué)習(xí)感知行為策略，并將這些知識(shí)應(yīng)用于無人機(jī)。

根據(jù)感知輸入采取哪些行動(dòng)，與其說是一個(gè)理論問題，不如說是一個(gè)實(shí)踐問題。近年來，強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)等方法在這一領(lǐng)域顯示出巨大的潛力，但它們?nèi)匀皇艿诫y以大量收集標(biāo)記真實(shí)世界數(shù)據(jù)的限制。另一方面，模擬數(shù)據(jù)很容易生成，但在不同的現(xiàn)實(shí)場(chǎng)景中通常呈現(xiàn)出不安全的行為。

能夠在模擬環(huán)境中學(xué)習(xí)策略并將知識(shí)外推到真實(shí)環(huán)境中仍然是自主系統(tǒng)的主要挑戰(zhàn)之一。為了推進(jìn)這一領(lǐng)域的研究，人工智能社區(qū)為現(xiàn)實(shí)世界的自主系統(tǒng)建立了許多基準(zhǔn)。其中最具挑戰(zhàn)性的是第一人稱視角的無人機(jī)比賽。

FPV 挑戰(zhàn)

在第一人稱視角（FPV）完成的比賽中，專業(yè)飛行員能夠計(jì)劃、控制一個(gè)四旋翼機(jī)，使其具有很高的敏捷性，但卻沒有考慮安全性。微軟的研究團(tuán)隊(duì)試圖建立一個(gè)自主代理，可以在 FPV 比賽中控制無人機(jī)。

從深度學(xué)習(xí)的角度來看，導(dǎo)航任務(wù)中最大的挑戰(zhàn)之一是輸入圖像數(shù)據(jù)的高維性和可變性。想要成功地解決這個(gè)任務(wù)，就需要一個(gè)對(duì)視覺外觀不變性和對(duì)仿真與現(xiàn)實(shí)之間差異的魯棒表示。從這個(gè)角度來看，能夠在 FPV 比賽等環(huán)境中操作的自主代理需要接受模擬數(shù)據(jù)的訓(xùn)練，這些模擬數(shù)據(jù)學(xué)習(xí)可在真實(shí)環(huán)境中使用的策略。

許多這類研究，如 FPV 比賽，都集中在增強(qiáng)無人機(jī)的各種傳感器，可以幫助建立周圍環(huán)境的模型。然而，微軟的研究團(tuán)隊(duì)旨在創(chuàng)造一種以人腦功能為靈感的計(jì)算結(jié)構(gòu)，將視覺信息直接映射到正確的控制動(dòng)作上。

為了證明這一點(diǎn)，微軟研究院使用了一個(gè)非?；镜膸в星爸脭z像頭的四旋翼機(jī)。所有的處理都是在 Nvidia TX2 計(jì)算機(jī)上完成的，它有 6 個(gè) CPU 核和一個(gè)集成的 GPU?，F(xiàn)成的英特爾 T265 跟蹤相機(jī)提供里程計(jì)，圖像處理使用 Tensorflow 框架。圖像傳感器是一個(gè) USB 攝像頭，有 830 個(gè)水平視場(chǎng)，原始圖像被縮小到 128 x 72 的尺寸。

圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/

代理

微軟研究小組的目標(biāo)是在模擬環(huán)境中訓(xùn)練一個(gè)自主代理，并將所學(xué)的策略應(yīng)用到現(xiàn)實(shí)世界的 FPV 比賽中。對(duì)于模擬數(shù)據(jù)，微軟依靠 AirSim 生成，這是一個(gè)用于無人機(jī)、汽車和其他交通工具的高保真模擬器。AirSim 生成的數(shù)據(jù)在訓(xùn)練階段使用，然后在真實(shí)世界中部署學(xué)習(xí)到的策略，而無需任何修改。

圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/

為了彌合模擬現(xiàn)實(shí)的差距，微軟的研究依賴于交叉模式學(xué)習(xí)，即使用有標(biāo)簽和無標(biāo)簽的模擬數(shù)據(jù)以及真實(shí)世界的數(shù)據(jù)集。其思想是在高維模擬數(shù)據(jù)中進(jìn)行訓(xùn)練，并學(xué)習(xí)一種低維策略表示方法，該方法可以有效地用于實(shí)際場(chǎng)景中。為了實(shí)現(xiàn)這一目標(biāo)，微軟研究院利用了跨模態(tài)變分自動(dòng)編碼器（CM-VAE）框架，該框架對(duì)每個(gè)數(shù)據(jù)模態(tài)使用一個(gè)編碼器-解碼器對(duì)，同時(shí)將所有輸入和輸出壓縮到一個(gè)潛在空間。該方法允許將有標(biāo)記和無標(biāo)記的數(shù)據(jù)模式結(jié)合到潛在變量的訓(xùn)練過程中。

將此技術(shù)應(yīng)用于 FPV 環(huán)境需要不同的數(shù)據(jù)模式。第一種數(shù)據(jù)模式考慮原始的未標(biāo)記傳感器輸入（FPV 圖像），而第二種特征狀態(tài)信息直接與手頭的任務(wù)相關(guān)。在無人機(jī)競(jìng)賽的情況下，第二模態(tài)對(duì)應(yīng)于在無人機(jī)的坐標(biāo)幀中定義的下一個(gè)門的相對(duì)姿態(tài)。每個(gè)數(shù)據(jù)模式都由一個(gè)編碼器-解碼器對(duì)使用 CM-VAE 框架進(jìn)行處理，該框架允許學(xué)習(xí)低維策略。

自主 FPV 比賽代理的體系結(jié)構(gòu)由兩個(gè)主要步驟組成。第一步的重點(diǎn)是學(xué)習(xí)一個(gè)潛在的狀態(tài)表示，而第二步的目標(biāo)是學(xué)習(xí)一個(gè)控制策略，以操作這個(gè)潛在的表示。第一個(gè)組件或控制系統(tǒng)架構(gòu)接收單眼相機(jī)圖像作為輸入，并將下一個(gè)可見門的相對(duì)姿態(tài)以及背景特征編碼為低維潛在表示。這種潛在的表示隨后被輸入到控制網(wǎng)絡(luò)中，控制網(wǎng)絡(luò)輸出一個(gè)速度指令，然后由無人機(jī)的飛行控制器轉(zhuǎn)換成執(zhí)行器指令。

圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/

降維是微軟研究方法的重要組成部分。在 FPV 比賽中，有效的降維技術(shù)應(yīng)該是平滑、連續(xù)、一致的，并且對(duì)模擬圖像和真實(shí)圖像中的視覺信息差異具有魯棒性。為了實(shí)現(xiàn)這一目標(biāo)，該體系結(jié)構(gòu)采用了一種 CM-VAE 方法，其中每個(gè)數(shù)據(jù)樣本被編碼成一個(gè)獨(dú)立的潛在空間，該潛在空間可以被解碼回圖像，或者轉(zhuǎn)換成另一種數(shù)據(jù)形式，例如門相對(duì)于無人機(jī)的姿態(tài)。

圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/

由此產(chǎn)生的體系結(jié)構(gòu)能夠?qū)⒒?27468 個(gè)變量的高維表示減少到最基本的 10 個(gè)變量。盡管只使用 10 個(gè)變量對(duì)圖像進(jìn)行編碼，但解碼后的圖像提供了無人機(jī)可以看到的前方物體的豐富描述，包括所有可能的門的尺寸和位置，以及不同的背景信息。

圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/

微軟研究院在各種 FPV 比賽環(huán)境中測(cè)試了這種自主無人機(jī)，其中包括一些具有極端視覺挑戰(zhàn)性的環(huán)境。比如在地板上有與大門色調(diào)相同的紅色條紋的室內(nèi)，或者在大雪環(huán)境中。

另外，還有相關(guān)視頻重點(diǎn)介紹了自主無人機(jī)如何使用低維圖像表示完成所有挑戰(zhàn)。如果你感興趣，可以打開這個(gè)視頻：https://youtu.be/AxE7qGKJWaw 。

盡管微軟的研究工作是專門針對(duì) FPV 比賽場(chǎng)景的，但這些原理可以應(yīng)用到許多其他的感知?jiǎng)幼鲌?chǎng)景中。這類技術(shù)有助于加速可在模擬環(huán)境中訓(xùn)練的自主代理的開發(fā)。為了激勵(lì)這項(xiàng)研究，微軟在 GitHub 中開源了 FPV 代理的代碼。

GitHub 項(xiàng)目網(wǎng)址：https://github.com/microsoft/AirSim-Drone-Racing-VAE-Imitation 

via：https://towardsdatascience.com/microsoft-research-uses-transfer-learning-to-train-real-world-autonomous-drones-53b3f941768f