谷歌「氣球互聯(lián)網(wǎng)」新進(jìn)展：用AI控制氣球?qū)Ш?，不怕WiFi被“吹”出服務(wù)區(qū)
這是Google「氣球互聯(lián)網(wǎng)」項(xiàng)目“Project Loon”交回的最新成績(jī)單。
Google母公司Alphabet于2013年6月正式啟動(dòng)Project Loon計(jì)劃，該計(jì)劃旨在將AI技術(shù)與超壓氣球相結(jié)合，為更多地區(qū)提供低價(jià)且高速的無(wú)線互聯(lián)網(wǎng)服務(wù)，尤其是與市中心相距甚遠(yuǎn)的偏遠(yuǎn)地區(qū)。
前段時(shí)間，Loon順利完成了最新一輪飛行測(cè)試。
昨日，最新分析結(jié)果顯示，在飛躍太平洋的39天里，Loon氣球表現(xiàn)出了比以往更好的性能——基于最新人工智能系統(tǒng)，它能夠更快地計(jì)算出氣球的最佳導(dǎo)航路徑；在目標(biāo)區(qū)域上飛行的時(shí)間更長(zhǎng)，消耗的能量更少，更關(guān)鍵的是，它還提出了研究團(tuán)隊(duì)此前未曾想到過(guò)的新的導(dǎo)航動(dòng)作。
而這一最新人工智能系統(tǒng)正是基于強(qiáng)化學(xué)習(xí)（ Reinforcement-Learnin，RL）算法的AI系統(tǒng)。
研究人員稱(chēng)，這是他們首次將RL系統(tǒng)應(yīng)用到航空航天產(chǎn)品中。Loon取得的成績(jī)，表明RL可以作為解決現(xiàn)實(shí)世界自主控制問(wèn)題的有效解決方案。
目前，有關(guān)這項(xiàng)研究發(fā)現(xiàn)的論文成果已經(jīng)登上了《Nature》雜志。
接下來(lái)，我們來(lái)具體聊一下：Google為什么要開(kāi)展「氣球互聯(lián)網(wǎng)」計(jì)劃，以及強(qiáng)化學(xué)習(xí)系統(tǒng)到底解決了哪些難題。
「氣球互聯(lián)網(wǎng)」計(jì)劃
你可能難以想象，在互聯(lián)網(wǎng)如此普及的當(dāng)下，全球還有一半的以上的用戶無(wú)法享受到這項(xiàng)服務(wù)。
2013年，為了讓30多億用戶所在的偏遠(yuǎn)地區(qū)覆蓋互聯(lián)網(wǎng)，Alphabet正式啟動(dòng)了高空互聯(lián)網(wǎng)服務(wù)項(xiàng)目。之后幾年，陸續(xù)有不少科技公司也加入了這個(gè)隊(duì)伍，比如SpaceX、OneWeb等。
其中最值得一提的，是馬斯克的“太空互聯(lián)網(wǎng)”計(jì)劃，他計(jì)劃向太空發(fā)射42000顆通信衛(wèi)星，在地球低空軌道形成一個(gè)巨型星座來(lái)完成與地面的通信任務(wù)。目前他已經(jīng)成功發(fā)射了近900顆衛(wèi)星。
相比于馬斯克的「太空衛(wèi)星」，Alpbet則把通信業(yè)務(wù)的核心放在了「高空氣球」上。
具體來(lái)說(shuō)，用「高空氣球」實(shí)現(xiàn)地面通信的過(guò)程如下：當(dāng)氣球上升到高空平流層后（超過(guò)云層12英里高），利用“太陽(yáng)能技術(shù)”吸收能量以作為電力支持，然后通過(guò)“算法系統(tǒng)控制（ Algorithmic Control）”讓氣球上下飄動(dòng)，并根據(jù)風(fēng)向捕捉風(fēng)流信號(hào)，將氣球穩(wěn)定在一個(gè)固定區(qū)域。
最后通過(guò)“網(wǎng)狀回路（Mesh Networking）技術(shù)”，將互聯(lián)網(wǎng)數(shù)據(jù)包從一個(gè)氣球傳輸至另一個(gè)氣球；從氣球傳輸至在屋頂建立天線的家庭和企業(yè)用戶；最后將這些用戶的數(shù)據(jù)傳輸出去。
這一過(guò)程中，如果氣球在平流層飛行的時(shí)間越長(zhǎng)，意味著Loon越可以在較低成本下為目標(biāo)區(qū)域提供更長(zhǎng)久的連通性，這也意味著互聯(lián)網(wǎng)服務(wù)將不僅可以覆蓋到更偏遠(yuǎn)的地區(qū)，而且它的價(jià)格也會(huì)更便宜。
在近幾年的飛行測(cè)試中，Loon的平流層飛行時(shí)長(zhǎng)不斷刷新著世界紀(jì)錄，目前最高成績(jī)已經(jīng)達(dá)到312天，接近一整年。
這項(xiàng)最高飛行紀(jì)錄開(kāi)始于2019年5月，Loon從波多黎各（Puerto Rico）起飛，進(jìn)入秘魯（Peru），然后在那里進(jìn)行為期三個(gè)月的飛行測(cè)試。測(cè)試結(jié)束后，向南越過(guò)太平洋，于今年3月在墨西哥的巴哈（Baja）登錄。
這項(xiàng)記錄刷新了當(dāng)時(shí)223天的最高記錄，Loon首席技術(shù)官Sal Candido在博客中表示，創(chuàng)紀(jì)錄的飛行成績(jī)是該公司努力發(fā)展技術(shù)，并以創(chuàng)新的方式推動(dòng)硬件和軟件向不斷升級(jí)的結(jié)果。
當(dāng)時(shí)Loon的軟件系統(tǒng)還并未引入RL。
目前，Loon已經(jīng)在澳大利亞、昆士蘭、肯尼亞、新西蘭、加州中央峽谷以及巴西利亞?wèn)|北部等多個(gè)地區(qū)提供了Loon測(cè)試服務(wù)。去年，因受到颶風(fēng)襲擊的影響，美國(guó)電信運(yùn)營(yíng)商還利用Project Loon為超過(guò)25萬(wàn)的災(zāi)民提供了網(wǎng)絡(luò)連接。
不過(guò)，在以上服務(wù)過(guò)程中，Loon的平流層導(dǎo)航問(wèn)題依然面臨很大的挑戰(zhàn)。
此次，基于RL系統(tǒng)的提出為解決當(dāng)前的挑戰(zhàn)提供了一種全新的解決方案，與原有的氣球?qū)Ш较到y(tǒng)相比，RL算法改善了飛行過(guò)程中的決策時(shí)間問(wèn)題。
谷歌加拿大公司的研究科學(xué)家、論文一作馬克·貝勒馬爾（Marc Bellemare）表示，
通過(guò)強(qiáng)化學(xué)習(xí)，我們可以根據(jù)數(shù)據(jù)決定該如何操作，AI不僅可以做出決策，而且可以根據(jù)移動(dòng)的時(shí)間做出實(shí)時(shí)決策。
Loon：強(qiáng)化學(xué)習(xí)飛行控制器
如果在一個(gè)區(qū)域提供完全的網(wǎng)絡(luò)覆蓋，Loon一次至少要運(yùn)行5到10個(gè)氣球。如果覆蓋范圍擴(kuò)大，需要調(diào)用周?chē)膫溆脷馇?，在空中組建一個(gè)更大的網(wǎng)狀網(wǎng)絡(luò)。
在這一過(guò)程中，氣球一般會(huì)出現(xiàn)以下?tīng)顩r：一是因電池報(bào)廢等因素，導(dǎo)致氣球壽命縮短并自動(dòng)降落。二是受颶風(fēng)等惡劣天氣影響，氣球被吹出固定服務(wù)區(qū)；
三是最關(guān)鍵也是難度最高的氣球?qū)Ш健?/p>
上文已經(jīng)提到過(guò)，Loon的氣球?qū)Ш绞峭ㄟ^(guò)球體上下移動(dòng)，尋找合適的氣流來(lái)進(jìn)行導(dǎo)航。
如下圖（a）氣球通過(guò)在不同高度的風(fēng)之間移動(dòng)來(lái)接近它的指定位置。（b）顯示了氣球的飛行線路，藍(lán)色圓直徑代表50公里，為氣球之間的最佳距離。
但氣流是不穩(wěn)定的東西?？匡L(fēng)在天空中移動(dòng)就像使用一個(gè)道路網(wǎng)，在那里街道會(huì)改變方向、車(chē)道數(shù)和速度限制，甚至在不可預(yù)知的時(shí)間完全消失。
因此要做到這一點(diǎn)就需要一套更復(fù)雜的算法—強(qiáng)化學(xué)習(xí)。通過(guò)訓(xùn)練飛行控制器，RL可以形成一套控制策略，以處理高維的、異質(zhì)的輸入，并優(yōu)化長(zhǎng)期目標(biāo)。比如，RL已經(jīng)在Dota 2等即時(shí)策略性游戲中多次戰(zhàn)勝人類(lèi)頂級(jí)玩家，而且在長(zhǎng)遠(yuǎn)策略方面表現(xiàn)驚人。
而對(duì)于一個(gè)好的飛行控制器，需要確保三點(diǎn)：精準(zhǔn)且豐富和數(shù)據(jù)集，最低負(fù)載消耗以及低計(jì)算成本。
在數(shù)據(jù)集方面，研究人員根據(jù)歐洲中期天氣預(yù)報(bào)中心（ECMWF）的全球再分析數(shù)據(jù)（ERA5）創(chuàng)建了可信的風(fēng)數(shù)據(jù)集，并通過(guò)數(shù)據(jù)集的模型訓(xùn)練重新解釋歷史天氣觀測(cè)的結(jié)果。（ERA5提供了用程序噪聲修改的基準(zhǔn)風(fēng)，通過(guò)產(chǎn)生高分辨率風(fēng)場(chǎng)改變驅(qū)動(dòng)程序噪聲的隨機(jī)種子，可以提高控制器建模誤差的魯棒性。）
在最低負(fù)載消耗方面，研究人員將部署控制器的平均功率控制在了StationSeeker之下（之前的風(fēng)控制系統(tǒng)），同時(shí)使用獎(jiǎng)勵(lì)r對(duì)目標(biāo)進(jìn)行了編碼。當(dāng)氣球距離保持在50公里范圍內(nèi)時(shí)，r=1為最大值。當(dāng)然這種獎(jiǎng)勵(lì)也與氣球的狀態(tài)有關(guān)，也就是說(shuō)，它的響應(yīng)隨時(shí)間t的變化而提供不同的指示（上升、下降或停留）
當(dāng)系數(shù)小于1時(shí)，最優(yōu)控制器將使未來(lái)回報(bào)的預(yù)測(cè)折現(xiàn)總和最大化，即“回報(bào)”。
其中E表示期望值。Rs表示飛行控制器從初始狀態(tài)形成的長(zhǎng)期值。
最后，計(jì)算成本主要體現(xiàn)在風(fēng)的測(cè)量上，研究人員使用高斯過(guò)程將氣球的測(cè)量結(jié)果與ECMWF的預(yù)報(bào)結(jié)果相結(jié)合，將風(fēng)預(yù)報(bào)作為先驗(yàn)平均值。后驗(yàn)分布的方差量化了不同風(fēng)估計(jì)的不確定性。作為控制器的輸入，對(duì)氣球正上方和下方的風(fēng)大小和相對(duì)方位進(jìn)行編碼，在181個(gè)氣壓等級(jí)下，范圍為5 kPa到14 kPa。
太平洋高空測(cè)試
基于以上RL控制器，研究人員在太平洋上空進(jìn)行了為期39天的氣球?qū)Ш綔y(cè)試。
從2019年12月17日—2020年1月25日，Loon累計(jì)飛行了約2884小時(shí)。這些數(shù)據(jù)被劃分為851個(gè)三小時(shí)時(shí)間，每個(gè)時(shí)間段作為一個(gè)獨(dú)立樣本。最終測(cè)試結(jié)果顯示，
RL控制器在平流層內(nèi)飛行的時(shí)間更長(zhǎng)（TWR50 79%對(duì)72%；U=850, 410.5，P<10-4）；高度控制使用的功率更少（29w對(duì)33w，U=1048,814，P<10-4）。
與StationSeeker相比，在50公里射程內(nèi)，RL控制器根據(jù)風(fēng)況使用不同的策略，可以使其在25-50km射程內(nèi)花費(fèi)更多的時(shí)間（圖4b）；通過(guò)主動(dòng)移動(dòng)以返回目標(biāo)區(qū)域，縮短了偏移時(shí)間（圖4c）。同時(shí)也讓它節(jié)省了更多能耗（圖d）最后，RL控制器利用海拔高度將電池容量過(guò)剩的太陽(yáng)能轉(zhuǎn)化為了勢(shì)能（圖4e）。
這些結(jié)果表明，強(qiáng)化學(xué)習(xí)是解決現(xiàn)實(shí)世界中自主控制問(wèn)題的有效解決方案，在傳統(tǒng)控制方法（StationSeeker）無(wú)法滿足要求的情況下，需要?jiǎng)?chuàng)建與真實(shí)動(dòng)態(tài)環(huán)境持續(xù)交互的人工智能體。
更多論文內(nèi)容可參見(jiàn)：https://www.gwern.net/docs/rl/2020-bellemare.pdf#google
