隨著機(jī)器人技術(shù)的發(fā)展，機(jī)器人在實(shí)際生活中發(fā)會(huì)越來越重要的作用。它不僅只是根據(jù)人類的指令來行動(dòng)，更開始在人機(jī)協(xié)同工作中開始發(fā)揮引導(dǎo)人類工作的作用。本文介紹了斯坦福 AI 研究院的研究人員如何應(yīng)用領(lǐng)導(dǎo)者-跟隨者圖(LFG)來更好地發(fā)揮機(jī)器人在團(tuán)隊(duì)中的領(lǐng)導(dǎo)作用。

我們的生活大多圍繞著團(tuán)隊(duì)協(xié)作。例如，我們?cè)谂c人群協(xié)作或影響人群時(shí)，既能夠以顯而易見的方式(如一起做飯時(shí))，也能夠以不易察覺的方式(如在高速公路上共享車道時(shí))。隨著機(jī)器人越來越融入社會(huì)，它們應(yīng)該能夠很好地與人類群體協(xié)作。

然而，要影響人群是具有挑戰(zhàn)性的。例如，想象一下在一個(gè)志愿搜救任務(wù)中，無人機(jī)學(xué)習(xí)關(guān)于目標(biāo)位置的最新信息(如下面的藍(lán)色標(biāo)記所示)。假設(shè)沒有直接的通訊方式，無人機(jī)應(yīng)該如何帶領(lǐng)志愿者前往那個(gè)地點(diǎn)?

無人機(jī)領(lǐng)導(dǎo)團(tuán)隊(duì)的一種方式，是分別對(duì)每個(gè)個(gè)體進(jìn)行建模并單獨(dú)施加影響。其中，無人機(jī)建模的用意在于理解并預(yù)測(cè)某個(gè)人的行為。然而，獨(dú)立于他人的建模和影響并不能很好地?cái)U(kuò)展到人數(shù)更多的個(gè)體，而且我們無法在進(jìn)行在線快速計(jì)算。

影響人類團(tuán)隊(duì)的另一種方法是放棄任何建模，直接從對(duì)團(tuán)隊(duì)的觀察中學(xué)習(xí)策略或行動(dòng)規(guī)劃。這種方法為人數(shù)同樣多的團(tuán)隊(duì)提供了一個(gè)合理的解決方案。但是，添加或減去一個(gè)團(tuán)隊(duì)成員會(huì)改變模型的輸入大小，并且需要重新訓(xùn)練模型。

我們?nèi)〉贸晒缦拢?/p>

• 引入了一種可以用可伸縮的方式為人群交互建模的方法。
• 描述了機(jī)器人如何利用這些知識(shí)影響人類團(tuán)隊(duì)。

人類群體的潛在結(jié)構(gòu)

與為群體中的每個(gè)個(gè)體建模不同，我們的核心思想是關(guān)注個(gè)體之間的建模關(guān)系。當(dāng)在群體中互動(dòng)時(shí)，我們不再孤立地行動(dòng)，而是根據(jù)他人的行動(dòng)有條件地行動(dòng)。這些依賴關(guān)系提供了一種結(jié)構(gòu)，我們可以使用這種結(jié)構(gòu)來形成對(duì)他人的期望，并據(jù)此行事。在更大的范圍內(nèi)，這允許我們發(fā)展出規(guī)范、慣例，甚至文化。這些依賴關(guān)系對(duì)機(jī)器人很有用。因?yàn)樗鼈兲峁┝素S富的信息源，可以幫助機(jī)器人建模和預(yù)測(cè)人類行為。我們稱這些依賴關(guān)系為潛在結(jié)構(gòu)。

潛在結(jié)構(gòu)的一個(gè)重要例子是領(lǐng)導(dǎo)和跟隨行為。我們可以很容易地組成團(tuán)隊(duì)，并決定是否應(yīng)該跟隨或帶領(lǐng)團(tuán)隊(duì)高效地完成任務(wù)。例如，在搜救任務(wù)中，一旦發(fā)現(xiàn)目標(biāo)的新信息，人類就能自發(fā)地成為領(lǐng)導(dǎo)者。我們還默默地協(xié)調(diào)領(lǐng)導(dǎo)和跟隨策略。舉個(gè)例子，當(dāng)司機(jī)開車時(shí)，他們會(huì)跟隨對(duì)方穿過車道。在工作中，我們將重點(diǎn)建模潛在的引導(dǎo)和跟隨結(jié)構(gòu)，并將它作為一個(gè)運(yùn)行示例。

在搜救任務(wù)中，志愿者之間潛在的領(lǐng)導(dǎo)和跟隨結(jié)構(gòu)的例子(左圖)，以及車輛在交通中相互跟隨的例子(右圖)。

那么我們?cè)撊绾螌?duì)這些潛在結(jié)構(gòu)進(jìn)行建模呢?理想模型應(yīng)該具有哪些性質(zhì)呢?在討論如何建立潛在結(jié)構(gòu)模型之前，讓我們先確定一些必備要素?

1. 復(fù)雜性：由于這些結(jié)構(gòu)通常是隱式形成的，我們的模型應(yīng)該足夠復(fù)雜，能夠捕獲個(gè)體之間的復(fù)雜關(guān)系。
2. 可伸縮性：模型應(yīng)該能夠適應(yīng)不斷變化的智能體數(shù)量。

潛在結(jié)構(gòu)建模

簡(jiǎn)單的情況

我們使用監(jiān)督學(xué)習(xí)方法來估計(jì)兩個(gè)人類智能體之間的關(guān)系?；氐奖貍湟氐挠懻摚@解決了復(fù)雜性的問題，因?yàn)槭褂没趯W(xué)習(xí)的方法允許我們捕獲這對(duì)組合可能擁有的復(fù)雜關(guān)系。使用模擬器，我們可以要求參與者演示我們想要度量的期望關(guān)系，例如領(lǐng)導(dǎo)和跟隨。

我們將搜救任務(wù)抽象為一個(gè)游戲，其中目標(biāo)代表潛在的幸存者位置。在下面的例子中，參與者被要求互相領(lǐng)導(dǎo)和跟隨，以便集體決定要達(dá)成的目標(biāo)。與人有關(guān)的數(shù)據(jù)通常充滿噪音，很難大規(guī)模收集。為了彌補(bǔ)這個(gè)缺點(diǎn)，我們用模擬的人類數(shù)據(jù)擴(kuò)充了我們的數(shù)據(jù)集。然后，我們將這些數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模塊。這些模塊經(jīng)過訓(xùn)練，可以預(yù)測(cè)前導(dǎo)關(guān)系和后導(dǎo)關(guān)系。這為我們提供了一個(gè)模型，可以評(píng)估每個(gè)智能體以及目標(biāo)成為智能體的領(lǐng)導(dǎo)者的可能性。

擴(kuò)大團(tuán)隊(duì)規(guī)模

現(xiàn)在，我們?nèi)绾谓o一個(gè)更大的團(tuán)隊(duì)建模呢?使用上面的模型，我們可以通過計(jì)算所有智能體和目標(biāo)之間成對(duì)關(guān)系的得分，將多個(gè)人類之間的關(guān)系表示為一個(gè)圖。每個(gè)描述的邊都有一個(gè)由我們訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)分配的概率(概率在下面的圖中抽象出來)。

然后利用圖論算法對(duì)原始圖進(jìn)行剪枝，得到最大似然圖。例如，我們可以貪婪地為每個(gè)智能體選擇權(quán)重最高的出邊(outgoing edge )。

剩下的圖中，粗體邊表示最有可能的邊。我們稱這個(gè)圖為領(lǐng)導(dǎo)者-追隨者圖(LFG)。

由于我們可以很容易地對(duì)實(shí)時(shí)變換的智能體數(shù)量進(jìn)行建模，因此圖結(jié)構(gòu)可以隨著智能體數(shù)量的變化而伸縮。例如，在下一個(gè)時(shí)間步長(zhǎng) $kth$ 中添加一個(gè)智能體所需要的時(shí)間與智能體程序的數(shù)量 $n$ 和目標(biāo)的數(shù)量 $m$ 線性相關(guān)。在實(shí)踐中，這需要以毫秒為單位來計(jì)算。

我們的模型泛化后有多準(zhǔn)確?

通過將領(lǐng)導(dǎo)者-追隨者圖所做的預(yù)測(cè)與真實(shí)落地的預(yù)測(cè)進(jìn)行比較，來評(píng)估我們的模型泛化的準(zhǔn)確性。用模擬數(shù)據(jù)和同時(shí)包含模擬和真實(shí)人類數(shù)據(jù)的數(shù)據(jù)(混合數(shù)據(jù))進(jìn)行訓(xùn)練實(shí)驗(yàn)。我們發(fā)現(xiàn)，訓(xùn)練更多的智能體有助于模型的推廣。這表明，需要權(quán)衡使用較少的智能體進(jìn)行訓(xùn)練還是使用量較多的智能體進(jìn)行訓(xùn)練(這需要收集更多的數(shù)據(jù))。

潛在結(jié)構(gòu)對(duì)機(jī)器人有什么用?

機(jī)器人可以利用潛在結(jié)構(gòu)來推斷團(tuán)隊(duì)的有用信息。例如，在領(lǐng)導(dǎo)和跟隨的例子中，我們可以識(shí)別諸如智能體的目標(biāo)或誰是最有影響力的領(lǐng)導(dǎo)者之類的信息。這些信息允許機(jī)器人識(shí)別對(duì)任務(wù)至關(guān)重要的關(guān)鍵目標(biāo)或智能體?？紤]到這一點(diǎn)，機(jī)器人可以采取行動(dòng)來達(dá)到預(yù)期的結(jié)果。下面是機(jī)器人利用圖形結(jié)構(gòu)影響人類團(tuán)隊(duì)的兩項(xiàng)任務(wù)：

A.合作任務(wù)

在許多現(xiàn)實(shí)生活場(chǎng)景中，能夠帶領(lǐng)一組人實(shí)現(xiàn)目標(biāo)是很有用的。例如，在搜救任務(wù)中，擁有更多幸存者位置信息的機(jī)器人應(yīng)該能夠領(lǐng)導(dǎo)團(tuán)隊(duì)。我們已經(jīng)創(chuàng)建了一個(gè)類似的場(chǎng)景，其中有兩個(gè)目標(biāo)，幸存者的潛在位置，以及一個(gè)知道幸存者所在位置的機(jī)器人。機(jī)器人試圖通過帶領(lǐng)所有隊(duì)友到達(dá)目標(biāo)位置來最大化聯(lián)合效用。為了影響團(tuán)隊(duì)，機(jī)器人使用領(lǐng)導(dǎo)者-跟隨者圖來推斷當(dāng)前最有影響力的領(lǐng)導(dǎo)者是誰。然后機(jī)器人選擇采取最大化最具影響力的領(lǐng)導(dǎo)者實(shí)現(xiàn)最優(yōu)目標(biāo)的概率的動(dòng)作。

在下面的圖中，綠色的圓圈代表位置(或目標(biāo))，橙色的圓圈代表模擬的人類智能體，黑色的圓圈代表機(jī)器人。機(jī)器人正試圖帶領(lǐng)團(tuán)隊(duì)走向更理想的底部位置。我們將使用圖結(jié)構(gòu)的機(jī)器人(上)與貪婪地瞄準(zhǔn)最優(yōu)目標(biāo)的機(jī)器人(下)進(jìn)行對(duì)比。

上方圖中，機(jī)器人向底部移動(dòng)，并圍繞底部移動(dòng)，這是最優(yōu)的目標(biāo)，目的是引導(dǎo)推斷出的領(lǐng)導(dǎo)者向目標(biāo)移動(dòng)。下方圖中，機(jī)器人直接朝底部目標(biāo)前進(jìn)，沒有任何積極影響隊(duì)友的企圖。

如果大多數(shù)人首先與底層目標(biāo)發(fā)生沖突，機(jī)器人就會(huì)成功;如果大多數(shù)人與次優(yōu)目標(biāo)發(fā)生沖突，機(jī)器人就會(huì)失敗。下面是一個(gè)圖表，它記錄了使用圖形表示的機(jī)器人與使用其他基線策略的機(jī)器人的成功率。

我們發(fā)現(xiàn)，在具有大量潛在目標(biāo)的更困難的場(chǎng)景中，圖形表示是有用的。

B .對(duì)抗任務(wù)

機(jī)器人也可能想要阻止人類團(tuán)隊(duì)達(dá)成集體目標(biāo)。例如，想象一個(gè)奪旗游戲，一個(gè)機(jī)器人隊(duì)友試圖阻止對(duì)手奪旗。

我們創(chuàng)造了一個(gè)類似的任務(wù)，一個(gè)機(jī)器人想要阻止一個(gè)人類團(tuán)隊(duì)達(dá)成目標(biāo)。為了讓團(tuán)隊(duì)陷入停滯，敵對(duì)型機(jī)器人使用領(lǐng)導(dǎo)者-追隨者圖來識(shí)別當(dāng)前最有影響力的領(lǐng)導(dǎo)者是誰。然后，機(jī)器人選擇采取能夠引導(dǎo)其推斷出的最有影響力的領(lǐng)導(dǎo)者偏離目標(biāo)的最大化概率的行動(dòng)。下圖左邊顯示了機(jī)器人的動(dòng)作示例。在右邊，我們展示了一個(gè)簡(jiǎn)單策略的例子，一個(gè)機(jī)器人隨機(jī)選擇一個(gè)玩家，并試圖阻止它，但沒有成功。

上方圖中，機(jī)器人使用領(lǐng)導(dǎo)者-追隨者圖來采取行動(dòng)，阻止推斷出來的領(lǐng)導(dǎo)者達(dá)到目標(biāo)。下方圖中，機(jī)器人沒能成功地跟隨一名玩家以阻止他達(dá)到目標(biāo)。

通過阻止玩家達(dá)到目標(biāo)，機(jī)器人試圖盡可能延長(zhǎng)游戲時(shí)間。這是一個(gè)使用圖形表示與其他基線策略進(jìn)行比較的機(jī)器人的圖。

使用領(lǐng)導(dǎo)者-追隨者圖 (LFG)的兩種策略比其他基線方法成功地延長(zhǎng)了游戲時(shí)間。

我們發(fā)現(xiàn)，與其他基準(zhǔn)策略相比，使用我們的圖形表示的機(jī)器人在延長(zhǎng)游戲時(shí)間方面最為成功。

接下來是什么?

我們引入了一種可伸縮的方法，表示團(tuán)隊(duì)中的固有結(jié)構(gòu)。然后，我們演示了如何使用這個(gè)結(jié)構(gòu)來設(shè)計(jì)智能影響行為。對(duì)于未來的工作，我們感興趣的有以下幾點(diǎn)：

• 實(shí)際實(shí)驗(yàn)。我們正在微型群機(jī)器人上實(shí)現(xiàn)我們的算法，這樣就可以用真實(shí)的機(jī)器人和人類進(jìn)行人機(jī)合作實(shí)驗(yàn)。
• 改變工作領(lǐng)域和結(jié)構(gòu)。在更多類型的潛在結(jié)構(gòu)(例如，團(tuán)隊(duì)成員如何信任彼此)和不同領(lǐng)域(例如，驅(qū)動(dòng)，部分可觀察的設(shè)置)上測(cè)試我們的框架是很好的。

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。