本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

機(jī)器人只能用一張撲克臉、上面兩只空洞的塑料珠子來(lái)面對(duì)人類嗎？

不一定，它也可以沖你微笑！

下面這個(gè)擁有著柔軟面部的“小藍(lán)人”，可以模仿人類的微笑等表情。

就像這樣：

“尬笑”、“齜牙咧嘴”……一改機(jī)器人“冷若冰霜、呆若木雞”的形象。

可一向由金屬或硬塑料制成的機(jī)器人，是如何露出微笑的呢？

由線和電機(jī)組成的人造“肌肉”

哥倫比亞大學(xué)（Columbia Engineering）創(chuàng)意機(jī)器實(shí)驗(yàn)室（Creative Machines Lab）的研究人員一直對(duì)機(jī)器人與人類之間的互動(dòng)感興趣。

面部表情在建立信任方面發(fā)揮著巨大作用，隨著機(jī)器人已經(jīng)被越來(lái)越多地用于療養(yǎng)院、醫(yī)院等與人類緊密合作的地方，相比“冷冰冰”，我們更需要靈敏、有“溫度”的機(jī)器人。

于是，研究人員花了五年時(shí)間來(lái)創(chuàng)造上面這個(gè)可以模仿人類表情、叫做 EVA的機(jī)器人。

EVA的機(jī)械設(shè)計(jì)含以下四個(gè)模塊，如下圖：

A為電機(jī)伺服模塊（motor servo module ），EVA就是由它驅(qū)動(dòng)，該模塊通過(guò)底部的樹(shù)莓派4控制。“皮膚”通過(guò)尼龍繩與10個(gè)電機(jī)相連，以受到控制作出相應(yīng)表情。

B為有6個(gè)轉(zhuǎn)動(dòng)角度的自由度的眼睛模塊，與前顱骨分離。

C為RGB攝像機(jī)，用于人表情的隨機(jī)數(shù)據(jù)采集。

D為6自由度的頸部模塊。

其中，要想在機(jī)器人整個(gè)頭部設(shè)計(jì)出一個(gè)足夠緊湊的系統(tǒng)以適應(yīng)人類頭骨的大小，同時(shí)仍然具有足夠的功能以產(chǎn)生各種面部表情可不容易。

里面要塞下電路、傳感器和電機(jī)（motor）等各種體積不小的玩意兒。

為此，研究人員決定用3D 打印來(lái)制造形狀復(fù)雜的零件，讓這些零件在EVA 的腦瓜里無(wú)縫地集成在一起。

EVA通過(guò)由尼龍繩和電機(jī)（cables and motors）組成的人工“肌肉”，拉動(dòng)臉上的特定點(diǎn)，模仿人類面部皮膚和骨骼上不同部位的42多塊細(xì)小肌肉的運(yùn)動(dòng)，來(lái)表達(dá)憤怒、厭惡、恐懼、喜悅、悲傷和驚訝六種基本情緒，甚至更細(xì)微的表情。

“有一天，當(dāng) EVA 突然給我一個(gè)大大的、友好的微笑時(shí)，我正忙著自己的事情，我知道這純粹是機(jī)械性的，但我發(fā)現(xiàn)自己條件反射地回以微笑。”

深度學(xué)習(xí)“閱讀”人類表情，作出反應(yīng)

上面的機(jī)械設(shè)計(jì)，表明EVA這個(gè)機(jī)器人在物理上具備作出各種表情的能力。那它又是如何自主完成模仿的呢？

下面就來(lái)揭開(kāi)這款機(jī)器人的軟件部分。

由于人類面部表情太復(fù)雜，預(yù)先設(shè)定好的規(guī)則根本不夠隨機(jī)應(yīng)變，研究人員利用幾個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)構(gòu)建了EVA的“大腦”。

這個(gè)大腦需掌握兩種能力：一是通過(guò)“閱讀”人類的臉知道自己要做哪些表情；二是能把這些表情通過(guò)控制面部“肌肉”而呈現(xiàn)出來(lái)。

為了教EVA認(rèn)清自己的“臉”是什么樣子，團(tuán)隊(duì)拍攝了數(shù)小時(shí)它做各種“鬼臉”的視頻。

眉毛也可以動(dòng)～

然后，就像一個(gè)人類在Zoom視頻軟件里看著自己一樣，EVA的內(nèi)部神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了將肌肉運(yùn)動(dòng)和視頻片段中自己的臉“配對(duì)”。

EVA對(duì)自己的臉是如何“運(yùn)動(dòng)”有了原始的感覺(jué)后，讓它將自己與攝像機(jī)拍攝的人臉表情匹配上也就不難了。

經(jīng)過(guò)多次改進(jìn)和迭代，EVA終于獲得了從相機(jī)讀取人臉“姿勢(shì)”的能力，并通過(guò)模仿人類面部表情來(lái)做出反應(yīng)。

整個(gè)模仿過(guò)程如下：

EVA的大腦主要有兩個(gè)神經(jīng)網(wǎng)絡(luò)：生成網(wǎng)絡(luò)和逆生成網(wǎng)絡(luò)（inverse network）。

給定一幅由普通RGB相機(jī)拍攝的人臉圖像后，系統(tǒng)首先用OpenPose提取面部標(biāo)志。

OpenPose，人體姿態(tài)識(shí)別項(xiàng)目是美國(guó)卡耐基梅隆大學(xué)(CMU)基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)并以caffe為框架開(kāi)發(fā)的開(kāi)源庫(kù)。

然后將人臉面部標(biāo)志標(biāo)準(zhǔn)化為機(jī)器人尺寸，將它與靜態(tài)機(jī)器人臉圖像連接到生成網(wǎng)絡(luò)，生成合成表情后的機(jī)器人圖像。

逆生成網(wǎng)絡(luò)以該圖像為基礎(chǔ)，輸出電機(jī)指令讓機(jī)器人執(zhí)行，最終機(jī)器人臉上浮現(xiàn)出人類表情。

再來(lái)看一組EVA的模仿：

發(fā)現(xiàn)EVA還會(huì)眨眼睛、扭脖子，但是從正面看的話表情還是有點(diǎn)僵硬。

研究人員指出，EVA 還只是一項(xiàng)實(shí)驗(yàn)室實(shí)驗(yàn)，只會(huì)模仿，也與真正和人類進(jìn)行面部表情交流還相去甚遠(yuǎn)。但他們相信這種技術(shù)終有一天會(huì)在現(xiàn)實(shí)世界中產(chǎn)生有益的應(yīng)用。

該研究于 2021 年 5 月 30 日在 ICRA 會(huì)議上發(fā)表，機(jī)器人的藍(lán)圖已在 Hardware-X（2021 年 4 月）開(kāi)源。

關(guān)于作者

此次EVA機(jī)器人的研究團(tuán)隊(duì)主要成員一共5人，其中3名華人。

機(jī)器人軟件部分的項(xiàng)目領(lǐng)導(dǎo)人為Chen Boyuan，吉大本科畢業(yè)，現(xiàn)哥倫比亞大學(xué)博士生，專業(yè)計(jì)算機(jī)科學(xué)與技術(shù)，研究方向：機(jī)器人、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)。

文中出鏡的小哥胡宇航 ，也是哥倫比亞大學(xué)的博士生。本科畢業(yè)于廈門大學(xué)嘉庚學(xué)院，本科期間就申請(qǐng)了多項(xiàng)國(guó)家專利，還開(kāi)了公司，被稱為“科創(chuàng)達(dá)人”。

Li Lianfeng, 哥倫比亞大學(xué)機(jī)器人技術(shù)與控制機(jī)械工程碩士。

論文地址：https://arxiv.org/abs/2105.12724
項(xiàng)目網(wǎng)站：http://www.cs.columbia.edu/~bchen/aiface/