噴上它就能憑空打字!鮑哲南團(tuán)隊(duì)開發(fā)新型智能皮膚,可準(zhǔn)確識(shí)別手部動(dòng)作,打字手語不在話下
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
注意看,這人的面前沒有鍵盤。
但他在桌上做出打字動(dòng)作后,電腦屏幕上就出現(xiàn)了對(duì)應(yīng)的字母:
△亞克力板只印刷了鍵位,不發(fā)出信號(hào)
這個(gè)神奇的“虛空打字”能力,來自一款智能皮膚。
與其他材料不同,它可以像噴霧一樣被附著在手上,其中的微型電子網(wǎng)絡(luò)可以感知皮膚的變形情況。
不止是憑空打字,有了它甚至能通過觸摸3D物體感知形狀、以及用電腦識(shí)別手語。
如果將它噴到臉上,還可以識(shí)別人臉面部表情,在元宇宙里做個(gè)有表情的人指日可待了(doge)
這款智能皮膚來自斯坦福鮑哲南團(tuán)隊(duì)、韓國(guó)建國(guó)大學(xué)、首爾大學(xué)和KAIST,目前已經(jīng)登上Nature Electronics。?
所以它究竟是如何識(shí)別手勢(shì)的?
超薄皮膚如何識(shí)別手指信號(hào)?
先來看看這塊皮膚是如何基于“超薄材料”收集手指信號(hào)的。
整體來看,它由一個(gè)無線信號(hào)收發(fā)模塊和一塊納米級(jí)網(wǎng)狀網(wǎng)絡(luò)組成。
其中,無線模塊用于收集并傳輸從人類手上感知到的皮膚變形狀態(tài),當(dāng)人類的手指皮膚因?yàn)槔飚a(chǎn)生變形時(shí),相應(yīng)部位就會(huì)改變網(wǎng)絡(luò)導(dǎo)電能力(電導(dǎo)率),從而成功傳遞手部運(yùn)動(dòng)信號(hào)。
至于納米級(jí)網(wǎng)絡(luò)的“網(wǎng)線”,則由一個(gè)“金包銀”的結(jié)構(gòu)制成,即銀線外面鍍金。
這樣既能保證強(qiáng)大拉伸能力,又可以抵抗反復(fù)的摩擦力,同時(shí)還能確保一定的透氣性和生物相容性(降低過敏概率)。
將智能皮膚噴涂到手上,只需要將手伸進(jìn)一個(gè)特殊的“印刷機(jī)”里:
在那之后,就是用AI算法來識(shí)別不同的手部信號(hào)、并判斷它具體在做什么動(dòng)作了。
論文基于對(duì)比學(xué)習(xí)開發(fā)了一種AI算法,可以區(qū)分不同的未標(biāo)記運(yùn)動(dòng)信號(hào)。
然而,雖然皮膚噴涂能很好地適應(yīng)不同大小的手,但對(duì)于AI算法來說可不是這樣。
一方面,目前針對(duì)智能皮膚收集的AI數(shù)據(jù)有限,用來訓(xùn)練遠(yuǎn)遠(yuǎn)不夠;另一方面,由于不同人手部差異較大,即使AI模型成功學(xué)習(xí),運(yùn)用到不同手上也會(huì)出現(xiàn)差異性的效果。
如何解決這一問題?
不同大小的手怎么適應(yīng)?
作者們想到用元學(xué)習(xí)的方式,基于少量數(shù)據(jù)快速讓AI算法適應(yīng)不同大小的手。
首先,基于已有的傳感器信號(hào)數(shù)據(jù)進(jìn)行無監(jiān)督學(xué)習(xí),讓模型掌握基本識(shí)別能力。
隨后收集任意用戶擊打9宮格數(shù)字的少鏡頭標(biāo)注數(shù)據(jù)集,快速訓(xùn)練模型學(xué)會(huì)識(shí)別對(duì)應(yīng)的動(dòng)作,相當(dāng)于給不同的人定制專屬模型。
這樣的思路還能被用在適應(yīng)更多其他任務(wù)上。
不止是輸入9宮格數(shù)字,類似的預(yù)測(cè)還能被用在雙手鍵盤輸入上。
如果給兩只手都印上智能皮膚,這樣用戶連續(xù)輸入句子時(shí),預(yù)測(cè)的字母就會(huì)出現(xiàn)在界面上。
據(jù)一作Kyun Kyu Kim介紹,如果能將這類智能皮膚進(jìn)一步推廣到臉上,還能更精準(zhǔn)、高效低成本地識(shí)別用戶表情。
作者介紹
論文作者來自斯坦福大學(xué)、韓國(guó)科學(xué)技術(shù)院(KAIST)、首爾大學(xué)和韓國(guó)建國(guó)大學(xué)。
一作Kyun Kyu Kim,目前在斯坦福大學(xué)任博士后研究員,本科畢業(yè)于高麗大學(xué),并在首爾大學(xué)獲得碩博學(xué)位。研究方向是人機(jī)交互,尤其是納米材料和機(jī)器智能相結(jié)合的制造技術(shù)。
通訊作者Sungho Jo,KAIST助理教授,碩博畢業(yè)于MIT,研究方向?yàn)橹悄軝C(jī)器人、人機(jī)交互、計(jì)算智能、計(jì)算神經(jīng)工程、仿生系統(tǒng)設(shè)計(jì)、仿生學(xué)習(xí)與控制等。
通訊作者Seung Hwan Ko,首爾大學(xué)副教授,主要研究下一代非傳統(tǒng)微/納米制造方法的開發(fā),包括新材料開發(fā)、高分辨率直接制圖工藝開發(fā)和應(yīng)用開發(fā)等。
通訊作者鮑哲南,斯坦福大學(xué)化學(xué)工程、材料科學(xué)與工程教授,美國(guó)國(guó)家工程院院士,研究方向是利用化學(xué)、物理和材料科學(xué)開發(fā)人造電子皮膚。
你想好把這個(gè)智能皮膚用在哪里了嗎?
論文地址:
?https://www.nature.com/articles/s41928-022-00888-7