仿生體感-視覺關(guān)聯(lián)學(xué)習(xí)框架。

可伸縮應(yīng)變傳感器。

techxplore.com網(wǎng)站7月14日報道，新加坡南洋理工大學(xué)和悉尼科技大學(xué)的研究人員最近在《自然·電子學(xué)》雜志發(fā)文公布了一種機(jī)器學(xué)習(xí)架構(gòu)，可通過分析可伸縮應(yīng)變傳感器捕捉到的圖像識別人類手勢。

項目研究人員Xiaodong Chen在接受TechXplore采訪時說：“人腦如何處理信息?我們對此很感興趣。在人腦中，思維、規(guī)劃和靈感等高級感知活動，不僅依賴特定的感官信息，還與不同傳感器的多感官信息綜合整合有關(guān)。這為我們結(jié)合視覺信息和軀體感覺信息，實現(xiàn)高精度手勢識別提供了啟示。”

人類在解決實際任務(wù)時，通常會整合從周圍環(huán)境收集到的視覺和體感信息。兩種類型的信息是互補的，當(dāng)它們結(jié)合在一起時，能夠為解決問題提供更好的方案。因此，在開發(fā)人類手勢識別技術(shù)時，Chen等需要確保該技術(shù)能夠整合多個傳感器收集到的不同類型的感知信息。Chen解釋：“為了實現(xiàn)目標(biāo)，我們對傳感器進(jìn)行了改進(jìn)。與目前使用的可穿戴傳感器相比，新設(shè)計的可伸縮、高適應(yīng)性傳感器可以更準(zhǔn)確地收集肢體感覺數(shù)據(jù)。我們還開發(fā)了一種仿生體感-視覺(BSV)學(xué)習(xí)框架，它可以合理地融合視覺信息與體感信息。”

Chen等開發(fā)的BSV學(xué)習(xí)框架以多種方式復(fù)制了人類大腦的體感-視覺信息融合途徑，表現(xiàn)出三大特點：首先，它的多層、層級結(jié)構(gòu)以人工神經(jīng)網(wǎng)絡(luò)模仿大腦。其次，系統(tǒng)中的部分分段網(wǎng)絡(luò)處理模式與大腦中的神經(jīng)網(wǎng)絡(luò)處理模態(tài)大致相同。最后，BSV架構(gòu)具備新開發(fā)的稀疏神經(jīng)網(wǎng)絡(luò)融合特征。

在初步評估實驗中，Chen等設(shè)計的BSV學(xué)習(xí)架構(gòu)的表現(xiàn)優(yōu)于單式識別方法(只處理視覺或體感數(shù)據(jù)的方法)。值得注意的是，它能比此前開發(fā)的三種多模態(tài)識別技術(shù)(加權(quán)平均融合SV-V，加權(quán)強(qiáng)調(diào)融合SV-T和加權(quán)倍增融合SV-M)更準(zhǔn)確地識別人類手勢。

Chen說：“與單式識別和常見多模態(tài)識別相比，我們開發(fā)的仿生學(xué)習(xí)架構(gòu)具有更高的識別精度。而在圖像有噪聲、曝光不足或曝光過度等非理想條件下，它的識別精度也相對更高。”

BSV學(xué)習(xí)架構(gòu)可用于制造醫(yī)療機(jī)器人，或者開發(fā)更先進(jìn)的虛擬現(xiàn)實、增強(qiáng)現(xiàn)實和娛樂技術(shù)。Chen說：“BSV獨特的仿生特性使其優(yōu)于多數(shù)現(xiàn)有技術(shù)。這已經(jīng)被實驗結(jié)果證實。下一步，我們將嘗試構(gòu)建基于仿生融合的虛擬現(xiàn)實和增強(qiáng)現(xiàn)實系統(tǒng)。”