一種新型的人工智能 (AI) 機(jī)器學(xué)習(xí)在 2021 年 2 月初舉行的第 35 屆 AAAI 人工智能會議上亮相。 麻省理工學(xué)院 (MIT) 和奧地利研究人員創(chuàng)建了一個(gè)新的神經(jīng)網(wǎng)絡(luò)，賦予了更多的流體人工智能被稱為“液體”機(jī)器學(xué)習(xí)。這種新型機(jī)器學(xué)習(xí)可以更好地適應(yīng)復(fù)雜現(xiàn)實(shí)世界問題的動(dòng)態(tài)波動(dòng)。

[[402928]]

在數(shù)據(jù)流隨時(shí)間變化的領(lǐng)域，開發(fā)可以快速學(xué)習(xí)的更靈活的人工智能是關(guān)鍵任務(wù)。具有時(shí)間序列數(shù)據(jù)的實(shí)際應(yīng)用包括視頻處理、流行病學(xué)、金融市場、經(jīng)濟(jì)學(xué)、國內(nèi)生產(chǎn)總值 (GDP)、健康監(jiān)測、天氣預(yù)報(bào)、大氣污染、自動(dòng)駕駛汽車、機(jī)器人技術(shù)、航空和醫(yī)學(xué)成像等一些。

流體智力與晶體智力的概念可以追溯到 1963 年，當(dāng)時(shí)它是由 20 世紀(jì)最有影響力的心理學(xué)家之一雷蒙德·卡特爾 (Raymond Cattell) (1905-1998) 提出的。流體智力是靈活思考、推理和實(shí)時(shí)處理新信息的能力。相比之下，結(jié)晶智力是指從先前學(xué)習(xí)的事實(shí)、技能和經(jīng)驗(yàn)中獲得的知識。

流體智力(Fluid Intelligence)是一種以生理為基礎(chǔ)的認(rèn)知能力，如知覺、記憶、運(yùn)算速度、推理能力等。流體智力是與晶體智力相對應(yīng)的概念，流體智力隨年齡的老化而減退。流體智力屬于人類的基本能力，受先天遺傳因素影響較大，受教育文化影響較少。流體智力的發(fā)展與年齡有密切的關(guān)系：一般人在20歲以后，流體智力的發(fā)展達(dá)到頂峰，30歲以后隨著年齡的增長而降低。而晶體智力則并不隨年齡的老化而減退，晶體智力主要指學(xué)會的技能、語言文字能力、判斷力、聯(lián)想力等。

“我們引入了一類新的時(shí)間連續(xù)循環(huán)神經(jīng)網(wǎng)絡(luò)模型，”該研究的作者寫道。 Ramin Hasani 是計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室 (CSAIL) 的博士后，也是該研究的主要作者。該團(tuán)隊(duì)的其他研究人員包括麻省理工學(xué)院教授兼 CSAIL 主任 Daniela Rus、麻省理工學(xué)院博士生 Alexander Amini、奧地利科學(xué)技術(shù)研究所的 Mathias Lechner 和維也納科技大學(xué)的 Radu Grosu。

當(dāng)存在時(shí)間序列數(shù)據(jù)時(shí)，經(jīng)常使用使用常微分方程 (ODE) 來確定連續(xù)時(shí)間隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)。研究人員團(tuán)隊(duì)著手改進(jìn)這種結(jié)構(gòu)，以“實(shí)現(xiàn)更豐富的表征學(xué)習(xí)和表達(dá)能力”。

研究人員寫道：“我們不是通過隱式非線性來聲明學(xué)習(xí)系統(tǒng)的動(dòng)態(tài)，而是構(gòu)建通過非線性互連門調(diào)制的線性一階動(dòng)態(tài)系統(tǒng)網(wǎng)絡(luò)。”

作為替代方案，研究人員創(chuàng)建了一個(gè)液體時(shí)間常數(shù) (LTC) 循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)。這種新型循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于它在設(shè)計(jì)上更具表現(xiàn)力，因此本質(zhì)上更透明和可解釋。

這種表現(xiàn)力使研究人員能夠更好地了解神經(jīng)網(wǎng)絡(luò)的一些“思考”過程，這一好處有助于揭開人工智能機(jī)器學(xué)習(xí)“黑匣子”的一些復(fù)雜認(rèn)知的神秘面紗。

研究小組寫道：“由此產(chǎn)生的模型代表了動(dòng)態(tài)系統(tǒng)，其變化的(即液體)時(shí)間常數(shù)與其隱藏狀態(tài)耦合，輸出由數(shù)值微分方程求解器計(jì)算。” “這些神經(jīng)網(wǎng)絡(luò)表現(xiàn)出穩(wěn)定和有界的行為，在神經(jīng)常微分方程族中產(chǎn)生卓越的表現(xiàn)力，并提高了時(shí)間序列預(yù)測任務(wù)的性能。”

為了評估他們的新模型，該團(tuán)隊(duì)對他們的液體時(shí)間約束遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行了大量實(shí)驗(yàn)。實(shí)驗(yàn)包括訓(xùn)練分類器從運(yùn)動(dòng)數(shù)據(jù)中識別手勢，從傳感器數(shù)據(jù)流(溫度、二氧化碳水平、濕度和其他傳感器)預(yù)測房間占用，以及從智能手機(jī)數(shù)據(jù)識別人類活動(dòng)(例如，站立、行走和坐著)。其他測試包括順序 MNIST、運(yùn)動(dòng)動(dòng)力學(xué)建模以及交通預(yù)測、每小時(shí)家庭用電量、臭氧濃度水平和更多類型的人類活動(dòng)。

與其他循環(huán)神經(jīng)網(wǎng)絡(luò)模型(LSTM、CT-RNN、Neural ODE 和 CT-GRU)相比，研究人員觀察到，在關(guān)于時(shí)間序列預(yù)測的七項(xiàng)實(shí)驗(yàn)中有四項(xiàng)改進(jìn)了 5% 到 70%。

人工智能正在跨行業(yè)和許多功能迅速擴(kuò)展。 AI 機(jī)器學(xué)習(xí)變得越靈活、流暢和透明，未來提高 AI 安全性和性能的潛力就越大。