強化學(xué)習(xí)揭開人們運用抽象思維時大腦是如何工作的
「在某種程度上，所有藝術(shù)都是抽象的。」
二十世紀(jì)世界著名的雕塑大師亨利·摩爾（Henry Spencer Moore）認(rèn)為，藝術(shù)是抽象的最好例子之一。但抽象絕不限于藝術(shù)創(chuàng)作等高級認(rèn)知行為，抽象是人類思維超越直接感官信息的獨特能力。
大腦十分擅長構(gòu)建和使用抽象。在最近的一項神經(jīng)科學(xué)的研究中，研究人員通過結(jié)合使用強化學(xué)習(xí)算法和大腦成像技術(shù)，為我們展示了一種基于感官特征評估的抽象機制，這為教育和康復(fù)、精神疾病治療以及人工智能新算法的開發(fā)開辟新的道路。
這項研究于 7 月 13 日以「 Value signals guide abstraction during learning 」為題發(fā)表在《eLife》雜志上。
抽象涵蓋了我們與環(huán)境交互的方方面面。想象一下，你在森林里散步時需要穿過一條小溪，這一看似簡單的行為卻需要處理無數(shù)的視覺和聽覺等特征。強化學(xué)習(xí)（RL）直接從高維感官輸入（看到、聽到河流）中輸出行為（過河），會遇到計算瓶頸，而抽象表示已被認(rèn)為是克服這一問題的有效解決方案。
抽象可以被認(rèn)為是從更高維空間雕刻出簡化的地圖，其中細節(jié)已被刪除，以便專注于更高階的概念、類別或模式。那么，大腦中的抽象表征是如何構(gòu)建的？
研究團隊邀請志愿者進行反復(fù)學(xué)習(xí)事物關(guān)聯(lián)規(guī)則的實驗，并用功能性磁共振成像（fMRI）技術(shù)記錄他們的大腦活動。接著，他們通過強化學(xué)習(xí)建模跟蹤志愿者的評估過程并根據(jù)抽象程度分離他們的學(xué)習(xí)策略。
學(xué)習(xí)過程中價值建構(gòu)的神經(jīng)基質(zhì)。（來源：論文）
論文合著者、京都 ATR 計算神經(jīng)科學(xué)實驗室主任 Mitsuo Kawato 博士具體解釋了神經(jīng)反饋操作：「通過機器學(xué)習(xí)和先進的神經(jīng)成像技術(shù)，我們現(xiàn)在可以實時檢測大腦中是否以及何時會出現(xiàn)低于意識閾值的心理表征。當(dāng)我們給參與者一個小的獎勵時，隨著時間的推移，這種心理表征與獎勵（價值）相匹配。通過這種方式，我們能夠『欺騙』大腦使用這些新的有價值的心理表征來構(gòu)建抽象思想?！?/p>
實驗表明，通過學(xué)習(xí)，高價值的抽象表征越來越多地引導(dǎo)志愿者的行為，從而產(chǎn)生更好的選擇和更高的主觀信心，其中「價值」是形成目標(biāo)依賴的抽象表示的關(guān)鍵因素。
通過簡單的決策問題研究高級的抽象功能
領(lǐng)導(dǎo)該團隊的京都國際高級電信研究所首席研究員 Aurelio Cortese 博士說：「這項研究在同類研究中非常獨特，因為它使用基本的視覺刺激和簡單的決策問題研究了抽象等高級復(fù)雜功能。」
該團隊給實驗參與者的問題是吃豆人更喜歡哪種水果，其中，吃豆人有三種特征：顏色、嘴巴方向和條紋方向。參與者會在選擇后看到結(jié)果，從不斷的試驗中學(xué)習(xí)特征和水果的隱藏關(guān)聯(lián)，并被告知關(guān)聯(lián)規(guī)則發(fā)現(xiàn)的越快，獎勵越高。
志愿者參與實驗的學(xué)習(xí)任務(wù)和行為結(jié)果。（來源：論文）
「然而，這種簡單性將我們直接帶到了潛在機制，幫助解決了一個長期存在的問題神經(jīng)科學(xué)文獻：為什么我們總是在大腦中看到價值信號？抽象可能是關(guān)鍵。我們需要不斷地以抽象的方式思考，不然我們的世界就太復(fù)雜了?！?/p>
研究人員基于經(jīng)典的 RL 算法 Q-learning 提出了特征強化學(xué)習(xí)（Feature RL）和抽象強化學(xué)習(xí)（Abstract RL）。經(jīng)過實驗對比發(fā)現(xiàn)，為了更快地學(xué)習(xí)，智能體必須使用抽象強化學(xué)習(xí)，其他的策略則會導(dǎo)致任務(wù)塊的完成速度變慢。
強化學(xué)習(xí)專家和價值計算的混合。（來源：論文）
價值信號和抽象思維的關(guān)系
該團隊還進行了第二個實驗，研究了價值在通過感覺皮層的定向效應(yīng)促進抽象的因果作用。通過直接分析來測試特征評估指導(dǎo)學(xué)習(xí)中的抽象的因果假設(shè)，以獎勵的形式人為地為特征表示增加價值導(dǎo)致抽象的使用增加。
通過神經(jīng)反饋在感官表征中人工注入價值促進抽象。（來源：論文）
雖然價值和抽象在減少任務(wù)空間的維度方面似乎緊密相關(guān)，但其潛在的機制是什么？
論文合著者、倫敦大學(xué)學(xué)院認(rèn)知神經(jīng)科學(xué)研究所教授 Benedetto De Martino 博士認(rèn)為：「價值傳統(tǒng)上與享樂相關(guān)，例如巧克力棒的價值。價值可能對智力的某些方面至關(guān)重要這一結(jié)論或許是激進的。價值本身很可能是一種抽象，并且與決策中的任務(wù)狀態(tài)概念緊密相關(guān)?！?/p>
但是，這項工作為價值在產(chǎn)生抽象思維中的作用提供了一個新的視角，即大腦中價值信號在復(fù)雜學(xué)習(xí)策略的發(fā)展中起著重要的算法作用?！高@項研究是我們廣泛努力的一部分，旨在了解人類思維的算法本質(zhì)，并最終將這些知識轉(zhuǎn)化為人工智能的新架構(gòu)，并為精神疾病帶來新的治療方法。」
