[[408373]]

本文主要討論的是機(jī)器學(xué)習(xí)（ML）和功能性磁共振成像（fMRI）的應(yīng)用問題。fMRI 主要用來檢測人在進(jìn)行各種腦神經(jīng)活動時（包括運(yùn)動、語言、記憶、認(rèn)知、情感、聽覺、視覺和觸覺等）腦部皮層的磁力共振訊號變化，配合在人腦皮層中樞功能區(qū)定位，就可研究人腦思維進(jìn)行的軌跡，揭示人腦奧秘。其基本原理是利用 MRI 來測量神經(jīng)元活動所引發(fā)之血液動力的改變。所以，利用 ML 連接 fMRI 圖像，以了解人腦正在觀察和思考的物件是理論上可行的。以本文討論的問題為例，神經(jīng)科學(xué)家現(xiàn)在可以通過像數(shù)據(jù)科學(xué)家一樣運(yùn)行計算模型來預(yù)測并準(zhǔn)確地將神經(jīng)功能與認(rèn)知行為聯(lián)系起來。不過，這些技術(shù)與人工智能模型有著相同的偏見（biases）和局限性（limitations），需要嚴(yán)格的科學(xué)方法加以應(yīng)用[1]。

雖然神經(jīng)科學(xué)家在 20 世紀(jì)初就注意到了大腦血流有明顯的變化，但是卻一直沒有找到合適的方法來測量這些變化。20 世紀(jì) 80 年代出現(xiàn)了一種有效的方法：正電子發(fā)射體層攝影(術(shù)) （position emissiom tomography，PET）。有了這種技術(shù)，研究人員能夠通過放射性追蹤和檢測光子（phonto）發(fā)射來觀察神經(jīng)元活動的變化。由于這些光子在神經(jīng)元消耗最多葡萄糖的地方降解得最多，因此它們可以顯示出神經(jīng)元的活動。然而，早期使用這種方法時面臨著一個問題：每個人的大腦都有不同的尺寸和結(jié)構(gòu)，差異和變化非常大。此外，PET 掃描的空間和時間圖像分辨率非常低。它們檢測的區(qū)域至少有一毫米寬，需要 10 秒鐘才能收集到足夠的數(shù)據(jù)來形成圖像。所以該技術(shù)的早期應(yīng)用范圍相當(dāng)有限。

磁共振成像（magnetic resonance imaging，MRI）可以在原子核振動的基礎(chǔ)上構(gòu)建更準(zhǔn)確的大腦圖像。由于 MRI 掃描儀以不同的速度向許多位置發(fā)送信號，它可以通過解碼不同的頻段來成像。不過在 MRI 成像時需要使用一種造影劑，這種造影劑可能對受試者的健康有危險。幸運(yùn)的是，在注意到核磁共振信號對大腦中血液循環(huán)的含氧量敏感后，許多研究小組在 90 年代提出了檢測大腦活動的功能性磁共振成像（fMRI）的概念。

神經(jīng)科學(xué)家的傳統(tǒng)方法是通過發(fā)現(xiàn)最活躍的信號區(qū)域來推斷統(tǒng)計學(xué)上的選擇性區(qū)域。現(xiàn)代研究目標(biāo)則是推斷出選擇性區(qū)域的共性活動模式。研究人員發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)并不會對一個物體有特別的反應(yīng)，但從統(tǒng)計學(xué)角度上分析，卻分布著對許多物體的不同比例的反應(yīng)。這是一種統(tǒng)計學(xué)上的相關(guān)關(guān)系。此外，現(xiàn)代神經(jīng)科學(xué)家的另一個研究目標(biāo)是通過訓(xùn)練一個計算模型，從更大的數(shù)據(jù)集中預(yù)測人類感知的物體。這種基于機(jī)器和統(tǒng)計學(xué)習(xí)的方法旨在根據(jù)神經(jīng)模型的交叉驗(yàn)證來預(yù)測人們的思維。

但是，盡管取得了一些成功，但是對這些基于統(tǒng)計學(xué)的科學(xué)推論我們?nèi)孕枰?jǐn)慎分析和討論。fMRI 分析測量了數(shù)十萬個稱為體素（voxel）的小方塊。為了從大腦的某個部分找到有意義的反應(yīng)，而不是由于隨機(jī)的變化，必須進(jìn)行統(tǒng)計測試。因此，需要衡量真假陽性的風(fēng)險，如研究人員在他們的一個實(shí)驗(yàn)中發(fā)現(xiàn)了一個重要的反應(yīng)，但當(dāng)這些實(shí)驗(yàn)被多次重復(fù)時，這一反應(yīng)信號在一般的數(shù)據(jù)中卻變得不明顯。因此，人們必須能夠?qū)?shí)驗(yàn)重復(fù)幾百次甚至幾千次，才能確定結(jié)果。使用 fMRI 統(tǒng)計的另一個問題是所謂的 "非獨(dú)立性（non independence）" 統(tǒng)計錯誤。研究人員傾向于選擇最適合他們研究的數(shù)據(jù)和結(jié)果。例如，在所有的統(tǒng)計測試中，他們可能會關(guān)注那些體素顯示出最強(qiáng)關(guān)聯(lián)性的實(shí)驗(yàn)，而這相對來說可以使他們的實(shí)驗(yàn)結(jié)果好得多。

我們在這篇文章中，圍繞上面的主題，以三篇最新的研究型論文為基礎(chǔ)，探討基于統(tǒng)計學(xué)中 ML 的 fMRI 分析方法。

1、通過深度學(xué)習(xí)對人腦的任務(wù)狀態(tài)進(jìn)行解碼和映射

本文是來自中科大和北大的研究人員 2020 年發(fā)表在 Human brain mapping 中的一篇文章[2]。本文重點(diǎn)討論基于支持向量機(jī)（SVM）的多變量模式分析（multivariate pattern analysis，MVPA）在基于人腦功能磁共振成像（fMRI）的特定任務(wù)狀態(tài)解碼中的應(yīng)用。本文作者提出了一個深度神經(jīng)網(wǎng)絡(luò)（DNN），用于從大腦的 fMRI 信號中直接解碼多個大腦任務(wù)狀態(tài)，無需人工進(jìn)行特征提取。

關(guān)于根據(jù)腦功能成像數(shù)據(jù)解碼和識別人腦的功能的問題，SVM-MVPA 是一種應(yīng)用最為廣泛的方法。SVM-MVPA 是一種監(jiān)督學(xué)習(xí)技術(shù)，可同時考慮多個變量的信息。不過，SVM-MVPA 在高維數(shù)據(jù)中的表現(xiàn)欠佳，往往依賴于專家選擇 / 提取特征的結(jié)果。因此，作者在本研究中探索了一種開放式的大腦解碼器，它使用的是人類的全腦神經(jīng)成像數(shù)據(jù)。相對應(yīng)的，具有非線性激活函數(shù)的 DNN 的分層結(jié)構(gòu)使其能夠?qū)W習(xí)比傳統(tǒng)機(jī)器學(xué)習(xí)方法更復(fù)雜的輸出函數(shù)，并且可以進(jìn)行端到端的訓(xùn)練。由此，本文提出了一個 DNN 分類器，通過讀取與任務(wù)相關(guān)的 4D fMRI 信號，有效解碼并映射個人正在進(jìn)行的大腦任務(wù)狀態(tài)。

1.1 方法介紹

1.1.1 數(shù)據(jù)介紹

本研究使用了 HCP S1200 最小預(yù)處理的 3T 數(shù)據(jù)版本，其中包含了大量年輕健康成年人的成像和行為數(shù)據(jù)[3]。作者使用了 1034 名 HCP 受試者的數(shù)據(jù)，他們共執(zhí)行了七項(xiàng)任務(wù)：情緒、賭博、語言、運(yùn)動、關(guān)系、社交和工作記憶（working memory，WM）。具體用于實(shí)驗(yàn)分析的是 HCP volume-based 的預(yù)處理 fMRI 數(shù)據(jù)，這些數(shù)據(jù)已經(jīng)被歸一到 Montreal Neurological Institute's(MNI) 152 空間。七項(xiàng)任務(wù)中的大部分是由控制條件（例如，WM 任務(wù)中的 0 - 回位和情感任務(wù)中的形狀刺激）和任務(wù)條件（例如，WM 任務(wù)中的 2 - 回位和情感任務(wù)中的恐懼刺激）組成的。在每個任務(wù)中，只有一個條件被選為下一個步驟。對于只有兩個條件的任務(wù)（情感、語言、賭博、社交和關(guān)系任務(wù)），與任務(wù)關(guān)聯(lián)度大的條件優(yōu)先于其他條件。WM 和運(yùn)動任務(wù)包含一個以上的任務(wù)條件，作者則是從列表中隨機(jī)選擇一個（WM 的 2 個背部身體和運(yùn)動的右手）（表 1）。

對于每個任務(wù)，輸入樣本是一個連續(xù)的 BOLD（Blood-oxygen-level-dependent imaging）序列，涵蓋了整個區(qū)塊和區(qū)塊后的 8s 內(nèi)的樣本，包括血流動力學(xué)反應(yīng)函數(shù)（hemodynamic response function，HRF）的后信號。此外，將每個 BOLD volume 從 91×109×91 剪裁到 75×93×81，以排除掉不屬于大腦的區(qū)域。因此，輸入數(shù)據(jù)的大小從 27×75×93×81 到 50×75×93×81（time × x × y × z，TR=0.72s）。在所有的任務(wù)和受試者中，總共獲得了 34,938 個 fMRI 4D 數(shù)據(jù)項(xiàng)。

1.1.2 模型介紹

圖 1 為本文提出的網(wǎng)絡(luò)模型的完整流程圖。該網(wǎng)絡(luò)由五個卷積層和兩個全連接層組成。其中，27×75×93×81 的數(shù)據(jù)是通過節(jié) 1.1.1 的預(yù)處理和數(shù)據(jù)增強(qiáng)步驟產(chǎn)生的。第一層使用了 1×1×1 的卷積濾波器，即卷積神經(jīng)網(wǎng)絡(luò)（CNN）的結(jié)構(gòu)中最普遍的設(shè)定，這些濾波器可以在不改變卷積層的感受野的情況下增加非線性。這些濾波器可以為 fMRI volume 中的每個體素生成時間描述符，而且它們的權(quán)重可以在訓(xùn)練中由 DNN 學(xué)習(xí)得到。因此，采用這種類型的過濾器后，數(shù)據(jù)的時間維度從 27 降到了 3。在這之后，堆疊一個卷積層和四個殘差塊以提取高層次（high-level）特征。本文使用的殘差塊是通過用一個三維卷積層替換原始?xì)埐顗K中的二維卷積層而得到的。四個殘差塊的輸出通道分別為 2 的倍數(shù) -----32、64、64 和 128。這些層的設(shè)計方式是：它們的尺寸可以迅速減少以平衡 GPU 內(nèi)存的消耗。為了便于網(wǎng)絡(luò)可視化分析，作者在最后一個卷積層中使用了全卷積，而不是常見的 CNN 中的池化操作。在卷積層堆疊之后，使用了兩個全連接層；第一個有 64 個通道，第二個進(jìn)行七路分類（每類一個）。在本文模型中，每個卷積層之后都引入了 ReLU 函數(shù)和 BN 層，而在最后一個全連接層中采用了 softmax 函數(shù)。

該網(wǎng)絡(luò)由五個卷積層和兩個全連接層組成。該模型將 fMRI 掃描作為輸入，并提供標(biāo)記的任務(wù)類別作為輸出

對人腦進(jìn)行特定任務(wù)解碼面臨的一個最大問題是可用數(shù)據(jù)有限。在其他類似的應(yīng)用中，可以采用數(shù)據(jù)增強(qiáng)的方式以基于有限的數(shù)據(jù)生成更多的數(shù)據(jù)樣本。數(shù)據(jù)增強(qiáng)的主要目的是增加數(shù)據(jù)的變化，這可以防止過度擬合并提高神經(jīng)網(wǎng)絡(luò)的不變性。與傳統(tǒng)圖像相反，本實(shí)驗(yàn)中的輸入圖像已經(jīng)與標(biāo)準(zhǔn)的 MNI152 模板對齊。因此，在空間域進(jìn)行數(shù)據(jù)增強(qiáng)是多余的?？紤]到輸入數(shù)據(jù)的不同持續(xù)時間，作者在時間域中應(yīng)用了數(shù)據(jù)增強(qiáng)，以提高神經(jīng)網(wǎng)絡(luò)在這種情況下的泛化能力。在訓(xùn)練階段的每個 epoch 中，從每個輸入數(shù)據(jù)項(xiàng)中隨機(jī)分割出 k 個連續(xù)的 TR 片段（實(shí)驗(yàn)中 k=27）（圖 2a）。為了避免報告的準(zhǔn)確性出現(xiàn)波動，在驗(yàn)證和測試階段只使用由每個數(shù)據(jù)的前 k 個 TR 組成的片段。

(a) 模型自動學(xué)習(xí)標(biāo)記的 fMRI 時間序列的特征，并在驗(yàn)證的損失達(dá)到最小時停止訓(xùn)練。因此，模型訓(xùn)練時不需要手工提取特征。遷移學(xué)習(xí)的工作流程類似，只是使用訓(xùn)練后的模型取代未訓(xùn)練的模型。每個數(shù)據(jù)項(xiàng)的分類被反向傳播到網(wǎng)絡(luò)層，以獲得對分類重要的部分的可視化。可視化的數(shù)據(jù)具有與輸入數(shù)據(jù)相同的大小，然后在時間維度上縮小，并映射到 fsaverage 表面

1.1.3 遷移學(xué)習(xí)

與傳統(tǒng)方法相比，深度學(xué)習(xí)方法，特別是 CNN 的一個重要優(yōu)勢是其可重復(fù)使用性，這意味著訓(xùn)練好的 CNN 可以直接在類似的任務(wù)中重復(fù)使用。作者對訓(xùn)練好的 CNN 使用了遷移學(xué)習(xí)策略來驗(yàn)證所提出的模型的適用性。遷移訓(xùn)練的工作流程與初始訓(xùn)練的工作流程基本相似（圖 2a），只是它從一個前四層已經(jīng)訓(xùn)練好的模型開始，而輸出層是未訓(xùn)練的。作者采用了 HCP 的 TEST-RETEST 任務(wù) - fMRI 組的 TEST 數(shù)據(jù)集（N = 43）訓(xùn)練深度模型來分類兩個 WM 任務(wù)子狀態(tài) ----0bk body 和 2bk-body。作者采用了按主題劃分的五重交叉驗(yàn)證，其中 60% 的數(shù)據(jù)（25 個主題的 100 個樣本）用于訓(xùn)練，20%（9 個主題的 36 個樣本）用于驗(yàn)證，20%（9 個主題的 36 個樣本）用于測試（總共 172 個樣本的規(guī)模與常用的 fMRI 研究數(shù)據(jù)集相當(dāng)）。為了進(jìn)一步驗(yàn)證，作者訓(xùn)練深度模型來分類四個運(yùn)動任務(wù)子狀態(tài)—左腳、左手、右腳和舌頭運(yùn)動。使用五重交叉驗(yàn)證，其中 60%（25 名受試者的 400 個樣本）用于訓(xùn)練，20%（9 名受試者的 144 個樣本）用于驗(yàn)證，20%（9 名受試者的 144 個樣本）用于測試（共 688 個樣本）。輸入樣本是一個連續(xù)的 BOLD 序列，涵蓋了整個區(qū)塊和區(qū)塊后的 8 秒，包括 HRF 的后信號。

為了評估使用小樣本量的 fMRI 研究的 DNN 的適用性，作者對來自 HCP TEST 掃描的 43 個對象的數(shù)據(jù)進(jìn)行了深度分類器的訓(xùn)練。N = 1, 2, 4, 8, 17, 25, 34。為了避免準(zhǔn)確性的差異，所有的測試都應(yīng)用于 HCP TEST-RETEST 數(shù)據(jù)集中全部 43 名受試者的 RETEST 數(shù)據(jù)。深度學(xué)習(xí)在 120 個 epochs 后停止。此外，作者使用傳統(tǒng)的搜索光和全腦 SVM-MVPA 方法進(jìn)行實(shí)驗(yàn)比較。

1.1.4 性能評估

為了評估該模型在不同分類任務(wù)中的表現(xiàn)，作者首先定義了一組參數(shù)。每個任務(wù)條件的 F1 分?jǐn)?shù)被計算為 TP、FP 和 FN 的函數(shù)：F1=（2×TP）/（2×TP + FP + FN）。其中，TP 是真陽性，F(xiàn)P 是假陽性，F(xiàn)N 是每個標(biāo)簽的假陰性。作者還通過一比一的方法計算每個標(biāo)簽的 ROC 曲線，參數(shù)靈敏度和特異性表示為：靈敏度 sensitivity=TP/（TP+FN），特異性 specificity=TN/(TN+FP)，其中 TN 是真陰性，等于其余標(biāo)簽的 TP 之和。準(zhǔn)確率被定義為正確預(yù)測與分類總數(shù)的比率：準(zhǔn)確率 accuracy=（TP + TN）/（TP + FP + TN + FN）。

1.1.5 網(wǎng)絡(luò)可視化分析

本文使用引導(dǎo)反向傳播（Guided back-propagation [4]） ，一種廣泛使用的深度網(wǎng)絡(luò)可視化方法，生成每個分類的模式圖和輸入 fMRI 4D 時間序列的任務(wù)加權(quán)表示。在標(biāo)準(zhǔn)的反向傳播過程中，如果一個 ReLU 單元的輸入是正的，那么該單元的偏導(dǎo)就向后復(fù)制，否則就設(shè)置為零。在引導(dǎo)式反向傳播中，如果一個 ReLU 單元的輸入和部分導(dǎo)數(shù)都是正數(shù)，則該單元的部分導(dǎo)數(shù)被向后復(fù)制。因此，引導(dǎo)式反向傳播保持了對類別得分有積極影響的路徑，并輸出 CNN 檢測到的數(shù)據(jù)特征，而不是那些它沒有檢測到的特征。如圖 2b 所示，在向訓(xùn)練好的網(wǎng)絡(luò)輸入數(shù)據(jù)后，相對于輸入數(shù)據(jù)產(chǎn)生了 27×75×93×81 的預(yù)測梯度。然后，每個體素的時域絕對最大值的符號值被抽出并建立在三維任務(wù)模式圖中，然后被歸一化為其最大值。最后，將 pattern map 映射到 fsaverage 表面。此外，測試組的歸一化 pattern map 的 Cohen's d 效應(yīng)被計算為每個任務(wù)的 pattern map 的平均值除以其 SD。

本文的可視化對比分析是在 AFNI[5]、Freesurfer[6]、HCP Connectome Workbench和 MATLAB（MathWorks, Natick, MA）中進(jìn)行。為了比較傳統(tǒng)的 GLM 圖和模式圖(pattern map)，作者還從 HCP 任務(wù)的 fMRI 分析包中獲取了參數(shù)估計對比度（COPE）的 Cohen 效應(yīng)。

1.2 實(shí)驗(yàn)結(jié)果分析

首先，作者完成了針對深度模型在一般分類任務(wù)中的實(shí)驗(yàn)。作者在實(shí)驗(yàn)中使用 NVIDIA GTX 1080Ti 板進(jìn)行了約 30 個 epoch 的訓(xùn)練，所需時間大約 72 小時。本文所提出的模型成功地區(qū)分了七個任務(wù)，準(zhǔn)確率為 93.7±1.9%（mean±SD）。根據(jù) F1 得分，本文使用的模型 / 分類器在七個任務(wù)中的表現(xiàn)不同：情緒（94.0±1.6%）、賭博（83.7±4.6%）、語言（97.6±1.1%）、運(yùn)動（97.3±1.6%）、關(guān)系（89.8±3.2%）、社交（96.4±1.0%）和 WM（91.9±2.3%，平均值 ±SD）。平均混淆矩陣（The average confusion matrix）顯示，前兩個混淆分別是由賭博與關(guān)系、WM 與關(guān)系引起的（圖 3a）。圖 3b 顯示了 ROC 曲線，根據(jù)該曲線，運(yùn)動、語言和社交任務(wù)具有最大的曲線下面積（area under the curve，AUC），而賭博具有最小的面積。在驗(yàn)證關(guān)鍵超參數(shù)的選擇，即 1×1×1 核通道的數(shù)量（NCh1）時，模型記錄的準(zhǔn)確值分別為 93.2%、91.5% 和 92.7%，NCh1=3、9 和 27（圖 3c）。在 NCh1=1 的情況下，該模型無法在 30 個 epoch 內(nèi)收斂。

然后，為了確定對每個分類貢獻(xiàn)最大的體素（Voxel，指一段時間內(nèi)多次測量大腦某塊區(qū)域），作者使用引導(dǎo)式反向傳播法生成了模式圖，以可視化模型學(xué)習(xí)到的模式。圖 4 給出了對任務(wù) COPE 的 GLM 分析的 Cohen's d 效應(yīng)大小的分組統(tǒng)計圖（圖 4a-g），以及 DNN 模式圖的 Cohen's d（圖 4h-n）。如圖所示，DNN 模式圖上的 Cohen's d 與 GLM COPEs 上的情感、語言、運(yùn)動、社交和 WM 任務(wù)相似。例如，在語言條件下，GLMCOPEs（圖 4c）和 DNN 模式圖（圖 4j）中的 bilateral Brodmann 22 區(qū)出現(xiàn)了較大的效應(yīng)大小異常。同樣，在運(yùn)動任務(wù)的右手運(yùn)動條件下，兩個圖（圖 4d,k）顯示在 Brodmann 4 和 bilateral Brodmann 18 區(qū)有類似的效應(yīng)。

最后，關(guān)于遷移學(xué)習(xí)的問題，經(jīng)過五次交叉驗(yàn)證，本文提出的 DNN 在測試中達(dá)到了 89.0±2.0% 的平均準(zhǔn)確率（圖 5a），平均 AUC 為 0.931±0.032（圖 5b）。如圖 5c 所示，通過雙樣本 t 檢驗(yàn)，DNN 的準(zhǔn)確性明顯高于 SVM-MVPA 全腦（t[8]=9.14，p=.000017；平均 ±SD=55.6±7.9%）和 SVM-MVPA ROI（t[8]=7.59，p=.000064；平均 ±SD=69.2±5.4%）。

經(jīng)過五次交叉驗(yàn)證，本文提出的 DNN 的平均準(zhǔn)確率為 94.7±1.7%（圖 6a），平均 AUC 為 ROC 0.996±0.005（圖 6b）。平均混淆矩陣顯示，最主要的混淆是由左腳與右腳造成的（圖 6a）。圖 6c 顯示，通過雙樣本 t 檢驗(yàn)，DNN 的準(zhǔn)確性（94.7±1.7%）明顯高于 SVM-MVPA 全腦（t[8]=3.59，p=.0071；平均 ±SD=81.6±7.1%）和 SVM-MVPA ROI（t[8]=8.77，p=.000022；平均 ±SD=68.6±5.7%）。然后，作者驗(yàn)證了學(xué)習(xí)所需的數(shù)據(jù)量。所有三種方法在所有 N_Subj 中都報告了高于經(jīng)典方法的準(zhǔn)確性。N_Subj=8 足以使 DNN（80.3%）在準(zhǔn)確性方面超過普通的 SVM-MVPA 全腦方法（41.7%）和 SVM-MVPA ROI（56.3%）（圖 6d）。

小結(jié)：本文提出的方法能夠直接從 4D fMRI 時間序列中對人正在進(jìn)行的大腦功能進(jìn)行分類和映射。本文方法允許從簡短的 fMRI 掃描中解碼受試者的任務(wù)狀態(tài)，無需進(jìn)行特征選擇。這種靈活高效的大腦解碼方法可以應(yīng)用于神經(jīng)科學(xué)的大規(guī)模數(shù)據(jù)和精細(xì)的小規(guī)模數(shù)據(jù)。此外，它的便利性、準(zhǔn)確性和通用性的特點(diǎn)使得該深度框架可以很容易地應(yīng)用于新的人群以及廣泛的神經(jīng)影像學(xué)研究，包括內(nèi)部精神狀態(tài)分類、精神疾病診斷和實(shí)時 fMRI 神經(jīng)反饋等等。

2、使用深度生成神經(jīng)網(wǎng)絡(luò)從 fMRI 模式重建人臉

本文是發(fā)表在 Communications Biology 中的一篇文章[7]。由上一篇文章的介紹可以知道，目前，已經(jīng)可以從功能磁共振成像的大腦反應(yīng)中解碼識別不同的類別。但是，針對視覺上相似的輸入（例如不同的人臉）的分類和識別仍然是非常困難的。本文具體探討的是應(yīng)用深度學(xué)習(xí)系統(tǒng)從人類的功能磁共振成像重建人臉圖像。作者基于一個大型名人臉部數(shù)據(jù)庫使用一個生成對抗網(wǎng)絡(luò)（GAN）的無監(jiān)督過程訓(xùn)練了一個變分自動編碼器（VAE）神經(jīng)網(wǎng)絡(luò)。自動編碼器的潛在空間為每幅圖像提供了一個有意義的、拓?fù)鋵W(xué)上有組織的 1024 維描述。然后，向人類受試者展示了幾千張人臉圖像，并學(xué)習(xí)了多體素 fMRI 激活模式和 1024 個潛在維度之間的簡單線性映射。最后，將這一映射應(yīng)用于新的測試圖像，將 fMRI 模式轉(zhuǎn)化為 VAE 潛在編碼，并將編碼重建為人臉。

2.1 模型介紹

本文所使用的 VAE-GAN 模型如圖 7（a）所示，其中的三個網(wǎng)絡(luò)學(xué)習(xí)完成互補(bǔ)的任務(wù)。具體包括：編碼器網(wǎng)絡(luò)將人臉圖像映射到一個潛在的表征（1024 維）上，顯示為紅色。生成器網(wǎng)絡(luò)將其轉(zhuǎn)換為一個新的人臉圖像。鑒別器網(wǎng)絡(luò)（只在訓(xùn)練階段使用）為每張給定的圖像輸出一個二進(jìn)制的判斷，可以是來自原始數(shù)據(jù)集，也可以是來自生成器輸出，即：該圖像是真的還是假的？訓(xùn)練的過程具有 "對抗性"，因?yàn)榕袆e器和生成器的目標(biāo)函數(shù)相反，并交替更新：如果鑒別器能夠可靠地確定哪些圖像來自生成器（假的），而不是來自數(shù)據(jù)庫（真的），就會得到獎勵。如果生成器能夠產(chǎn)生鑒別器網(wǎng)絡(luò)不會正確分類的圖像，就會得到獎勵。訓(xùn)練結(jié)束后，丟棄鑒別器網(wǎng)絡(luò)，編碼器 / 生成器網(wǎng)絡(luò)被用作標(biāo)準(zhǔn)（變分）自動編碼器。

網(wǎng)絡(luò)中的 "人臉潛在空間" 提供了對大量人臉特征的描述，可以近似于人腦中的臉部表現(xiàn)。在這個潛在空間中，人臉和人臉特征（例如，男性）可以被表示為彼此的線性組合，不同的概念（例如，男性，微笑）可以用簡單的線性操作來處理（圖 7b）。作者分析，這種深度生成神經(jīng)網(wǎng)絡(luò)潛在空間的多功能性表明它可能與人腦的人臉表征有同源性，這也使得它成為基于 fMRI 的人臉解碼的理想候選方法。由此，作者推斷，在對大腦活動進(jìn)行解碼時，學(xué)習(xí) fMRI 模式空間和這種潛在空間之間的映射，而不是直接學(xué)習(xí)圖像像素空間（或這些像素的線性組合，例如 PCA 等的處理方法），可能是非常有用的。此外，作者推測 ，VAE-GAN 模型能夠捕捉人臉表征的大部分復(fù)雜性，使 "人臉流形" 變得平坦，就像人類大腦可能做的那樣。因此，作者認(rèn)為，采用簡單的線性大腦解碼方法就足夠了。

作者首先使用無監(jiān)督 GAN 在 202,599 張名人人臉標(biāo)記數(shù)據(jù)庫上訓(xùn)練了一個 VAE 深度網(wǎng)絡(luò)（13 層）(CelebA[8])，共執(zhí)行 15 個 epoch。使用編碼器處理向人類受試者展示的人臉圖像以生成 1024 維的潛在編碼，這些編碼作為設(shè)計矩陣后續(xù)會用于 fMRI GLM（一般線性模型）分析。作者使用 SPM12 處理 fMRI 數(shù)據(jù)（https://www.fil.ion.ucl.ac (https://www.fil.ion.ucl.ac/).uk/spm/software/spm12/）。接下來，作者對每份數(shù)據(jù)分別進(jìn)行了切片時間校正和重新對齊。然后將每個時段的數(shù)據(jù)與第二個 MRI 時段的 T1 掃描數(shù)據(jù)進(jìn)行聯(lián)合登記。不過，作者并未對這些數(shù)據(jù)進(jìn)行歸一化或平滑化處理。具體的，作者將每個實(shí)驗(yàn)的開始和持續(xù)時間（固定、訓(xùn)練臉、測試臉、單人背影或意象）輸入一般線性模型（general linear model，GLM）中作為回歸因子；將用于訓(xùn)練臉部的 1024 - 維潛在向量（來自 VAE-GAN 或 PCA 模型）作為參數(shù)化的回歸器來建模，并將運(yùn)動參數(shù)作為滋擾回歸器（nuisance regressors）輸入用于消除滋擾信號。此外，在估計 GLM 參數(shù)之前，令整個設(shè)計矩陣與 SPM 的血流動力學(xué)反應(yīng)函數(shù)（hemodynamic response function，HRF）進(jìn)行卷積處理。

作者訓(xùn)練了一個簡單的大腦 fMRI 的編碼器（線性回歸），將人臉圖像的 1024 維潛在表征（通過 "編碼器" 運(yùn)行圖像，或使用 PCA 變換獲得）與相應(yīng)的大腦反應(yīng)模式聯(lián)系起來，并將人類受試者在掃描儀中觀看相同的人臉時記錄下來。圖 8（a）給出了這一過程的完整描述。每個受試者平均看到超過 8000 張人臉（每個人都有一個演示），使用 VAE-GAN 潛在維度（或圖像在前 1024 個主成分上的投影）作為 BOLD 信號的 1024 個參數(shù)化回歸因子。這些參數(shù)化的回歸因子可以是正的，也可以是負(fù)的（因?yàn)楦鶕?jù) VAE 的訓(xùn)練目標(biāo)，VAE-GAN 的潛在變量是近似正態(tài)分布的）。將一個額外的分類回歸因子（"面部與固定" 對比）作為一個恒定的 "偏差" 項(xiàng)添加到模型中。作者驗(yàn)證了設(shè)計矩陣是 "full-rank" 的，也就是說，所有的回歸因子都是線性獨(dú)立的。作者分析，這一屬性是因?yàn)?VAE-GAN（和 PCA）的潛在變量往往是不相關(guān)的。因此，由 SPM GLM 分析進(jìn)行的線性回歸產(chǎn)生了一個優(yōu)化的權(quán)重矩陣 W，以預(yù)測大腦對訓(xùn)練人臉刺激的反應(yīng)模式。

假設(shè)在 1025 維的人臉潛在向量 X（包括了一個偏置項(xiàng)）和相應(yīng)的大腦激活向量 Y 之間存在一個線性映射 W：

訓(xùn)練大腦解碼器通過以下方式找到最佳映射 W：

為了在 "測試階段" 使用這個大腦解碼器，作者簡單地反轉(zhuǎn)了線性系統(tǒng)，如圖 8b 所示。作者向同一受試者展示了 20 張新的測試人臉，這些人臉在訓(xùn)練階段并沒有向受試者展示過。每個測試人臉平均呈現(xiàn) 52.8 次以增加信噪比。所得的大腦活動模式簡單地與轉(zhuǎn)置的權(quán)重矩陣 W^T 及其反協(xié)方差矩陣相乘，以產(chǎn)生 1024 個潛在人臉維度估計值。然后，使用 GAN（如圖 7a 所示）將預(yù)測的潛在向量轉(zhuǎn)化為重建的人臉圖像。對于基線 PCA 模型，方法的流程是相同的，但人臉的重建是通過解碼的 1024 維向量的 inverse PCA 獲得的。測試大腦解碼器包括使用學(xué)到的權(quán)重 W 為每個新的大腦激活模式 Y 檢索潛在的向量 X，利用下式求解 X：

作者已經(jīng)將本文使用的預(yù)訓(xùn)練的 VAE-GAN 網(wǎng)絡(luò)以及 Python 和 TensorFlow 源代碼公布在了 GitHub 上：https://github.com/rufinv/VAE-GAN-celebA.

2.2 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)中，通過 Amazon Mechanical Turk (AMT)獲得用于比較 VAE-GAN 和 PCA 人臉重建的圖像質(zhì)量的人類評價結(jié)果。四個受試者的 20 張測試圖像中的每一張都標(biāo)記為 "原始 ”，然后是 VAE-GAN 和基于 PCA 的重建圖像，在" 選項(xiàng) A "和" 選項(xiàng) B "的字樣下顯示。實(shí)驗(yàn)中，向受試者發(fā)布的指示為：" 在兩個修改過的人臉中，哪一個最像原來的人臉？選擇 A 或 B"。每對圖像總共被比較了 15 次，由至少 10 個不同的 AMT" 工作者 " 進(jìn)行，每個反應(yīng)分配（VAE-GAN/PCA 為選項(xiàng) A/B）由至少 5 個工作者查看。因此，該實(shí)驗(yàn)在兩個人臉重建模型之間總共進(jìn)行了 1200 次（=4×20×15）比較。

作者首先對比了 VAE-GAN 和 PCA，將灰質(zhì)體素的一個子集定義為 "興趣區(qū)域" (ROI)。事實(shí)上，大腦的許多部分都在進(jìn)行與人臉處理或識別無關(guān)的計算。作者的 ROI 只選擇生理上的可能應(yīng)激大腦區(qū)域，選擇標(biāo)準(zhǔn)考慮了兩個因素。(i) 預(yù)計體素會對人臉刺激作出反應(yīng)（通過臉部和基線條件之間的 t 檢驗(yàn)來確定，即固定在空屏幕上），(ii)將 1024 個潛在人臉特征作為回歸因子輸入線性模型時，體素的 BOLD 反應(yīng)的解釋方差有望改進(jìn)（與只有二元人臉回歸因子的基線模型相比：存在 / 不存在人臉）。所選的體素如圖 9 描述，包括 枕部、顳部、頂部和額部區(qū)域。作者對 PCA 人臉參數(shù)進(jìn)行了單獨(dú)的選擇， 并將這些參數(shù)用于基于 PCA 的 "大腦解碼器"（所選體素的平均數(shù)量：106,685；范圍：74,073-164,524）；兩個模型所選區(qū)域幾乎相同。

在大腦解碼器訓(xùn)練階段，體素的選擇是基于其視覺反應(yīng)性和 GLM 擬合度的綜合考慮（圖 8a）。顏色代碼（紅色到黃色）表示每個特定體素被選中的受試者的數(shù)量（1-4）。彩色的線表示標(biāo)準(zhǔn)皮質(zhì)區(qū)域的邊界

圖 10（a）給出了人臉重建圖像的示例。雖然 VAE-GAN 和 PCA 都能重建出與原始人臉相似的圖像，但是由 VAE-GAN 重建的圖像更真實(shí)，更接近原始圖像。作者通過將 20 張測試人臉的大腦估計潛在向量與 20 張實(shí)際人臉的潛在向量相關(guān)聯(lián)來量化大腦解碼系統(tǒng)的性能，并使用成對相關(guān)值來測量正確分類的百分比。具體結(jié)果見圖 10（b）。實(shí)驗(yàn)結(jié)果表明，從人腦激活到 VAE–GAN 潛在空間的線性映射比到 PCA 空間的映射更容易、更有效。作者認(rèn)為，這與其 “深度生成神經(jīng)網(wǎng)絡(luò)更接近于人臉表征的空間” 的假設(shè)相吻合。此外，作者還進(jìn)行了模型間的完全識別結(jié)果比較，即利用重建圖像的感知質(zhì)量作為指標(biāo)衡量重建的人臉?biāo)?。?shí)驗(yàn)要求人類觀察者比較兩種模型重建的人臉質(zhì)量：四個受試者的原始測試圖像與相應(yīng)的 VAE-GAN 和 PCA 重建圖像一起顯示，受試者判斷哪一個重建圖像從感知角度判斷更像原始圖像。具體結(jié)果見圖 10（c）。76.1% 的實(shí)驗(yàn)中受試者選擇了 VAE-GAN 重建的圖像，而 23.9% 的實(shí)驗(yàn)中受試者選擇了 PCA 重建的圖像。

進(jìn)一步的，為了確定哪一個大腦區(qū)域?qū)蓚€大腦解碼模型的人臉重建能力貢獻(xiàn)最大，作者將每個受試者的體素選擇劃分為三個大小相等的子集，如圖 11a 所示。然后分別對這三個子集進(jìn)行腦解碼和面部重建。兩兩識別結(jié)果顯示，枕骨體素和較小程度的顳體素提供了大腦解碼所需的大部分信息（圖 11b）。

（a）體素分割過程；（b）不同區(qū)域的兩兩識別結(jié)果，F(xiàn)ull select 指的是圖 9 中描述的體素集；它與圖 10b 中的數(shù)據(jù)相同。圓圈代表個別受試者的表現(xiàn)。虛線是單個受試者表現(xiàn)的 p<0.05 的顯著性閾值。在三個子集中，枕部體素的表現(xiàn)是最優(yōu)的，其次是顳部體素。在所有情況下， VAE-GAN 模型的性能仍然高于 PCA 模型。

最后，作者通過創(chuàng)建一個簡單的分類器以根據(jù)人臉屬性為大腦解碼的潛在向量貼標(biāo)簽的方式，研究人腦對于特定人臉屬性的表征。具體的關(guān)于人臉 “性別” 屬性的實(shí)驗(yàn)結(jié)果見圖 12。將每個大腦解碼的潛在向量投射到潛在空間的 "性別" 軸上（圖 12a），投射的符號決定了分類輸出（正數(shù)代表“男性”，負(fù)數(shù)代表“女性 ”）。由圖 12b 的結(jié)果可以看出，這個單一衡量標(biāo)準(zhǔn)的分類器提供了足夠的信息來對人臉性別進(jìn)行分類，準(zhǔn)確率達(dá)到了 70%。非參數(shù) Friedman 檢驗(yàn)表明，性別解碼性能在三個體素子集中是不同的，而 post hoc 檢驗(yàn)則顯示枕葉體素的表現(xiàn)明顯好于額頂葉體素，而顳葉體素介于兩者之間。

3、AI 解碼大腦神經(jīng)反饋動力學(xué) - 用于解碼神經(jīng)反饋實(shí)驗(yàn)的數(shù)據(jù)

本文是來自日本 ATR 國際學(xué)院計算神經(jīng)科學(xué)實(shí)驗(yàn)室的研究人員發(fā)表在《Scientific Data》2021 上的一篇文章[9]，主要為利用 AI 解碼大腦神經(jīng)反饋以讀取和識別大腦中特定信息的方法提供實(shí)驗(yàn)所需的數(shù)據(jù)。解碼神經(jīng)反饋（Decoded neurofeedback，DecNef）是一種閉環(huán) fMRI 神經(jīng)反饋與機(jī)器學(xué)習(xí)方法相結(jié)合的形式，意思是分析 fMRI 的狀態(tài)改變外圍不同設(shè)備（比如被測者面前的顯示器）的刺激。這是對操縱大腦動力學(xué)表現(xiàn)或表征這一長期目標(biāo)的更細(xì)化的呈現(xiàn)。本文針對 DecNef 實(shí)驗(yàn)，提供了可應(yīng)用的數(shù)據(jù)來源。作者發(fā)布了一個大型的、可公開訪問的神經(jīng)影像學(xué)數(shù)據(jù)庫，其中包括 60 多個接受 DecNef 訓(xùn)練的人。這個數(shù)據(jù)庫由大腦的結(jié)構(gòu)和功能圖像、機(jī)器學(xué)習(xí)解碼器和額外的處理數(shù)據(jù)組成。作者在文中描述了編譯數(shù)據(jù)庫時采用的協(xié)議，包括源數(shù)據(jù)中常見的和不同的掃描參數(shù)、元數(shù)據(jù)、結(jié)構(gòu)，以及匿名化、清理、排列和分析等處理方式。

3.1 DecNef 背景分析

在單變量（univariate）方法中，人們具體測量一個感興趣區(qū)域（ROI）的整體活動水平。與此不同，多體素模式分析（multivoxel pattern analysis，MVPA）則是學(xué)會對分布在活動模式中的信息進(jìn)行解碼。DecNef 利用了 MVPA 而不是使用單變量方法，因此它具有很高的目標(biāo)特異性。此外，盡管受試者清楚解碼神經(jīng)反饋實(shí)驗(yàn)的存在，但他們并不知道具體的內(nèi)容和目的，從而有助于減少由于認(rèn)知過程或?qū)Ρ徊倏v維度的了解而產(chǎn)生的混淆。此外，解碼神經(jīng)反饋實(shí)驗(yàn)甚至可以通過一種稱為 "超邊界（hyperalignmen）" 的方法，根據(jù)受試者間接推斷出目標(biāo)神經(jīng)表征。通過這樣的功能排列方法，將不同受試者的神經(jīng)活動模式通過一組線性變換構(gòu)建了一個共同的、高維的空間。這些轉(zhuǎn)換是有效的參數(shù)，可以用來將任何新的數(shù)據(jù)模式帶入 / 帶出個人的大腦坐標(biāo)系統(tǒng)和模型空間坐標(biāo)。上述特點(diǎn)使得 DecNef 成為了開發(fā)新的臨床應(yīng)用的一種有效工具，特別是在神經(jīng)精神疾病方面。除了面向臨床的研究外，DecNef 還可以作為系統(tǒng)和認(rèn)知神經(jīng)科學(xué)的一個重要范式來研究大腦的基本功能。

不同的 DecNef 實(shí)驗(yàn)探究的是不同的認(rèn)知過程或心理表征，但所有研究都采用了相同的基本設(shè)計邏輯（如圖 13a）。(1)最初的環(huán)節(jié)是獲取 fMRI 數(shù)據(jù)，用于訓(xùn)練機(jī)器學(xué)習(xí)算法—MVPA 或解碼器構(gòu)建環(huán)節(jié)。（2）隨后的神經(jīng)反饋階段，持續(xù) 2 到 5 天不等。在解碼器構(gòu)建環(huán)節(jié)，受試者完成了簡單的動作，包括視覺（研究 2、3）、偏好（研究 1）、知覺（研究 4）或記憶任務(wù)（研究 5），在神經(jīng)反饋環(huán)節(jié)，所有程序幾乎都是相同的（圖 13b）。在神經(jīng)反饋訓(xùn)練中，要求受試者調(diào)節(jié)或操縱他們的大腦活動，以最大限度地擴(kuò)大反饋盤（feedback disc）的大小。

(a) 每項(xiàng)研究都包括一段 fMRI，用于獲得構(gòu)建 "解碼器" 所需的數(shù)據(jù)，這是一個機(jī)器學(xué)習(xí)的大腦活動模式分類器。(b) 所有的研究都有相同的基本實(shí)驗(yàn)設(shè)計

到目前為止，全世界只有少數(shù)研究小組有機(jī)會完成這種技術(shù)上具有挑戰(zhàn)性的實(shí)驗(yàn)。作者介紹，他們已經(jīng)發(fā)表了關(guān)于如何運(yùn)行解碼神經(jīng)反饋實(shí)驗(yàn)這部分工作的介紹[10]。不過，關(guān)于 DecNef（以及一般的神經(jīng)反饋）的一個關(guān)鍵問題仍未解決：潛在神經(jīng)機(jī)制究竟是什么？一些近期的研究工作已經(jīng)開始聚焦于這個問題，并應(yīng)用了元分析、計算模型、神經(jīng)網(wǎng)絡(luò)等工具。表 2 總結(jié)了已有的部分研究，包括相關(guān)出版物、神經(jīng)反饋過程訓(xùn)練目標(biāo)等內(nèi)容。

3.2 數(shù)據(jù)分析

關(guān)于本文提供的源數(shù)據(jù)，表 3 給出所有研究中使用的掃描參數(shù)的技術(shù)細(xì)節(jié)，以及不同研究之間的差異。

可通過機(jī)構(gòu)存儲庫 "DecNef 項(xiàng)目大腦數(shù)據(jù)存儲庫（DecNef Project Brain Data Repository）"(https://bicr-resource.atr.jp/drmd/)，或從 Synapse 數(shù)據(jù)存儲庫 (https://doi.org/10.7303/syn23530650) 訪問數(shù)據(jù)。數(shù)據(jù)是按照圖 14 所示的結(jié)構(gòu)來組織的。簡而言之，對于每項(xiàng)研究，最上層的文件夾包含了每個受試者的文件夾（例如，"sub-01"）。其中有三個子文件夾，"anat" 包含與結(jié)構(gòu) / 解剖掃描有關(guān)的原始 Nifti 文件，"func"—進(jìn)一步細(xì)分為特定會話文件夾（例如，"ses-0"：解碼器，"ses-1"：神經(jīng)反饋的第一個會話，等等），包含所有來自功能掃描的壓縮 Nifti 文件。

對高分辨率的解剖學(xué)掃描進(jìn)行涂抹處理，以確保結(jié)構(gòu)數(shù)據(jù)的適當(dāng)匿名化。使用統(tǒng)計參數(shù)映射（SPM）對圖像進(jìn)行了偏差校正。使用統(tǒng)計參數(shù)繪圖（SPM）工具箱（https://www.fil.ion.ucl.ac.uk/spm/）對圖像進(jìn)行偏差校正，并使用 FreeSurfer 套件的自動涂抹工具進(jìn)行涂抹。圖 15 為一個受試者的圖像結(jié)果示例。

鑒于 DecNef 方法的細(xì)粒度、高空間分辨率的要求，用于在線反饋計算的大腦圖像的功能排列需要具備非常高的會話間一致性。圖像必須與原始解碼器的結(jié)構(gòu)對齊，而且這種對齊必須在（子）體素水平上是精確的。即使是微小的頭部運(yùn)動也很容易破壞這一前提條件，導(dǎo)致不完善的解碼和反饋得分計算。為了滿足這一要求，所有的研究都要求實(shí)時監(jiān)測傳入的大腦功能圖像與原始解碼器結(jié)構(gòu)中的模板之間的對齊情況。盡管使用 Turbo BrainVoyager（TBV，Brain Innovation）實(shí)時校正頭部運(yùn)動，但并不能保證校正后的圖像在解碼方面是有意義的，尤其是在突然出現(xiàn)明顯位移時。因此，在實(shí)時神經(jīng)反饋實(shí)驗(yàn)中，對原始 DICOM 圖像進(jìn)行了以下處理步驟。首先，在誘導(dǎo)期測量的功能圖像使用 TBV 進(jìn)行三維運(yùn)動校正。第二，從解碼器識別的每個體素中提取信號強(qiáng)度的時間序列，并將其移位 6 秒以考慮到血流動力學(xué)延遲。第三，從時間過程中去除線性趨勢，并使用從每次 fMRI 運(yùn)行開始后 10 秒測量的信號強(qiáng)度對每個體素的信號時間過程進(jìn)行 Z-score 歸一化處理。第四，計算反饋分?jǐn)?shù)的數(shù)據(jù)樣本是通過平均每個體素在誘導(dǎo)期的 BOLD 信號強(qiáng)度來創(chuàng)建的。

在目標(biāo)體素的激活模式方面，控制數(shù)據(jù)質(zhì)量的一個有效方法是首先計算它們的平均激活（用初始解碼器構(gòu)建會話的數(shù)據(jù)）。然后，在實(shí)時會話中，計算平均模式和傳入活動模式之間的逐個相關(guān)性。這種方法確保了當(dāng)體素的反應(yīng)模式由于例如頭部或身體運(yùn)動而發(fā)生重大變化時，相關(guān)度的降低會迅速發(fā)生，從而可以被檢測到。最佳水平的相關(guān)性水平應(yīng)該在 r∈[0.85 1.00]的區(qū)間內(nèi)，或 Fisher 變換的 z∈[1.26 Inf]。作者證實(shí)，所有的研究確實(shí)都能滿足此條件（圖 16）。平均來說，只有不到 2% 的實(shí)驗(yàn)的 z 值小于 1.26（研究 1：0.13%，研究 2：3.17%，研究 3：0.91%，研究 4：0.36%，研究 5：3.74%）。

較大值表明實(shí)時測量模式和解碼器構(gòu)造模式之間有更好的功能一致性。每個點(diǎn)代表一個實(shí)驗(yàn)的相關(guān)值。每個琴狀圖有 N（天）×M（受試者）×L（運(yùn)行）×J（實(shí)驗(yàn)）個點(diǎn)。圖中央的白圈代表中位數(shù)，粗灰線代表四分位數(shù)范圍，細(xì)灰線代表相鄰的數(shù)值。將 z<1.10 的數(shù)據(jù)點(diǎn)從圖中刪除

接下來，作者建立了頭部運(yùn)動和模式相關(guān)度之間的關(guān)系。作者使用 SPM12 計算了頭部運(yùn)動參數(shù)，得出了 3 個平移參數(shù)和 3 個旋轉(zhuǎn)參數(shù)。為了這個分析的目的，作者通過對相關(guān)的 3 個參數(shù)進(jìn)行平均化處理來計算平均絕對旋轉(zhuǎn)和平均絕對平移，在神經(jīng)反饋實(shí)驗(yàn)中使用的 3 個 TR 來計算解碼器的可能性和模式的關(guān)聯(lián)性。作者將這兩個頭部運(yùn)動指數(shù)（以毫米為單位）與所有研究中匯集的 Fisher 轉(zhuǎn)換后的相關(guān)系數(shù)（即模式相關(guān)度）進(jìn)行了對比（如圖 17 所示）。為了進(jìn)行統(tǒng)計分析，作者串聯(lián)單次實(shí)驗(yàn)數(shù)據(jù)，使用線性混合效應(yīng)（linear mixed effects，LME）模型進(jìn)行分析（按照 Wilkinson 符號，指定為 y ~ 1 + m + (1 | st) + (1 + st | prt)；其中 y：模式相關(guān)性，1：截距，m：運(yùn)動參數(shù)，st：實(shí)驗(yàn)研究，prt：受試者）。具體來說，這些 LME 模型的設(shè)計是將運(yùn)動作為固定效應(yīng)，實(shí)驗(yàn)研究作為隨機(jī)效應(yīng)和協(xié)變量，個體受試者作為隨機(jī)效應(yīng)而嵌套在實(shí)驗(yàn)研究中。

頭部運(yùn)動被計算為三維方向上的旋轉(zhuǎn)（a）或三維方向上的平移（b），并與 Fisher 轉(zhuǎn)換后的模式相關(guān)系數(shù)成圖。使用不同顏色繪制來自不同研究的數(shù)據(jù)點(diǎn)。每個數(shù)據(jù)點(diǎn)表征一個特定受試者、運(yùn)行和實(shí)驗(yàn)

最后，其他的生理噪聲源（如心跳或呼吸）也會影響用于實(shí)時解碼的多體素活動模式。這些來源在本研究中沒有直接測量，因此作者只能猜測它們的影響。如果它們對所有體素的影響是相對均勻的，作者預(yù)計對模式相關(guān)的測量幾乎沒有影響，因?yàn)轶w素之間的關(guān)系將保持基本不變。如果各體素之間存在不均勻的影響，作者認(rèn)為模式相關(guān)性會受到類似于頭部運(yùn)動的影響。人們可能會擔(dān)心，在第一種情況下，將無法檢測到數(shù)據(jù)的噪聲失真，從而有可能造成反饋給受試者的目標(biāo)真實(shí)性失效。但由于所有體素的活動首先經(jīng)過基線歸一化處理，然后通過計算體素的活動模式與權(quán)重向量之間的點(diǎn)積來確定反饋似然，因此重要的是體素的模式（體素活動之間的 "差異"）。由此，作者指出，由于 MVPA 的特殊性，額外的噪聲源不太可能在不影響模式相關(guān)度的情況下顯著影響體素活動模式的信息內(nèi)容。

4、小結(jié)

本文探討了基于統(tǒng)計學(xué)中 ML 的 fMRI 分析方法。其中， 第一篇文章介紹了基于 SVM 的多變量模式分析在基于人腦功能磁共振成像（fMRI）的特定任務(wù)狀態(tài)解碼中的應(yīng)用。具體的，作者引入一個 DNN 分類器，通過讀取與任務(wù)相關(guān)的 4D fMRI 信號，有效解碼并映射個人正在進(jìn)行的大腦任務(wù)狀態(tài)。DNN 的分層結(jié)構(gòu)使其能夠?qū)W習(xí)比傳統(tǒng)機(jī)器學(xué)習(xí)方法更復(fù)雜的輸出函數(shù)，并且可以進(jìn)行端到端的訓(xùn)練，進(jìn)而提升了大規(guī)模數(shù)據(jù)集中 fMRI 解碼的準(zhǔn)確度水平。第二篇文章具體探討的是應(yīng)用深度學(xué)習(xí)系統(tǒng)從人類的功能磁共振成像（fMRI）重建人臉圖像。利用 VAE-GAN 模型，學(xué)習(xí)多體素 fMRI 激活模式和 1024 個潛在維度之間的簡單線性映射。然后將這一映射應(yīng)用于新的測試圖像，將 fMRI 模式轉(zhuǎn)化為 VAE 潛在編碼，并將編碼重建為人臉。最后一篇文章發(fā)布了一個大型的、可公開訪問的神經(jīng)影像學(xué)數(shù)據(jù)庫，該數(shù)據(jù)庫中的數(shù)據(jù)是由解碼神經(jīng)反饋（Decoded neurofeedback，DecNef）實(shí)驗(yàn)訓(xùn)練得到的，除了面向臨床的研究外，該數(shù)據(jù)庫還可以作為系統(tǒng)和認(rèn)知神經(jīng)科學(xué)的一個重要范式來研究大腦的基本功能。這一數(shù)據(jù)庫的發(fā)布為推動解碼神經(jīng)反饋的研究發(fā)展提供了良好的數(shù)據(jù)基礎(chǔ)。

ML 已經(jīng)證明在圖像處理和識別的廣泛用途。利用 ML 連接 fMRI 圖像，可以分類人腦正在觀察和思考的狀態(tài)，甚至重建正在聯(lián)想的人臉內(nèi)容。神經(jīng)科學(xué)家正在借助機(jī)器學(xué)習(xí)技術(shù)解碼人類大腦的活動、理解人類大腦的趨勢方興未艾，幫助我們更好的了解我們的大腦迷宮。