多模態(tài)融合技術(shù)已成為人工智能重要領(lǐng)域，它涉及將來自不同傳感器、時間和空間的數(shù)據(jù)進行有效整合，以提高決策系統(tǒng)的性能。特別是在高風(fēng)險的決策環(huán)境中，如醫(yī)療診斷、金融市場分析和國防安全，準(zhǔn)確預(yù)測人類決策表現(xiàn)對于避免錯誤和提高效率至關(guān)重要。多模態(tài)融合技術(shù)的應(yīng)用前景廣闊，它能夠結(jié)合人類的生理信號（如腦電圖EEG數(shù)據(jù)）和外部信息（如視覺圖像），為我們提供了一種全新的預(yù)測和分析人類行為的方法。

本文解讀的研究成果由一支跨學(xué)科團隊完成，他們在多模態(tài)數(shù)據(jù)融合領(lǐng)域的探索為我們預(yù)測人類決策表現(xiàn)提供了新的視角。研究團隊由Xuan-The Tran、Thomas Do、Nikhil R. Pal、Tzyy-Ping Jung和Chin-Teng Lin等專家組成，他們分別來自澳大利亞科技大學(xué)的GrapheneX-UTS HAI Centre、印度統(tǒng)計研究所的Electronics and Communication Sciences Unit以及加州大學(xué)圣地亞哥分校的Institute for Neural Computation和Institute of Engineering in Medicine。這個團隊匯集了工程技術(shù)、通信科學(xué)、神經(jīng)計算和醫(yī)學(xué)工程等領(lǐng)域的頂尖專家，他們的合作研究不僅拓寬了多模態(tài)融合技術(shù)的應(yīng)用范圍，也為相關(guān)領(lǐng)域的研究提供了寶貴的經(jīng)驗和見解。6月8日，他們的論文《Multimodal fusion for anticipating human decision performance》在《自然》科學(xué)期刊發(fā)表。

他們研究的主要貢獻包括：

1.引入了一種具有挑戰(zhàn)性的決策制定范式，通過提供六個決策選項來降低正確猜測的可能性。

2.確定了作為決策準(zhǔn)確性有效區(qū)分器的重要EEG特征。

3.提出了新的圖像特征提取方法以增強決策預(yù)測準(zhǔn)確性。

4.展示了多模態(tài)EEG和圖像特征融合在預(yù)測人類決策表現(xiàn)方面優(yōu)于單一模態(tài)特征的優(yōu)越性。

在接下來我們將深入探討這項研究的方法論、實驗設(shè)計、數(shù)據(jù)分析和得出的結(jié)論，以及這些發(fā)現(xiàn)對未來研究的啟示和影響。通過這篇解讀，我們將能夠更好地理解多模態(tài)融合技術(shù)在預(yù)測人類決策表現(xiàn)中的重要性和潛力。

?相關(guān)工作

這項研究提出了一種多模態(tài)機器學(xué)習(xí)方法，利用圖像特征和腦電圖（EEG）數(shù)據(jù)來預(yù)測人在復(fù)雜視覺搜索任務(wù)中的反應(yīng)正確性。研究中使用了一個新穎的圖像特征集，這些特征涉及到對象關(guān)系，并通過Segment Anything Model (SAM)提取，與傳統(tǒng)特征相比，這些特征能夠提高預(yù)測準(zhǔn)確性。此外，該方法有效地結(jié)合了EEG信號和圖像特征，簡化了隨機森林分類器（RFC）所需的特征集，同時保持了高準(zhǔn)確率。這項研究的發(fā)現(xiàn)對于開發(fā)先進的故障警報系統(tǒng)具有重大潛力，特別是在醫(yī)療和防御等關(guān)鍵決策環(huán)境中。

決策理論是研究個體或集體如何做出選擇的學(xué)科，它涉及心理學(xué)、統(tǒng)計學(xué)、經(jīng)濟學(xué)和管理學(xué)等多個領(lǐng)域。在實驗心理學(xué)中，決策理論尤其關(guān)注如何在不確定性下做出最優(yōu)選擇?；灸Ｐ桶ㄆ谕в美碚?、前景理論以及信號檢測理論等。這些模型試圖解釋和預(yù)測人們在面對不同選項時的行為模式，如何權(quán)衡風(fēng)險與回報，以及如何處理概率信息。在高風(fēng)險環(huán)境中，如醫(yī)療診斷或金融投資，這些理論對于設(shè)計決策支持系統(tǒng)和評估決策質(zhì)量具有重要意義。

腦電圖（EEG）是一種記錄大腦電活動的技術(shù)，它通過測量頭皮上的電位變化來捕捉神經(jīng)元的群體活動。在決策研究中，EEG被用來揭示決策過程中的神經(jīng)機制。特定的EEG波形，如事件相關(guān)電位（ERP）組件，可以反映決策相關(guān)的認(rèn)知過程，例如注意力分配、信息加工和記憶檢索。通過分析這些波形，研究人員能夠更深入地理解決策過程中的大腦活動，以及如何通過生理信號來預(yù)測決策結(jié)果。

多模態(tài)融合是指將來自不同傳感器、模態(tài)或來源的數(shù)據(jù)結(jié)合起來，以提高信息的準(zhǔn)確性和完整性。這項技術(shù)的發(fā)展始于早期的傳感器融合研究，隨著時間的推移，它已經(jīng)擴展到包括視覺、聽覺、觸覺和生理信號在內(nèi)的多種模態(tài)。在人工智能和機器學(xué)習(xí)的推動下，多模態(tài)融合技術(shù)已經(jīng)取得了顯著進展，特別是在圖像和語音識別、情感分析以及社交媒體分析等領(lǐng)域。當(dāng)前的研究正在探索如何將這些技術(shù)應(yīng)用于更復(fù)雜的任務(wù)，例如預(yù)測人類決策表現(xiàn)，其中EEG數(shù)據(jù)的融合為理解和預(yù)測決策提供了新的可能性。

研究還介紹了一種基于視覺搜索的新決策制定范式，通過結(jié)合EEG腦成像信號來分析參與者在更具挑戰(zhàn)性的情境中的決策過程。為了增加視覺搜索任務(wù)的復(fù)雜性和挑戰(zhàn)性，研究中使用了偽裝對象。這種范式涉及在圖像中的六個子區(qū)域中識別偽裝目標(biāo)對象，從而將正確猜測反應(yīng)的概率降低到1/6。此外，研究利用EEG和圖像特征來預(yù)測參與者決策的正確性，并應(yīng)用多模態(tài)方法結(jié)合圖像（作為信息來源）和EEG（作為大腦對信息的反應(yīng)）特征來預(yù)測在具有挑戰(zhàn)性的視覺搜索任務(wù)中人類決策的準(zhǔn)確性。

研究方法

本研究的實驗設(shè)計旨在通過多模態(tài)融合技術(shù)預(yù)測人類在復(fù)雜視覺搜索任務(wù)中的決策表現(xiàn)。實驗包括了使用圖像特征和腦電圖（EEG）數(shù)據(jù)作為輸入，以訓(xùn)練機器學(xué)習(xí)模型進行預(yù)測。參與者由14名健康成年志愿者組成，他們在接受了詳細的實驗說明并簽署知情同意書后參與了實驗。實驗任務(wù)要求參與者在一系列視覺搜索任務(wù)中識別偽裝的動物，這些任務(wù)設(shè)計來模擬現(xiàn)實生活中的決策場景。實驗流程包括了提示階段、注視期、圖像展示、反應(yīng)時間和反饋，旨在捕捉參與者在每個決策點的行為和生理反應(yīng)。

EEG數(shù)據(jù)的收集使用了Neuroscan Synamps 2放大器和64通道Quik-Cap，以1000 Hz的采樣率記錄參與者在實驗過程中的腦電活動。圖像數(shù)據(jù)則來自公開可用的偽裝圖像數(shù)據(jù)集COD10K，這些圖像經(jīng)過調(diào)整以適應(yīng)實驗的視覺要求。所有數(shù)據(jù)收集均在嚴(yán)格遵守倫理標(biāo)準(zhǔn)和隱私保護的前提下進行。

從EEG數(shù)據(jù)中提取的特征包括事件相關(guān)電位（ERP）組件和振幅值，這些特征反映了大腦在決策過程中的活動。圖像數(shù)據(jù)的特征提取則包括顏色、對比度和圖像質(zhì)量等基本視覺屬性，以及利用Segment Anything Model（SAM）提取的高級特征，如目標(biāo)對象的大小、遮擋情況和中心偏見。這些特征被用于訓(xùn)練隨機森林分類器，以預(yù)測參與者在視覺搜索任務(wù)中的決策正確性。

隨機森林分類器的參數(shù)設(shè)置對模型的性能有著重要影響。在本研究中，分類器包含100棵樹，每棵樹的最大深度設(shè)置為10，以捕捉數(shù)據(jù)中的復(fù)雜模式同時避免過擬合。分類器的訓(xùn)練采用了引導(dǎo)抽樣方法，并設(shè)置了“gini”作為分裂質(zhì)量的衡量標(biāo)準(zhǔn)。此外為了確保結(jié)果的可重復(fù)性，設(shè)置了固定的隨機狀態(tài)，并采用了平衡類權(quán)重的方法來調(diào)整訓(xùn)練過程中的類頻率。這些參數(shù)的選擇旨在優(yōu)化分類器的預(yù)測能力，確保在多模態(tài)融合任務(wù)中達到最佳性能。

圖1：隨機森林分類器的性能在組級使用來自14名受試者的數(shù)據(jù)進行訓(xùn)練，使用各種特征集：前10個腦電圖特征、前10個圖像特征，以及前5個腦電圖和5個圖像特征的組合作為多模式方法。誤差條表示5倍交叉驗證的標(biāo)準(zhǔn)偏差。

圖2：通過隨機森林分類器識別的前10個關(guān)鍵圖像和腦電圖特征是重要特征分析。

在這項研究中，通過使用排列測試和Bonferroni校正（EEGLAB工具箱中）進行了大平均事件相關(guān)電位（ERP）分析，以確定哪些EEG通道及其時間段在正確和錯誤反應(yīng)之間有顯著差異。研究發(fā)現(xiàn)，九個ERP成分在正確和錯誤反應(yīng)之間表現(xiàn)出統(tǒng)計學(xué)上的顯著差異，這些成分分布在四個大腦區(qū)域（12個EEG通道）中。正確反應(yīng)的振幅一致高于錯誤反應(yīng)。這些ERP成分的識別導(dǎo)致提取了540個EEG ERP特征，使用了五種特征提取方法。

此外研究還進行了重要特征分析，以確定對隨機森林分類器最有影響的EEG和圖像特征，并選擇特征進行多模態(tài)分類器訓(xùn)練。結(jié)果顯示，多模態(tài)特征在準(zhǔn)確性、精確性和F1分?jǐn)?shù)方面（分別為0.85、0.85和0.91）優(yōu)于單一的EEG特征（0.79、0.80、0.85）和圖像特征（0.76、0.77、0.84）。

在個體數(shù)據(jù)集水平上訓(xùn)練隨機森林分類器，以評估分類器模型預(yù)測參與者決策的能力。研究比較了模型的準(zhǔn)確性與反映參與者決策行為表現(xiàn)準(zhǔn)確性的“參考準(zhǔn)確性”。如果模型的準(zhǔn)確性超過參考準(zhǔn)確性，表明它可以有效地識別正確和錯誤的參與者反應(yīng)。關(guān)鍵發(fā)現(xiàn)包括：

1.多模態(tài)EEG-圖像特征在所有受試者數(shù)據(jù)集中均優(yōu)于單一的EEG特征（t(14) = 3.05, p = 0.009）和圖像特征（t(14) = 4.52, p = 0.0006）。

2.使用多模態(tài)EEG-圖像特征的隨機森林分類器的準(zhǔn)確性在所有受試者數(shù)據(jù)集中均超過了參考準(zhǔn)確性（t(14) = 7.34, p = 5.67e–6）。

3.EEG特征的表現(xiàn)并不比圖像特征明顯更好（t(14) = 1.51, p = 0.15）。

4.在比較單一特征時，使用圖像特征的分類器的準(zhǔn)確性并沒有顯著更好（t(14) = 1.14, p = 0.28），在S03、S05、S07和S14中未能超過參考準(zhǔn)確性。相比之下，使用EEG特征的隨機森林分類器的準(zhǔn)確性顯著高于參考準(zhǔn)確性（t(14) = 3.13, p = 0.008），但在S05、S12和S14中未能超過參考準(zhǔn)確性。

5.在個體水平訓(xùn)練中，隨機森林分類器的平均準(zhǔn)確性高于群體水平訓(xùn)練的所有圖像、EEG和多模態(tài)圖像-EEG特征。具體來說，使用所有特征的群體水平訓(xùn)練的準(zhǔn)確性、精確性和F1分?jǐn)?shù)低于單一受試者訓(xùn)練。

從公開可用的偽裝圖像數(shù)據(jù)集COD10K29中選取了200張圖像。這些圖像特征是在一個尋找動物的挑戰(zhàn)場景中的單個動物。為了增強視覺清晰度并最小化搜索動物對象時的頭部移動，所有圖像都被調(diào)整大小到1000×600像素。圖3展示了每次試驗的過程。在每次試驗開始時，會顯示一個2秒的提示，顯示動物的種類，然后是1秒的注視期。隨后，包含動物的圖像顯示3秒，由細網(wǎng)格線劃分為六個等大小的區(qū)域。參與者被指示定位并指出動物所在的區(qū)域。在1秒的注視期后，他們有2秒時間通過按鍵盤上的1到6號鍵做出決策。一旦他們做出選擇，對象的正確位置就會被突出顯示2秒，然后是下一個試驗開始前的2秒休息時間。

圖3：試驗表現(xiàn)：在試驗過程中，參與者識別出圖像中的一只動物，并將其物種作為提示。參與者通過按下鍵盤上的數(shù)字1-6來指示動物的位置。然后揭示正確的位置，讓參與者評估他們的反應(yīng)。例如，如果正確的位置在區(qū)域2中，則綠色邊界框會高亮顯示該區(qū)域。

圖4:本研究中的偽裝物體與圖像背景具有相似的顏色和形狀特征。（a） 示例圖像展示了各種目標(biāo)對象特征，包括目標(biāo)對象大?。╒M-非常小、M-小、L-大和VL-非常大）、沒有中心偏移（NoCB-位于圖像的側(cè)子區(qū)域1、3、4和6中的目標(biāo)對象）、存在中心偏移（CB-位于圖像的中心子區(qū)域2和5中的目標(biāo)物體）、沒有遮擋（NoOC-未被圖像中的另一個對象覆蓋的目標(biāo)目標(biāo)物體）和遮擋（OC-被另一個物體部分覆蓋的目標(biāo)物體。邊界框用于在視覺上表示圖像中目標(biāo)對象的子區(qū)域位置。由分段任意模型（SAM）分割的目標(biāo)對象的例子證明了分割方法的高質(zhì)量，即使對于小的或被遮擋的對象也是如此。（b） 熱圖顯示了圖像數(shù)據(jù)集中八個目標(biāo)對象特征（NoCB、CB、NoOC、OC、VM、M、L、VM）的分布。（c） 弦圖描繪了圖像數(shù)據(jù)集中的八個目標(biāo)對象特征之間的相關(guān)性。目標(biāo)對象大小（L、M和VM）與其他目標(biāo)對象特性之間的相關(guān)性表現(xiàn)出良好的平衡關(guān)系。相反，可能由于圖像數(shù)據(jù)集中VL目標(biāo)對象的數(shù)量有限，涉及VL對象大小的相關(guān)性較低。此外，雖然CB和NoCB與其他目標(biāo)對象特性的相關(guān)性是平衡的，但涉及OC和NoOC的相關(guān)性往往偏向于NoOC特性。

?實驗結(jié)果

這項研究的主要目標(biāo)是識別能夠區(qū)分正確和錯誤決策的重要EEG特征。ERP分析突出了枕葉、頂葉和中央頂葉大腦區(qū)域內(nèi)的關(guān)鍵片段，作為預(yù)測決策準(zhǔn)確性的重要區(qū)分因素。進一步分析確定了對隨機森林分類器重要的EEG特征，強調(diào)了頂葉區(qū)域EEG通道的重要性。這一發(fā)現(xiàn)與之前的研究一致，強調(diào)了頂葉皮層在視覺搜索和決策任務(wù)中的關(guān)鍵作用。

研究的第二個重要目標(biāo)是評估圖像特征對決策結(jié)果的預(yù)測能力。通過使用傳統(tǒng)和創(chuàng)新的特征提取方法，包括SAM，研究了基于圖像的信息對決策正確性的影響。SAM方法明確了基本圖像和目標(biāo)對象特征之間的關(guān)系，對分類器特別有效。這突出了視覺信息在認(rèn)知結(jié)果中的預(yù)測價值，與Li等人和Iigaya等人的研究結(jié)果相呼應(yīng)，他們分別展示了圖像特征在分類視覺質(zhì)量和預(yù)測參與者選擇行為中的潛力。

第三個目標(biāo)是確定多模態(tài)融合的EEG和圖像特征是否能夠在預(yù)測決策準(zhǔn)確性方面超越單一模態(tài)特征。通過嚴(yán)格訓(xùn)練分類器使用多模態(tài)和單一模態(tài)特征集，我們一致觀察到多模態(tài)方法的優(yōu)越性。這一發(fā)現(xiàn)與認(rèn)知神經(jīng)科學(xué)和機器學(xué)習(xí)領(lǐng)域日益增長的共識一致，即整合多個數(shù)據(jù)源可以顯著提高模型準(zhǔn)確性。類似的好處已經(jīng)在使用多模態(tài)數(shù)據(jù)的研究中報告，例如EEG和眼動追蹤用于情感和注意力分類，以及EEG與面部表情或語音信號用于情感識別。他們的結(jié)果進一步證實了多模態(tài)特征整合的有效性，表明這是一個提高認(rèn)知科學(xué)和決策研究中預(yù)測模型的有前景的方向。

他們引入了一個以視覺搜索任務(wù)為中心的新穎決策制定實驗范式。這種范式旨在解決傳統(tǒng)歧視性決策任務(wù)的局限性，特別是正確猜測的高可能性，通過將偽裝對象作為目標(biāo)。這種方法增加了任務(wù)的復(fù)雜性，要求參與者更多的注意力，從而引發(fā)了分析所必需的更明顯的認(rèn)知模式。這種方法論創(chuàng)新是創(chuàng)造一個挑戰(zhàn)參與者并引發(fā)決策過程中強大神經(jīng)生理標(biāo)記的任務(wù)環(huán)境的關(guān)鍵。

通過參與具有偽裝目標(biāo)的要求嚴(yán)格的視覺搜索任務(wù)，他們進入了一個可能與現(xiàn)有關(guān)于決策中大腦動態(tài)的發(fā)現(xiàn)不完全一致的領(lǐng)域。他們的方法與Luck的研究有相似之處，該研究也探討了在復(fù)雜視覺場景中的決策過程。這項研究強調(diào)了EEG成分在視覺處理中的重要作用，主要觀察到后腦區(qū)域的EEG成分。我們的發(fā)現(xiàn)證實了這些成分在受試者進行的視覺搜索任務(wù)中的參與，并且我們還識別了與決策過程和受試者重新評估其決策相關(guān)的晚期正電位（LPP）和晚期負電位（LNP）成分。這種解釋得到了最近研究的支持，豐富了我們對在視覺復(fù)雜任務(wù)中決策的神經(jīng)基礎(chǔ)的理解。

此外，這項研究比較了使用單一模態(tài)EEG特征與圖像特征的分類器性能，以及群體水平和個體水平訓(xùn)練之間的性能差異。他們的結(jié)果表明，EEG特征在一致性上超過了圖像特征，這一趨勢我們歸因于EEG數(shù)據(jù)的動態(tài)性質(zhì)。與缺乏時間信息的靜態(tài)圖像特征不同，EEG數(shù)據(jù)在整個試驗過程中連續(xù)收集，捕捉大腦的快速反應(yīng)以及試驗和參與者之間的固有變異性。這豐富的時間信息提供了與決策準(zhǔn)確性相關(guān)的大腦活動的更詳細理解。個體水平和群體水平訓(xùn)練之間性能的區(qū)別是由參與者和實驗條件之間的變異性驅(qū)動的。

在本研究中，EEG特征的分析揭示了決策過程中大腦活動的復(fù)雜性。通過事件相關(guān)電位（ERP）組件的觀察，研究團隊能夠識別出與決策正確性相關(guān)的顯著腦區(qū)和時間段。例如，ERP成分如P300，其振幅變化與決策任務(wù)中的注意力分配和工作記憶處理密切相關(guān)。這些發(fā)現(xiàn)不僅支持了先前的神經(jīng)科學(xué)研究，而且還提供了一種新的視角來理解在復(fù)雜視覺搜索任務(wù)中的決策動態(tài)。通過精確測量和分析這些ERP成分，研究團隊成功地預(yù)測了參與者在特定任務(wù)中的表現(xiàn)，準(zhǔn)確率顯著高于隨機水平，這證明了EEG特征在預(yù)測人類決策表現(xiàn)中的有效性。

圖像特征的分析側(cè)重于從視覺信息中提取決策相關(guān)的線索。研究中使用的圖像特征包括顏色、對比度、圖像質(zhì)量以及利用Segment Anything Model（SAM）提取的目標(biāo)對象特征。這些特征反映了圖像的視覺復(fù)雜性和目標(biāo)對象的難以識別性，對于預(yù)測參與者在視覺搜索任務(wù)中的表現(xiàn)至關(guān)重要。實驗結(jié)果表明，圖像特征，特別是SAM提取的特征，能夠顯著提高預(yù)測模型的準(zhǔn)確性。這些特征通過揭示圖像中的隱蔽信息，為理解決策過程中的視覺處理提供了寶貴的洞見。

將EEG和圖像特征結(jié)合起來的多模態(tài)方法在預(yù)測人類決策表現(xiàn)方面顯示出了顯著的優(yōu)勢。多模態(tài)特征融合通過整合來自大腦活動和視覺感知的信息，提供了一個更全面的決策表現(xiàn)預(yù)測框架。實驗結(jié)果證實，多模態(tài)融合模型在準(zhǔn)確性、精確性和F1分?jǐn)?shù)等關(guān)鍵性能指標(biāo)上均優(yōu)于單一模態(tài)模型。這表明，多模態(tài)融合技術(shù)能夠有效地利用不同數(shù)據(jù)源中的互補信息，從而提高決策預(yù)測的準(zhǔn)確性和可靠性。

總體而言，這些實驗結(jié)果強調(diào)了多模態(tài)融合在提高決策預(yù)測性能方面的潛力，為未來在高風(fēng)險決策環(huán)境中開發(fā)先進的預(yù)測和警報系統(tǒng)提供了堅實的科學(xué)基礎(chǔ)。

?討論

?這項研究也有一些值得關(guān)注的局限性。首先，相對較小的數(shù)據(jù)集（只有14個受試者）可能限制了我們ERP發(fā)現(xiàn)的普遍性，并可能影響群體水平上分類器訓(xùn)練結(jié)果的穩(wěn)定性或可靠性。其次盡管圖像特征提供了檢測目標(biāo)對象的挑戰(zhàn)洞見，但需要進行更全面的行為實驗，具有不同的難度水平和受控條件，以準(zhǔn)確確定每張圖像的復(fù)雜性。這樣的數(shù)據(jù)將使我們能夠更細致地分析與對象檢測任務(wù)相關(guān)的大腦動態(tài)。他們計劃擴大和多樣化EEG和行為數(shù)據(jù)收集，以解決這些限制并增強他們發(fā)現(xiàn)的穩(wěn)健性。

他們的研究有效地展示了利用多模態(tài)EEG和圖像特征來預(yù)測人類決策準(zhǔn)確性的實用性。他們的結(jié)果表明，特別是來自頂葉皮層的EEG特征，顯著增強了分類模型的區(qū)分能力，這一點通過改進的分類指標(biāo)得到了證明。此外他們引入了SAM作為提取圖像特征的技術(shù)，這在提高分類器性能方面已被證明是有益的。通過在視覺搜索和決策任務(wù)中加入偽裝對象來模擬現(xiàn)實世界的復(fù)雜性，他們的實驗范式緊密地反映了實際決策情境中遇到的挑戰(zhàn)，需要增加參與者的參與度。這些洞見為開發(fā)旨在預(yù)先提示基于決策準(zhǔn)確性預(yù)測模型的潛在人為錯誤的先進故障警報系統(tǒng)鋪平了道路。?

本研究通過多模態(tài)融合技術(shù)，即結(jié)合EEG和圖像特征，為預(yù)測人類在復(fù)雜視覺搜索任務(wù)中的決策表現(xiàn)提供了新的視角。研究結(jié)果對于理解人類決策過程具有重要意義，尤其是在揭示大腦如何處理多種信息源以做出決策的機制方面。這些發(fā)現(xiàn)在實際應(yīng)用中的潛在價值巨大，特別是在需要快速準(zhǔn)確決策的高風(fēng)險環(huán)境中，如醫(yī)療診斷、緊急響應(yīng)和安全監(jiān)控等領(lǐng)域。通過預(yù)測可能的錯誤決策，可以及時采取干預(yù)措施，從而減少不良后果。

盡管研究成果令人鼓舞，但也存在一些局限性。首先樣本大小相對較小，僅包括14名受試者，這可能限制了研究結(jié)果的普遍性和分類器訓(xùn)練結(jié)果的穩(wěn)定性。其次，特征選擇可能受到了現(xiàn)有技術(shù)和理論的限制，未來的研究可能會發(fā)現(xiàn)更有效的特征組合。此外，模型的泛化能力也是一個關(guān)鍵問題，當(dāng)前的研究可能無法完全捕捉到不同個體和復(fù)雜環(huán)境下的決策行為。

未來的研究可以在多個方向上進行拓展。首先可以通過增加樣本量和多樣性來驗證和改進模型的泛化能力。其次可以探索更多種類的數(shù)據(jù)源和特征提取方法，以進一步提高預(yù)測準(zhǔn)確性。此外，研究可以擴展到其他類型的決策任務(wù)，以測試模型在不同情境下的適用性。研究可以考慮實時數(shù)據(jù)處理和決策預(yù)測，這對于開發(fā)實時監(jiān)控和預(yù)警系統(tǒng)尤為重要。通過這些努力，多模態(tài)融合技術(shù)在預(yù)測人類決策表現(xiàn)方面的應(yīng)用前景將更加廣闊。（END）

參考資料：https://www.nature.com/articles/s41598-024-63651-2