無需提示詞,Stability AI 演示 MindEye:目標想什么就能生成什么
3 月 21 日消息,AI 浪潮席卷而來,此前不少人認為“提示詞工程師”會成為新興工種,而 MindEye 的問世表明,這個崗位或許沒有存在的價值了。
此前不少人認為,未來 AI 時代并不在于某個模型是否強大,而是在于人類是否能夠更高效利用這些 AI 模型,完成特定任務。
這也誕生了“提示詞工程師”概念,該工程師能夠比普通人更能理解 AI,能夠提出更準確的提示詞,從而讓 AI 滿足其要求輸出。
而 StabilityAI 于 2023 年 7 月推出 MindEye1,近日再次推出了 MindEye2,讓“提示詞工程師”的價值大幅降低,該模型并不依賴于特定的提示詞,而是直接基于用戶腦電波生成,也就是說用戶大腦想要什么,未來該模型就能生成什么。
MindEye 直接從 fMRI 大腦活動中重建和檢索圖像,而且可以將二維圖像轉化為三維視頻。
功能磁共振成像(fMRI)是一種通過檢測血流變化來測量大腦活動的神經(jīng)成像技術。這項技術的作用是繪制大腦功能圖,評估治療神經(jīng)系統(tǒng)疾病的潛在方法。
MindEye 基于參與者在核磁共振成像掃描儀上觀看一系列靜態(tài)圖像時的大腦活動記錄數(shù)據(jù)集。研究團隊訓練該系統(tǒng)分析這些記錄,并從候選庫中檢索原始圖像(檢索)或生成所查看圖像的重建圖像。
研究人員證明,MindEye 在圖像檢索任務中的表現(xiàn)優(yōu)于以往的方法,從候選圖像中識別原始圖像的準確率超過 90%。在重建方面,MindEye 使用預先訓練好的生成模型。
MindEye 可應用于各個領域。在醫(yī)療領域,它從大腦活動中重建視覺感知的能力可用于診斷和評估方法,尤其是在病人難以溝通的情況下。MindEye 的實時分析潛力有望改善腦機接口的性能。
研究小組強調(diào)了與數(shù)據(jù)收集有關的局限性,包括所需的冗長掃描時間,以及由于參與者移動或注意力不集中而可能產(chǎn)生的數(shù)據(jù)噪聲。
IT之家附上論文參考