譯者 | 涂承燁

審校 | 重樓

當研究人員首次發(fā)現(xiàn)大型語言模型（LLMS）可以通過思維鏈提示一步一步地“思考”時，這是一個突破性的時刻！我們終于可以窺視這些黑盒子的推理過程了。但如果我告訴你，讓人工智能模型用自然語言思考可能會阻礙它們的發(fā)展呢？

Meta和加州大學圣地亞哥分校的研究人員通過他們的新COCONUT（連續(xù)思維鏈）方法發(fā)現(xiàn)了這一點。

想象一下，試圖解決一個復雜的數(shù)學問題，同時被迫大聲講述每一步。很煩人，對吧？現(xiàn)在，讓我們先了解語言模型面臨的核心挑戰(zhàn)。

當我們讓人工智能模型通過自然語言推理時：

• 它們生成的大多數(shù)標記只是語言粘合劑，像“因此”、“下一步”和“結(jié)果”這樣的單詞，它們沒有增加任何推理價值
• 關(guān)鍵決策點因需要承諾特定單詞而受到瓶頸
• 該模型在保持語法連貫性上花費了大量的計算精力，而不是實際解決問題

研究人員在他們的神經(jīng)科學研究中發(fā)現(xiàn)了一些有趣的事情：當人類處理復雜的推理任務(wù)時，我們大腦的語言中心通常會保持令人驚訝的安靜。然而，我們一直在構(gòu)建相反的人工智能系統(tǒng)，迫使它們將每一個推理步驟轉(zhuǎn)化為文字。

想想你是如何解決一個謎題。你的大腦可能同時探索多種可能性，保持模糊的假設(shè)，只有在分享解決方案時才將其思想總結(jié)為語言。但傳統(tǒng)的思維鏈方法迫使人工智能模型對每一個中間步驟進行表達，從而造成了“語言瓶頸”。

這種見解引出了一個問題：如果我們能讓人工智能模型用它們的原生“語言”進行推理，即它們隱藏狀態(tài)下的連續(xù)、高維空間，而不是強迫它們把所有內(nèi)容都翻譯成符號，會怎么樣？

了解COCONUT的創(chuàng)新

想象一下大聲說出你的想法和你大腦中發(fā)生的實際心理過程之間的區(qū)別。這種差距（即言語化思維和神經(jīng)活動之間的差距）正是Meta的研究人員利用COCONUT所挖掘的。

COCONUT的真正突破在于它如何讓人工智能模型以兩種不同的方式思考，就像人類一樣。想想當你解決一個復雜的謎題時，你不會在腦海中講述每一個可能的動作，對吧？相反，你會這么做：

• 吸收問題：你吸收信息（比如閱讀謎題規(guī)則）
• 靜靜地思考：你的大腦在不把它們變成文字的情況下探索多種可能性
• 分享解決方案：只有這樣，你才能向他人解釋你的想法

COCONUT為AI模型提供了同樣的自然靈活性。它沒有像傳統(tǒng)方法那樣強迫他們大聲“說出”每一個想法，而是讓他們在自然的神經(jīng)空間中思考，研究人員稱之為“潛在空間”。

該模型在兩種模式之間平滑切換：

• 當它需要理解問題或給出答案時，它會使用常規(guī)語言
• 但對于需實際思考的過程時，它使用純神經(jīng)模式，不受詞語的限制

訓練過程

COCONUT最迷人的方面之一是它的訓練課程。它的特別之處在于它反映了自然的學習過程。想想我們是如何教授復雜技能的，就像你不會馬上把一個人扔進深淵，而是在他們通過了每一個關(guān)卡后，逐漸增加復雜性。

研究人員對COCONUT采用了同樣的方法：

階段1：基礎(chǔ)

首先，該模型像其他人工智能一樣學習，即通過傳統(tǒng)的思維鏈推理。這給了它一個堅實的基礎(chǔ)理解。

階段2：過渡階段

這就是有趣的地方。漸漸地，那些寫下來的推理步驟被連續(xù)的思考所取代，慢慢地移除輔助輪，讓模型發(fā)展自己的內(nèi)部思維模式。

階段3：平衡

最后，該模型學會了在“潛在空間”的深度思考和用清晰的語言傳達其見解之間無縫切換。

在訓練過程中，該模型開發(fā)出了人們沒有明確的編程邏輯的能力，比如同時考慮多個推理路徑。這種新興行為尤其令人興奮，因為它表明我們可能更接近更自然的人工智能推理形式。正是這些意想不到的發(fā)展往往導致最大的突破。

還記得之前提到的那些神經(jīng)科學研究嗎？他們發(fā)現(xiàn)，人類大腦經(jīng)常在沒有高度參與的語言中心的情況下處理復雜的推理任務(wù)。COCONUT似乎正在發(fā)展類似的模式，即在其原生神經(jīng)空間中進行深入思考，只有在需要交流時才轉(zhuǎn)換為語言。

用數(shù)字講述現(xiàn)象

研究中還有一些重要發(fā)現(xiàn)：

• 數(shù)學單詞問題（GSM8k）：在這里，COCONUT達到了34.1%的準確率。雖然這低于傳統(tǒng)的思維鏈（42.9%），但明顯優(yōu)于基準方法。
• 邏輯推理（ProntoQA）：COCONUT達到99.8%的準確率，超過了傳統(tǒng)思維鏈的98.8%。但令人驚訝的是，它只使用了9個標記，而CoT使用了92.5個標記。
• 復雜計劃（ProsQA）：最令人印象深刻的結(jié)果來自這個高級推理測試。COCONUT的準確率達到97%，而傳統(tǒng)方法的準確率僅為77.5%。同樣，它以驚人的效率做到了這一點，即14.2個標記對49.4個標記。

讓這些結(jié)果充滿希望的不僅僅是原始數(shù)據(jù)，而是它們揭示了不同類型的思維。雖然COCONUT在數(shù)學推理方面可能仍處于起步階段，但它在需要復雜邏輯規(guī)劃和推理的任務(wù)上表現(xiàn)出色。

COCONUT代表了對人工智能系統(tǒng)如何進行推理的根本性反思，它使我們更接近更自然、更高效、更強大的人工智能形式。從基于語言的推理到持續(xù)思考的旅程，是朝著更有能力、更高效的人工智能系統(tǒng)邁出的一步。

譯者介紹

涂承燁，51CTO社區(qū)編輯，省政府采購專家、省綜合性評標專家、公 E 采招標采購專家，獲得信息系統(tǒng)項目管理師、信息系統(tǒng)監(jiān)理師、PMP，CSPM-2等認證，擁有15年以上的開發(fā)、項目管理、咨詢設(shè)計等經(jīng)驗。對項目管理、前后端開發(fā)、微服務(wù)、架構(gòu)設(shè)計、物聯(lián)網(wǎng)、大數(shù)據(jù)、咨詢設(shè)計等較為關(guān)注。

原文標題：Meta’s COCONUT: The AI Method That Thinks Without Language，作者：Alex McFarland