將大型語言模型（LLMs）應用于實際應用的主要障礙之一是它們的不可預測性、缺乏推理能力和難以解釋性。如果無法解決這些挑戰(zhàn)，LLMs將無法成為在關鍵環(huán)境中可信賴的工具。在最近的一篇論文中，認知科學家GaryMarcus和人工智能先驅(qū)Douglas Lenat深入探討了這些挑戰(zhàn)，他們將這些挑戰(zhàn)歸納為了確保通用人工智能的16個愿望清單。Tech Talks 的創(chuàng)始人 Ben Dickson 將其整理發(fā)表了一篇名為" How LLMs could benefit from a decades’ long symbolic AI project"《大型語言模型（LLMs）如何能夠從長達數(shù)十年的符號 AI 項目中受益》的文章，我們特將該內(nèi)容編譯出來和各位客戶、合作伙伴朋友分享。

在最近的一篇論文中，認知科學家Gary Marcus和人工智能先驅(qū)Douglas Lenat深入探討了大型語言模型（LLMs）無法成為在關鍵環(huán)境中可信賴的工具的挑戰(zhàn)，他們將這些挑戰(zhàn)歸納為了確保通用人工智能的16個愿望清單。他們認為，所需的能力主要歸結為“知識、推理和世界模型”，而這些方面都不是大型語言模型所擅長的。他們指出，LLMs缺乏人類擁有的緩慢、深思熟慮的推理能力。相反，它們更類似于我們快速而無意識的思考方式，這可能導致不可預測的結果。

Marcus和Lenat提出了一種可能“理論上能夠解決”這些限制的替代人工智能方法：“教育以明確知識片段和經(jīng)驗法則為基礎的人工智能，使推理引擎能夠自動推導出所有這些知識的邏輯蘊涵關系。”他們認為，LLM研究可以從 Cyc 獲得啟發(fā)并受益，Cyc是Lenat四十多年前首創(chuàng)的一種符號 AI 系統(tǒng)，并建議“任何可信賴的通用人工智能都需要將這兩種方法，即LLM方法和更形式化的方法，進行混合。”

注：LLMs擅長自然語言處理，但在推理和常識方面存在一定的挑戰(zhàn)。相反，Cyc以其深厚的知識庫和推理能力聞名，可用于生成大量基于事實的陳述，有助于訓練LLMs更注重常識和正確性。通過將LLMs訓練成能夠理解CycL語言，可以加強兩個系統(tǒng)之間的交流，有助于提供新知識，并降低維護Cyc的成本。

LLs缺少什么

在他們的論文中，Lenat和Marcus表示，盡管人工智能不需要以與人類完全相同的方式思考，但它必須具備16種能力，以便在“錯誤成本高昂的情況下”受到信任。LLMs在大多數(shù)這些領域都存在困難。例如，人工智能應該能夠“回顧其提供的任何答案背后的推理過程”，并追蹤其推理鏈中每一條知識和證據(jù)的來源。雖然一些提示技術可以從LLMs中引出推理的外觀，但這些能力充其量也是搖擺不定的，經(jīng)過一些探討后可能會變得矛盾不一致。

Lenat和Marcus還討論了演繹、歸納和擬因推理作為能夠使LLMs調(diào)查其自身決策、發(fā)現(xiàn)陳述中的矛盾以及在邏輯上無法得出結論時做出最佳決策的能力的重要性。作者還指出，類比是當前LLMs中重要缺失的一部分，人類在對話中經(jīng)常使用類比來傳達信息或使復雜主題容易理解。

心智理論

另一個重要的能力是“心智理論”，這意味著人工智能應該具備對其對話對象的知識和意圖的模型，以引導其互動，并能夠在繼續(xù)學習用戶的同時更新其行為。

Marcus和Lenat還強調(diào)了人工智能需要具備自身模型的必要性。它必須理解“它自己，即AI是什么，當前正在做什么以及為什么”，而且還必須具備“對自己知道什么、不知道什么以及自己能力的良好模型，以及當前與用戶的‘契約’是什么”。

可信賴的人工智能系統(tǒng)必須能夠在決策中包含上下文，并能夠區(qū)分在當前情境中哪種行為或響應是可接受的，哪種是不可接受的。上下文可以包括環(huán)境、任務和文化等因素。

Cyc的創(chuàng)作者學到了什么

Lenat于1984年創(chuàng)建了Cyc，它是一種基于知識的系統(tǒng)，提供了一個全面的本體論和知識庫，人工智能可以用來推理。與當前的人工智能模型不同，Cyc建立在對現(xiàn)實世界知識的明確表示基礎上，包括常識、事實和經(jīng)驗法則。它包含了數(shù)千萬條由人類輸入的信息，這些信息可以被軟件用于快速推理。

一些科學家將Cyc描述為失敗和死胡同，也許它最重要的局限性之一是依賴手工勞動來擴展其知識庫。相比之下，LLMs已經(jīng)能夠隨著數(shù)據(jù)和計算資源的可用性而擴展。但迄今為止，Cyc已經(jīng)實現(xiàn)了幾個成功的應用，并為人工智能社區(qū)帶來了重要的教訓。

在最初的幾年里，Cyc的創(chuàng)作者意識到擁有一種富有表現(xiàn)力的表示語言是不可或缺的?！耙簿褪钦f，可信賴的通用人工智能需要能夠表示人們彼此之間說和寫的幾乎任何內(nèi)容，”Lenat和Marcus寫道。

表達主張和規(guī)則

到了20世紀80年代晚期，Cyc的創(chuàng)作者開發(fā)了CycL，這是一種用來表達人工智能系統(tǒng)主張和規(guī)則的語言。CycL已經(jīng)被構建為輸入推理系統(tǒng)的一部分。盡管Cyc擁有數(shù)千萬條手工編寫的規(guī)則，但它可以在僅進行一次推理步驟的情況下“生成數(shù)百億個新的結論，這些結論都是基于它已經(jīng)知道的內(nèi)容而得出的，”作者寫道?！皟H僅再經(jīng)過幾個推理步驟，Cyc就可以得出數(shù)以萬億計的新默認真實陳述?！?/p>

作者認為，創(chuàng)建一種用于知識表示的富有表現(xiàn)力的語言，使之能夠?qū)κ聦嵾M行推理，不是可以通過蠻力捷徑省略的事情。他們批評了目前訓練LLMs使用大量原始文本數(shù)據(jù)的方法，希望它們會逐漸發(fā)展自己的推理能力。在日常交流中，人們忽略的大部分隱含信息在這樣的文本語料庫中是缺失的。因此，LLMs將會學會模仿人類語言，而無法對自己所說的內(nèi)容進行健壯的常識推理。

將Cyc和LLMs融合在一起

Lenat和Marcus承認Cyc和LLMs都各自存在局限性，一方面，Cyc的知識庫不夠深入和廣泛，它的自然語言理解和生成能力不如Bard和ChatGPT出色，而且它無法像最先進的LLMs一樣快速推理。另一方面，“目前基于LLM的聊天機器人更多地是在記憶和宣揚而不是理解和推斷，”科學家們寫道?！霸谡撐闹辛谐龅?6種能力中，它們在某些方面表現(xiàn)出色，但在大多數(shù)方面還有改進的空間?！?/p>

作者提出了一種知識豐富、推理豐富的象征性系統(tǒng)（例如Cyc）與LLMs之間的協(xié)同作用。他們建議這兩種系統(tǒng)可以共同解決“幻覺”問題，即LLMs發(fā)表的陳述雖然似乎合理但事實上是錯誤的。例如，Cyc和LLMs可以相互交叉審查和質(zhì)疑對方的輸出，從而降低幻覺的可能性。這尤其重要，因為大部分常識知識沒有明確寫在文本中，因為它是普遍理解的。Cyc可以利用其知識庫作為生成這種隱含知識的來源，而這種知識在LLMs的訓練數(shù)據(jù)中沒有記錄。

解釋輸出的知識和推理

作者建議利用Cyc的推理能力，基于其知識庫中的明確信息生成數(shù)十億個“默認真實陳述”，這些陳述可以作為訓練未來LLMs更偏向常識和正確性的基礎。此外，Cyc可以用于事實核查輸入到LLM進行訓練的數(shù)據(jù)，并過濾掉任何虛假信息。作者還建議“Cyc可以利用其對輸入文本的理解添加一個語義前饋層，從而擴展LLM的訓練內(nèi)容，并進一步使LLM更加偏向真實和邏輯蘊涵?！?/p>

通過這種方式，Cyc可以為LLMs提供知識和推理工具，逐步解釋它們的輸出，增強透明度和可靠性。另一方面，LLMs可以被訓練來將自然語言句子翻譯成CycL，這是Cyc理解的語言。這可以使這兩個系統(tǒng)進行通信，并有助于以較低的成本生成新的知識。

混合AI

Marcus表示，他支持將神經(jīng)網(wǎng)絡和符號系統(tǒng)結合在一起的混合人工智能系統(tǒng)。將Cyc和LLMs結合起來可以是實現(xiàn)混合人工智能系統(tǒng)愿景的方式之一。

作者總結道：“多個世代以來，已經(jīng)開發(fā)出了兩種非常不同類型的人工智能，每一種都已經(jīng)足夠先進，可以獨立應用，而且確實正在獨立應用；但這兩種類型有機會一起工作，也許還可以與概率推理和處理不完整知識的其他進展結合使用，使我們更進一步朝著值得我們信任的通用人工智能邁進一步?！?/p>

論文地址：https://arxiv.org/abs/2308.04445

本文轉載自??MoPaaS魔泊云??，作者： Ben Dickson