一致性推理是人類智能的核心能力之一，指的是處理等價但表述不同的任務的能力。例如，當我們被問到“告訴我現(xiàn)在幾點！”和“現(xiàn)在幾點鐘？”時，盡管這兩個問題的表述不同，但它們本質(zhì)上是相同的。人類能夠在面對這些等價問題時，提供一致且正確的答案。這種能力不僅在日常生活中至關重要，也是科學討論、交流和推理的基礎。

在數(shù)學和邏輯領域，一致性推理尤為重要。它要求個體能夠識別和解決以不同方式表述的相同問題。例如在基本算術問題中，無論問題是如何表述的，人類通常能夠提供一致的解決方案。這種能力不僅體現(xiàn)了人類智能的靈活性和適應性，也展示了我們在處理復雜信息時的高效性。

盡管一致性推理是人類智能的核心能力，但當AI系統(tǒng)試圖模仿這種能力時，卻面臨著巨大的挑戰(zhàn)。8 月 7 日發(fā)表的論文《On the consistent reasoning paradox of intelligence and optimal trust in AI:The power of ‘I don’t know’》提出的一致性推理悖論（CRP）揭示了這一挑戰(zhàn)的本質(zhì)。CRP指出，任何試圖模仿人類智能并進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這些錯誤不僅僅是偶然的，而是在某些問題上會無限次發(fā)生。

具體來說，CRP表明在處理基本算術問題時，任何總是回答并試圖模仿人類智能的AI都會產(chǎn)生幻覺，即生成錯誤但看似合理的答案。這種現(xiàn)象不僅在理論上具有重要意義，也對實際應用提出了嚴峻的挑戰(zhàn)。CRP的提出促使我們重新思考AI系統(tǒng)在模仿人類智能時的局限性，并探索如何構建更可信賴的AI系統(tǒng)。

CRP的核心觀點可以總結(jié)為六點。

1. 一致性推理與錯誤的不可避免性：CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這些錯誤在某些問題上會無限次發(fā)生，而檢測這些錯誤比解決原問題更難。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。
2. 可信賴AI的設計原則：為了構建可信賴的AI，系統(tǒng)必須能夠在無法確定答案時說“I don’t know”。這需要AI隱式計算一個新的概念，即“I don’t know”函數(shù)，這是目前現(xiàn)代AI所缺乏的。通過引入這一功能，AI可以避免生成錯誤答案，從而提高其可信賴性。
3. 人工通用智能（AGI）的行為特點：CRP還揭示了AGI的行為特點。AGI不能“幾乎確定”自己是正確的，要么100%確定，要么完全不確定。此外，AGI可能會給出正確答案，但無法總是提供正確的邏輯解釋。這一發(fā)現(xiàn)對AGI的設計和應用具有重要的指導意義。
4. 圖靈測試與一致性推理的關系：為了通過圖靈測試并被認為是真正的AGI，AI系統(tǒng)必須具備一致性推理能力。然而，這種能力也帶來了人類般的易錯性。CRP表明，通過圖靈測試的AI系統(tǒng)在處理等價問題時，仍然會面臨一致性推理帶來的挑戰(zhàn)。
5. 數(shù)學與遞歸理論的結(jié)合：論文結(jié)合了遞歸理論和隨機算法的新技術，解決了證明CRP的關鍵問題，建立了數(shù)學分析、遞歸理論和可證明性理論的新連接。這一創(chuàng)新不僅豐富了理論研究的工具箱，也為實際應用提供了新的思路。

論文的研究團隊由來自不同學術機構的專家組成，他們在數(shù)學、應用數(shù)學和理論物理領域具有深厚的研究背景。A. Bastounis 是倫敦國王學院數(shù)學系的研究人員，專注于數(shù)學領域的研究。P. Campodonico 是劍橋大學應用數(shù)學與理論物理系的研究人員，致力于應用數(shù)學和理論物理的研究。M. van der Schaar 是劍橋大學應用數(shù)學與理論物理系的研究人員，專注于應用數(shù)學和理論物理的研究。B. Adcock 是加拿大西蒙弗雷澤大學數(shù)學系的研究人員，主要研究數(shù)學領域。A. C. Hansen 是劍橋大學應用數(shù)學與理論物理系的研究人員，也是論文的通訊作者，專注于應用數(shù)學和理論物理的研究。CRP的提出不僅揭示了AI在模仿人類智能時的內(nèi)在局限性，也為構建可信賴的AI系統(tǒng)提供了新的理論基礎和設計原則。

圖片

圖1:CRP：有了像人類一樣的智能，就有了像人一樣的易錯性。CRP的簡短總結(jié)。模仿人類智能是以犯錯為代價的，這只能通過說“我不知道”來彌補。值得信賴的人工智能（即從不回答錯誤的人工智能）知道如何“放棄”，就像人類一樣，通過隱式計算“我不知道”函數(shù)。

數(shù)學作為AGI測試的基礎

在人工通用智能（AGI）的研究中，數(shù)學問題一直被視為測試AI智能水平的重要基準。數(shù)學不僅是科學和工程的基礎，也是邏輯推理和問題解決的核心領域。通過解決復雜的數(shù)學問題，AI系統(tǒng)可以展示其在邏輯推理、抽象思維和問題解決方面的能力。

近年來，許多研究項目致力于設計能夠解決高級數(shù)學問題的AI系統(tǒng)。例如，國際數(shù)學奧林匹克（IMO）問題被用來測試AI的智能水平。這些問題不僅要求AI具備深厚的數(shù)學知識，還需要其在面對復雜和多樣化的數(shù)學挑戰(zhàn)時，能夠進行一致性推理和邏輯推理。

數(shù)學問題的另一個重要方面是其確定性和可驗證性。數(shù)學問題通常有明確的解答和驗證方法，這使得它們成為測試AI系統(tǒng)性能的理想工具。通過解決數(shù)學問題，研究人員可以客觀地評估AI系統(tǒng)的智能水平和推理能力。

圖靈測試是評估AI智能水平的經(jīng)典方法。由艾倫·圖靈在1950年提出，圖靈測試的核心思想是通過模仿人類的對話行為，判斷一個機器是否具備智能。在圖靈測試中，一個人類評審員通過文字對話與一個人類和一個機器進行交流，如果評審員無法區(qū)分機器和人類，那么該機器被認為通過了圖靈測試。

一致性推理在圖靈測試中扮演著重要角色。為了通過圖靈測試，AI系統(tǒng)必須能夠處理等價但表述不同的問題，并提供一致且正確的答案。例如，在面對基本算術問題時，無論問題的表述方式如何，AI系統(tǒng)都應能夠提供一致的解答。這不僅展示了AI系統(tǒng)的智能水平，也反映了其在邏輯推理和問題解決方面的能力。

然而，正如一致性推理悖論（CRP）所揭示的那樣，試圖進行一致性推理的AI系統(tǒng)不可避免地會出現(xiàn)錯誤。這意味著，即使AI系統(tǒng)能夠通過圖靈測試，它在處理等價問題時仍然會面臨一致性推理帶來的挑戰(zhàn)。因此，研究如何在圖靈測試中實現(xiàn)一致性推理，同時避免錯誤，是AI研究中的一個重要課題。

在探討一致性推理悖論（CRP）時，明確機器和問題的定義是至關重要的。根據(jù)圖靈的定義，機器（或AI）被視為計算機程序，具體來說，是一種圖靈機。圖靈機是一種理論上的計算模型，能夠模擬任何計算過程。圖靈機的定義為理解AI系統(tǒng)的行為和能力提供了理論基礎。

問題被定義為由邏輯句子（段落）描述的基本算術問題。例如，一個問題可以描述為“計算兩個數(shù)的和”或“求解一個方程”。這些問題可以通過不同的句子來表述，但本質(zhì)上是相同的。為了研究一致性推理悖論，我們需要考慮這些問題的不同表述方式，以及AI系統(tǒng)在處理這些表述時的行為。

一個問題可以通過不同的句子來描述，形成問題集合。例如，通過改變化療劑量的值，可以生成不同的問題集合。每個問題集合中的句子家族描述了相同的問題。這種描述方式不僅適用于數(shù)學問題，也適用于其他領域的問題，如醫(yī)療、經(jīng)濟和工程等。

問題集合與句子家族的概念對于理解一致性推理悖論至關重要。通過研究這些集合和家族，我們可以揭示AI系統(tǒng)在處理等價問題時的行為模式，以及其在一致性推理過程中可能出現(xiàn)的錯誤。例如，一個問題集合可以包含多個等價的句子，每個句子描述相同的基本算術問題。AI系統(tǒng)在處理這些句子時，應該能夠提供一致的解答，但實際上可能會出現(xiàn)錯誤。

可計算數(shù)是圖靈在其1936年的論文中定義的概念，指的是可以由有限句子描述的數(shù)。這些句子形成了等價類，代表相同的數(shù)。例如，1可以表示為0.999…或1.000…，這些不同的表示方式屬于同一個等價類。

在一致性推理悖論的研究中，理解可計算數(shù)與等價類的概念是至關重要的。通過研究這些等價類，我們可以揭示AI系統(tǒng)在處理等價問題時的行為模式，以及其在一致性推理過程中可能出現(xiàn)的錯誤。例如，AI系統(tǒng)在處理不同表示方式的同一個數(shù)時，應該能夠提供一致的解答，但實際上可能會出現(xiàn)錯誤。

CRP的具體內(nèi)容與擴展

一致性推理悖論（CRP）揭示了AI在模仿人類智能時所面臨的內(nèi)在挑戰(zhàn)。論文通過一系列具體的CRP組件，詳細闡述了AI在一致性推理過程中不可避免的錯誤，并提出了構建可信賴AI的原則。

CRP I：存在不產(chǎn)生幻覺的AI

CRP I指出，存在一種AI（稱為SpecialBot），它在特定問題集合上不會產(chǎn)生幻覺，并且總是給出正確答案。對于某些問題集合，每個問題可以通過多個等價的句子來描述。SpecialBot在面對這些句子時，總是能夠提供正確的解答，但它不進行一致性推理。如果SpecialBot嘗試進行一致性推理，它將無法處理所有等價的句子，從而導致錯誤。

這種AI的存在表明，在特定問題集合上，可以設計出不產(chǎn)生幻覺的AI。然而，這種AI的局限性在于，它無法處理所有等價的句子，只能在特定的句子集合上提供正確答案。這為我們理解AI在一致性推理過程中的局限性提供了重要的理論基礎。

圖2:CRP I-II的圖形說明?？紤]到問題的集合，每個問題都可以由AI（CRP I）處理一句話。然而，如果這種人工智能試圖通過接受構成相同問題的更大的句子家族來進行一致的推理，那么無論速度和記憶限制如何，它都會無限頻繁地產(chǎn)生幻覺（CRP II）。

CRP II：嘗試一致性推理導致幻覺

CRP II進一步指出，如果SpecialBot嘗試進行一致性推理，即接受所有描述同一問題的等價句子，那么它將不可避免地產(chǎn)生幻覺。這意味著，任何試圖模仿人類智能并進行一致性推理的AI都會在某些問題上無限次地產(chǎn)生錯誤。

這種現(xiàn)象的根本原因在于，AI在處理等價問題時，無法始終提供一致且正確的答案。即使AI具備強大的計算能力和存儲能力，它在面對等價問題時，仍然會出現(xiàn)錯誤。這一發(fā)現(xiàn)揭示了AI在模仿人類智能時的內(nèi)在局限性，并促使我們重新思考如何設計更可信賴的AI系統(tǒng)。

CRP III(a)：檢測幻覺的難度

CRP III(a)指出，檢測AI是否產(chǎn)生幻覺比解決原問題更難。具體來說，即使我們有問題的真實解，也無法確定AI的答案是否正確。這意味著，設計一個能夠檢測AI錯誤的算法，比解決原問題本身更具挑戰(zhàn)性。

這種現(xiàn)象的一個重要原因在于，某些問題可能有多個正確答案。例如，“列舉一個質(zhì)數(shù)”這個問題有無數(shù)個正確答案，因此，即使我們知道一個正確答案，也無法確定AI的答案是否正確。這一發(fā)現(xiàn)表明，檢測AI錯誤的難度極大，進一步強調(diào)了構建可信賴AI的挑戰(zhàn)。

CRP III(b)：隨機算法的局限性

CRP III(b)指出，使用隨機算法檢測AI錯誤的成功概率不會超過50%。具體來說，即使設計一個隨機算法來檢測AI的錯誤，其成功概率也不會超過純粹猜測的50%。這意味著，隨機算法在檢測AI錯誤方面的效果非常有限。

這一發(fā)現(xiàn)對現(xiàn)代AI系統(tǒng)，尤其是依賴隨機算法的聊天機器人具有重要意義。它表明，不能完全依賴隨機算法來保證AI系統(tǒng)的正確性，而需要引入其他機制，如“I don’t know”功能，以提高系統(tǒng)的可信賴性。

CRP IV：解釋正確答案的困難

CRP IV指出，即使AI能夠提供正確答案，也無法總是提供邏輯上正確的解釋。這意味著，AI可能無法解釋其解決方案的邏輯過程，盡管其答案是正確的。

這種現(xiàn)象的一個重要原因在于，某些問題的解答過程非常復雜，難以用簡單的邏輯解釋清楚。例如，某些數(shù)學問題的解答可能涉及復雜的推理和計算過程，AI在提供答案時，可能無法詳細解釋其推理過程。這一發(fā)現(xiàn)表明，AI在提供正確答案的同時，還需要具備解釋其答案的能力，以提高其可信賴性。

CRP V：可信賴的AI與“I don’t know”功能

CRP V提出了一種可信賴的AI，它在規(guī)定時間內(nèi)要么給出正確答案和邏輯解釋，要么說“I don’t know”。具體來說，這種AI在面對無法確定答案的問題時，會選擇“放棄”，即說“I don’t know”。這種機制不僅可以避免AI生成錯誤答案，還可以提高其可信賴性。

這種AI的設計原則在于引入“I don’t know”功能，使其在無法確定答案時，能夠承認自身的局限性。這種機制類似于人類在面對無法解決的問題時，選擇承認不知道，而不是提供錯誤答案。通過引入這一功能，AI系統(tǒng)可以在保持高效性的同時，確保其答案的正確性和可信賴性。

圖片

圖3:ChatGPT4試圖通過一致的推理來模仿人類智能。當面對描述等效數(shù)字（“a1代碼”等）和等效問題（“區(qū)分數(shù)字”等）的不同句子時，它提供了正確的答案。有關其他聊天機器人的更多示例，請參見圖7。然而CRP意味著這種一致的推理行為總是會導致幻覺，除非人工智能有能力說“我不知道”。

圖片

圖4:ChatGPT-4o和Gemini Advanced在實踐中的CRP。兩個聊天機器人在（?）的一個例子中都是正確的（CRP I，第一列），但在另一個例子（CRP II，第二列）中卻產(chǎn)生了幻覺。盡管已經(jīng)正確解決了問題，但他們無法檢查另一個建議是否正確（CRP III，第三列）。即使他們正確地解決了問題，并且可以訪問提供正確答案的預言機，他們也無法檢查另一個建議（CRP III，第四列）。更多示例見圖7和[51]。

CRP的普遍性與應用

一致性推理悖論（CRP）不僅揭示了AI在模仿人類智能時的內(nèi)在挑戰(zhàn)，還展示了其在廣泛領域中的應用潛力。論文通過詳細分析CRP的普遍性，探討其在科學與社會中的廣泛應用，并強調(diào)了可信賴AI與‘I don’t know’函數(shù)的關系。

CRP適用于任何AGI

圖片

圖5：人類可以解決任意長度的某些問題。在帶有滾動條的計算機屏幕上給出上述問題，無論長度如何，人類都會正確回答問題。這是CRP適用于所有AGI的關鍵原因。此外，這個例子意味著，從理論上講，任何AGI都必須處理任意長度的問題。最后，上述問題提供了一個簡單的工具，使任何現(xiàn)代聊天機器人都無法通過圖靈測試（見右圖）。

CRP適用于任何人工通用智能（AGI），這是因為任何AGI都必須能夠解決基本的算術問題，并且AGI是沒有輸入長度限制的圖靈機。CRP適用于任何AGI的原因包括以下幾點：

• AGI必須解決基本算術問題：任何AGI都必須能夠解決基本的算術問題，例如加法、減法、乘法和除法。這些問題是人類智能的基礎，也是AGI必須具備的基本能力。因此，CRP適用于任何AGI，因為它揭示了AI在處理這些基本問題時的內(nèi)在挑戰(zhàn)。
• AGI是圖靈機：根據(jù)丘奇-圖靈論題，任何AGI都可以被模擬為圖靈機。圖靈機是一種理論上的計算模型，能夠模擬任何計算過程。因此，CRP適用于任何AGI，因為它揭示了圖靈機在處理等價問題時的局限性。
• AGI不能限制輸入長度：AGI必須能夠處理比人類能閱讀的更長的輸入。即使人類在計算機窗口中通過滾動條可以回答任意長度的問題，AGI也必須具備同樣的能力。因此，AGI不能限制輸入長度，否則將無法通過圖靈測試。這意味著，CRP適用于任何AGI，因為它揭示了AI在處理任意長度問題時的內(nèi)在挑戰(zhàn)。

CRP在科學與社會中的廣泛應用

CRP不僅適用于AGI，還在科學和社會的廣泛領域中具有重要應用。以下是CRP在不同領域中的應用示例。

醫(yī)療領域：在醫(yī)療領域，AI系統(tǒng)被廣泛應用于診斷和治療決策。CRP揭示了AI在處理等價醫(yī)療問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同病癥時，可能會產(chǎn)生不同的診斷結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定診斷時選擇“放棄”，從而提高其可信賴性。

金融領域：在金融領域，AI系統(tǒng)被用于風險評估和投資決策。CRP揭示了AI在處理等價金融問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同投資策略時，可能會產(chǎn)生不同的評估結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定評估結(jié)果時選擇“放棄”，從而提高其可信賴性。

工程領域：在工程領域，AI系統(tǒng)被用于設計和優(yōu)化工程方案。CRP揭示了AI在處理等價工程問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同設計方案時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。

公共管理領域：在公共管理領域，AI系統(tǒng)被用于政策制定和公共服務優(yōu)化。CRP揭示了AI在處理等價公共管理問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同政策方案時，可能會產(chǎn)生不同的建議。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定建議時選擇“放棄”，從而提高其可信賴性。

可信賴AI與‘I don’t know’函數(shù)的關系

CRP強調(diào)了構建可信賴AI的關鍵在于引入‘I don’t know’函數(shù)。具體來說，可信賴AI與‘I don’t know’函數(shù)的關系包括以下幾點：

• 避免錯誤答案：通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定答案時選擇“放棄”，從而避免生成錯誤答案。這不僅提高了AI系統(tǒng)的可信賴性，也增強了用戶對AI系統(tǒng)的信任。
• 提高系統(tǒng)透明度：‘I don’t know’函數(shù)使AI系統(tǒng)能夠承認自身的局限性，并在必要時選擇“放棄”。這提高了系統(tǒng)的透明度，使用戶能夠更好地理解AI系統(tǒng)的行為和決策過程。
• 增強系統(tǒng)魯棒性：通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在面對復雜和不確定的問題時，選擇“放棄”而不是提供錯誤答案。這增強了系統(tǒng)的魯棒性，使其能夠在各種環(huán)境中穩(wěn)定運行。
• 促進人機協(xié)作：‘I don’t know’函數(shù)使AI系統(tǒng)能夠在無法確定答案時，尋求人類的幫助。這促進了人機協(xié)作，使AI系統(tǒng)能夠更好地與人類合作，共同解決復雜問題。

構建可信賴AI的必要與充分條件

在構建可信賴的人工智能（AI）系統(tǒng)時，理解其必要與充分條件至關重要。論文通過一致性推理悖論（CRP）的研究，揭示了構建可信賴AI的關鍵因素，并提出了‘I don’t know’函數(shù)作為解決方案。

構建可信賴AI的必要條件包括以下幾個方面。

一致性推理的局限性：CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。因此，構建可信賴AI的第一個必要條件是承認一致性推理的局限性，并在設計系統(tǒng)時考慮到這一點。

‘I don’t know’功能：為了避免生成錯誤答案，AI系統(tǒng)必須具備在無法確定答案時說“I don’t know”的能力。這需要AI隱式計算一個新的概念，即‘I don’t know’函數(shù)。通過引入這一功能，AI可以在無法確定答案時選擇“放棄”，從而提高其可信賴性。

透明度和可解釋性：可信賴的AI系統(tǒng)不僅需要提供正確答案，還需要能夠解釋其答案的邏輯過程。這意味著，AI系統(tǒng)在提供答案時，必須具備一定的透明度和可解釋性，使用戶能夠理解其決策過程。

魯棒性和穩(wěn)定性：可信賴的AI系統(tǒng)必須在各種環(huán)境中穩(wěn)定運行，并能夠應對復雜和不確定的問題。這需要系統(tǒng)具備一定的魯棒性，能夠在面對挑戰(zhàn)時保持穩(wěn)定。

在滿足必要條件的基礎上，構建可信賴AI的充分條件包括以下幾個方面。

問題分類與分域處理：為了提高系統(tǒng)的可信賴性，可以將問題集合分為多個子域，并為每個子域建立特定的‘I don’t know’函數(shù)。例如，通過提示將問題集合分為多個子域，每個子域建立特定的‘I don’t know’函數(shù)。這種方法可以提高系統(tǒng)在特定領域內(nèi)的可信賴性。

隨機算法與確定性算法的結(jié)合：雖然隨機算法在檢測AI錯誤方面的效果有限，但通過結(jié)合隨機算法與確定性算法，可以提高系統(tǒng)的可信賴性。例如，可以設計一個隨機算法來檢測AI的錯誤，并結(jié)合確定性算法來驗證其結(jié)果，從而提高系統(tǒng)的準確性和可信賴性。

人機協(xié)作：通過引入人機協(xié)作機制，AI系統(tǒng)可以在無法確定答案時，尋求人類的幫助。這不僅可以提高系統(tǒng)的可信賴性，還可以增強用戶對系統(tǒng)的信任。例如，當AI系統(tǒng)無法確定答案時，可以提示用戶尋求人類專家的幫助，從而提高系統(tǒng)的決策質(zhì)量。

持續(xù)學習與優(yōu)化：可信賴的AI系統(tǒng)需要具備持續(xù)學習和優(yōu)化的能力。通過不斷學習和優(yōu)化，系統(tǒng)可以逐步提高其決策質(zhì)量和可信賴性。例如，可以通過引入機器學習和深度學習算法，使系統(tǒng)能夠在不斷積累數(shù)據(jù)的過程中，逐步提高其決策能力和準確性。

‘I don’t know’函數(shù)的計算與應用

‘I don’t know’函數(shù)是構建可信賴AI的關鍵。以下是‘I don’t know’函數(shù)的計算與應用：

‘I don’t know’函數(shù)的定義：‘I don’t know’函數(shù)用于將問題集合分為兩部分：可以回答的問題（?know）和無法回答的問題（?don’t know）。具體來說，‘I don’t know’函數(shù)ΞI將這些問題進行分類，其中ΞI(ι) = 1表示AI無法回答的問題，ΞI(ι) = 0表示AI可以回答的問題。

‘I don’t know’函數(shù)的計算：為了計算‘I don’t know’函數(shù)，可以采用以下方法：

將問題集合分為多個子域，并為每個子域建立特定的‘I don’t know’函數(shù)。例如，通過提示將問題集合分為多個子域，每個子域建立特定的‘I don’t know’函數(shù)。

結(jié)合隨機算法與確定性算法，可以提高‘I don’t know’函數(shù)的計算準確性。例如，可以設計一個隨機算法來檢測AI的錯誤，并結(jié)合確定性算法來驗證其結(jié)果，從而提高‘I don’t know’函數(shù)的計算準確性。

通過持續(xù)學習和優(yōu)化，可以逐步提高‘I don’t know’函數(shù)的計算準確性。例如，可以通過引入機器學習和深度學習算法，使系統(tǒng)能夠在不斷積累數(shù)據(jù)的過程中，逐步提高‘I don’t know’函數(shù)的計算準確性。

‘I don’t know’函數(shù)在構建可信賴AI系統(tǒng)中具有廣泛的應用。例如：

• 醫(yī)療領域：在醫(yī)療領域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定診斷時選擇“放棄”，從而提高診斷的準確性和可信賴性。
• 金融領域：在金融領域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定評估結(jié)果時選擇“放棄”，從而提高風險評估和投資決策的準確性和可信賴性。
• 工程領域：在工程領域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高設計和優(yōu)化方案的準確性和可信賴性。
• 公共管理領域：在公共管理領域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定政策建議時選擇“放棄”，從而提高政策制定和公共服務優(yōu)化的準確性和可信賴性。

圖片

圖6:AGI的失敗句——給定AGI處理基本算術的代碼部分。給定一個AGI（總是回答）通過一致的推理來模擬人類智能，在上述問題上會失敗。請注意，只需要訪問處理基本算術的AGI代碼（CodeAGI）。維度d=dkdk-1。d1，其中dk-1。d1在0和9之間，dk在1和9之間。例如，d=2024。上述句子的長度（字符數(shù)）以長度（CodeAGI）+3300+k為界。代碼generateA使用CodeAGI以特定方式創(chuàng)建線性程序中矩陣A的近似值，詳見補充材料。

SCI層次結(jié)構、優(yōu)化與哥德爾不完備定理的聯(lián)系

一致性推理悖論（CRP）的提出不僅揭示了AI在模仿人類智能時的內(nèi)在挑戰(zhàn)，還展示了其在科學理論中的深遠影響。論文通過SCI層次結(jié)構、優(yōu)化問題和哥德爾不完備定理的聯(lián)系，深入探討CRP的理論基礎和應用。

SCI（Solvability Complexity Index）層次結(jié)構是一個用于分類計算問題復雜性的理論框架。它推廣了經(jīng)典的算術層次結(jié)構，包含了遞歸理論和計算復雜性理論的核心概念。SCI層次結(jié)構的主要目的是通過引入新的分類方法，來描述和分析計算問題的可解性和復雜性。

在SCI層次結(jié)構中，問題被分類為不同的層次，每個層次代表不同的計算復雜性。例如，Σ1類問題是那些可以通過一個極限計算的函數(shù)，而?1類問題則是可以通過計算函數(shù)直接解決的問題。SCI層次結(jié)構不僅包含了這些經(jīng)典的分類，還引入了新的分類方法，如相變理論和隨機算法，以更全面地描述計算問題的復雜性。

SCI層次結(jié)構的一個重要特點是它能夠處理連續(xù)優(yōu)化問題和計算光譜理論中的復雜性。這使得SCI層次結(jié)構成為研究一致性推理悖論和構建可信賴AI系統(tǒng)的重要工具。

一致性推理悖論在優(yōu)化問題中具有廣泛的應用。優(yōu)化問題是科學和工程中的核心問題，涉及到在給定約束條件下尋找最優(yōu)解。常見的優(yōu)化問題包括線性規(guī)劃、基追蹤和LASSO等。這些問題在醫(yī)療、金融、工程和公共管理等領域中具有重要應用。

CRP在優(yōu)化問題中的應用主要體現(xiàn)在以下幾個方面：

• 線性規(guī)劃：線性規(guī)劃是優(yōu)化問題中的一種基本形式，涉及到在給定約束條件下尋找線性目標函數(shù)的最優(yōu)解。CRP揭示了AI在處理等價線性規(guī)劃問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同線性規(guī)劃問題時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。
• 基追蹤：基追蹤是一種用于信號處理和數(shù)據(jù)壓縮的優(yōu)化技術，涉及到在給定約束條件下尋找稀疏解。CRP揭示了AI在處理等價基追蹤問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同基追蹤問題時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。
• LASSO：LASSO是一種用于回歸分析的優(yōu)化技術，涉及到在給定約束條件下尋找最優(yōu)回歸系數(shù)。CRP揭示了AI在處理等價LASSO問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同LASSO問題時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。

哥德爾不完備定理是數(shù)學和邏輯領域中的一個重要理論，揭示了在任何一致且足夠復雜的形式系統(tǒng)中，存在一些命題既無法被證明為真，也無法被證明為假。哥德爾不完備定理對計算理論和AI研究具有深遠影響。

CRP與哥德爾不完備定理有著密切的聯(lián)系。具體來說，CRP IV提供了一個類似于哥德爾第一不完備定理的聲明，專門針對優(yōu)化問題。這意味著，在某些優(yōu)化問題中，AI可能無法提供邏輯上正確的解釋，即使其答案是正確的。這一發(fā)現(xiàn)揭示了AI在處理復雜問題時的內(nèi)在局限性，并強調(diào)了構建可信賴AI系統(tǒng)的挑戰(zhàn)。

此外，CRP還展示了在特定問題集合上存在不會產(chǎn)生幻覺且總是正確的AI，但如果AI試圖通過一致性推理模仿人類智能，則不可避免地會出現(xiàn)錯誤。這與哥德爾不完備定理的核心思想相呼應，即在任何一致且足夠復雜的系統(tǒng)中，存在無法解決的問題。

經(jīng)典遞歸理論是計算理論的基礎，研究可計算函數(shù)和不可計算問題。圖靈的停機問題是遞歸理論中的一個經(jīng)典問題，揭示了某些問題無法通過算法解決。具體來說，停機問題指出，無法設計一個算法來確定任意計算機程序是否會停止運行。

CRP展示了AI在處理可計算問題時的局限性，強調(diào)了經(jīng)典遞歸理論在理解AI系統(tǒng)行為中的重要性。具體來說，CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。

此外，CRP還展示了在特定問題集合上存在不會產(chǎn)生幻覺且總是正確的AI，但如果AI試圖通過一致性推理模仿人類智能，則不可避免地會出現(xiàn)錯誤。這與經(jīng)典遞歸理論的核心思想相呼應，即在任何一致且足夠復雜的系統(tǒng)中，存在無法解決的問題。

圖片

圖7:CRP與Claude的實踐。圖3和圖4中聊天機器人Claude的實驗（略有修改）。

ChatGPT和Gemini的成功和失敗是一樣的。

CRP對AI發(fā)展的啟示

一致性推理悖論（CRP）不僅揭示了AI在模仿人類智能時的內(nèi)在挑戰(zhàn)，還為未來AI的發(fā)展提供了重要的啟示。論文通過分析一致性推理的局限性、‘I don’t know’功能的重要性、可信賴AI的設計原則、多領域應用的潛力、隨機算法的局限性以及經(jīng)典遞歸理論的應用，探討CRP對AI發(fā)展的深遠影響。

一致性推理的局限性

一致性推理是人類智能的核心能力之一，指的是處理等價但表述不同的任務的能力。然而，CRP揭示了AI在模仿這種能力時的內(nèi)在局限性。具體來說，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這些錯誤不僅僅是偶然的，而是在某些問題上會無限次發(fā)生。

這種現(xiàn)象的根本原因在于，AI在處理等價問題時，無法始終提供一致且正確的答案。即使AI具備強大的計算能力和存儲能力，它在面對等價問題時，仍然會出現(xiàn)錯誤。這一發(fā)現(xiàn)促使我們重新思考AI系統(tǒng)在模仿人類智能時的局限性，并探索如何設計更可信賴的AI系統(tǒng)。

‘I don’t know’功能的重要性

為了構建可信賴的AI系統(tǒng)，‘I don’t know’功能至關重要。具體來說，‘I don’t know’功能使AI系統(tǒng)能夠在無法確定答案時選擇“放棄”，從而避免生成錯誤答案。這不僅提高了AI系統(tǒng)的可信賴性，也增強了用戶對AI系統(tǒng)的信任。

‘I don’t know’功能的重要性體現(xiàn)在以下幾個方面：

• 避免錯誤答案：通過引入‘I don’t know’功能，AI系統(tǒng)可以在無法確定答案時選擇“放棄”，從而避免生成錯誤答案。這不僅提高了AI系統(tǒng)的可信賴性，也增強了用戶對AI系統(tǒng)的信任。
• 提高系統(tǒng)透明度：‘I don’t know’功能使AI系統(tǒng)能夠承認自身的局限性，并在必要時選擇“放棄”。這提高了系統(tǒng)的透明度，使用戶能夠更好地理解AI系統(tǒng)的行為和決策過程。
• 增強系統(tǒng)魯棒性：通過引入‘I don’t know’功能，AI系統(tǒng)可以在面對復雜和不確定的問題時，選擇“放棄”而不是提供錯誤答案。這增強了系統(tǒng)的魯棒性，使其能夠在各種環(huán)境中穩(wěn)定運行。
• 促進人機協(xié)作：‘I don’t know’功能使AI系統(tǒng)能夠在無法確定答案時，尋求人類的幫助。這促進了人機協(xié)作，使AI系統(tǒng)能夠更好地與人類合作，共同解決復雜問題。

可信賴AI的設計原則

在構建可信賴AI系統(tǒng)時，需要遵循以下設計原則。

CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。因此，構建可信賴AI的第一個原則是承認一致性推理的局限性，并在設計系統(tǒng)時考慮到這一點。

為了避免生成錯誤答案，AI系統(tǒng)必須具備在無法確定答案時說“I don’t know”的能力。這需要AI隱式計算一個新的概念，即‘I don’t know’函數(shù)。通過引入這一功能，AI可以在無法確定答案時選擇“放棄”，從而提高其可信賴性。

可信賴的AI系統(tǒng)不僅需要提供正確答案，還需要能夠解釋其答案的邏輯過程。這意味著，AI系統(tǒng)在提供答案時，必須具備一定的透明度和可解釋性，使用戶能夠理解其決策過程。

可信賴的AI系統(tǒng)必須在各種環(huán)境中穩(wěn)定運行，并能夠應對復雜和不確定的問題。這需要系統(tǒng)具備一定的魯棒性，能夠在面對挑戰(zhàn)時保持穩(wěn)定。

為了提高系統(tǒng)的可信賴性，可以將問題集合分為多個子域，并為每個子域建立特定的‘I don’t know’函數(shù)。例如，通過提示將問題集合分為多個子域，每個子域建立特定的‘I don’t know’函數(shù)。這種方法可以提高系統(tǒng)在特定領域內(nèi)的可信賴性。

雖然隨機算法在檢測AI錯誤方面的效果有限，但通過結(jié)合隨機算法與確定性算法，可以提高系統(tǒng)的可信賴性。例如，可以設計一個隨機算法來檢測AI的錯誤，并結(jié)合確定性算法來驗證其結(jié)果，從而提高系統(tǒng)的準確性和可信賴性。

可信賴的AI系統(tǒng)需要具備持續(xù)學習和優(yōu)化的能力。通過不斷學習和優(yōu)化，系統(tǒng)可以逐步提高其決策質(zhì)量和可信賴性。例如，可以通過引入機器學習和深度學習算法，使系統(tǒng)能夠在不斷積累數(shù)據(jù)的過程中，逐步提高其決策能力和準確性。

多領域應用的潛力

CRP不僅適用于AGI，還在科學和社會的廣泛領域中具有重要應用。以下是CRP在不同領域中的應用示例：

在醫(yī)療領域，AI系統(tǒng)被廣泛應用于診斷和治療決策。CRP揭示了AI在處理等價醫(yī)療問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同病癥時，可能會產(chǎn)生不同的診斷結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定診斷時選擇“放棄”，從而提高其可信賴性。

在金融領域，AI系統(tǒng)被用于風險評估和投資決策。CRP揭示了AI在處理等價金融問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同投資策略時，可能會產(chǎn)生不同的評估結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定評估結(jié)果時選擇“放棄”，從而提高其可信賴性。

在工程領域，AI系統(tǒng)被用于設計和優(yōu)化工程方案。CRP揭示了AI在處理等價工程問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同設計方案時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。

在公共管理領域，AI系統(tǒng)被用于政策制定和公共服務優(yōu)化。CRP揭示了AI在處理等價公共管理問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同政策方案時，可能會產(chǎn)生不同的建議。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定建議時選擇“放棄”，從而提高其可信賴性。

隨機算法的局限性

CRP III(b)指出，使用隨機算法檢測AI錯誤的成功概率不會超過50%。具體來說，即使設計一個隨機算法來檢測AI的錯誤，其成功概率也不會超過純粹猜測的50%。這意味著，隨機算法在檢測AI錯誤方面的效果非常有限。

這一發(fā)現(xiàn)對現(xiàn)代AI系統(tǒng)，尤其是依賴隨機算法的聊天機器人具有重要意義。它表明，不能完全依賴隨機算法來保證AI系統(tǒng)的正確性，而需要引入其他機制，如‘I don’t know’功能，以提高系統(tǒng)的可信賴性。

經(jīng)典遞歸理論的應用

經(jīng)典遞歸理論是計算理論的基礎，研究可計算函數(shù)和不可計算問題。圖靈的停機問題是遞歸理論中的一個經(jīng)典問題，揭示了某些問題無法通過算法解決。具體來說，停機問題指出，無法設計一個算法來確定任意計算機程序是否會停止運行。

CRP展示了AI在處理可計算問題時的局限性，強調(diào)了經(jīng)典遞歸理論在理解AI系統(tǒng)行為中的重要性。具體來說，CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。

此外，CRP還展示了在特定問題集合上存在不會產(chǎn)生幻覺且總是正確的AI，但如果AI試圖通過一致性推理模仿人類智能，則不可避免地會出現(xiàn)錯誤。這與經(jīng)典遞歸理論的核心思想相呼應，即在任何一致且足夠復雜的系統(tǒng)中，存在無法解決的問題。

CRP對AI發(fā)展的啟示包括承認一致性推理的局限性、引入‘I don’t know’功能、遵循可信賴AI的設計原則、探索多領域應用的潛力、認識隨機算法的局限性以及應用經(jīng)典遞歸理論。通過深入理解和應用CRP，我們可以在未來的AI研究和應用中，設計出更智能、更可信賴的系統(tǒng)。（END）

參考資料：https://arxiv.org/pdf/2408.02357

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS