終于找到答案了!DeepSeek憑啥能給出這么豐富的答案 - 反事實推理(上)
為什么deepseek的回答如此豐富,如此多維度?
今天和大家聊聊,deepseek核心技術(之一):反事實推理。
什么是反事實推理?
Counterfactual Reasoning,它是一種通過構建與事實相反的假設性情景,探索因果關系和潛在結果的邏輯推理方法。
舉個例子:
如果我是帥哥,短視頻流量會怎樣?
我是帥哥嗎?不是,這個假設有違事實。
但基于這個假設,會怎么樣呢?
探索一下其中的因果關系與潛在結果。
為什么說反事實推理對deepseek幫助極大呢?
其一,能突破數據量上限。
傳統(tǒng)的大模型,比拼的都是數據量與參數量,需要大量的互聯網數據。但互聯網數據畢竟是有限的,最多把全網的數據都拿來訓練,對吧?
有沒有辦法突破全網數據量上限呢?
有的,虛構數據,反事實推理模擬各種場景,來增強訓練樣本。
其二,助力因果發(fā)現,加強結果的解釋性,關聯性,因果性。
會有人問,虛構訓練數據,那回復的置信度會打折扣吧?
與之相反,反事實推理有著嚴密的數學模型,因果推斷三層次模型,它由美國計算機科學家Pearl提出,是因果推理理論的核心框架。
因果推斷有哪三層次?
第一層:關聯,Association。這一層關注條件概率P(Y|X),是傳統(tǒng)統(tǒng)計學和機器學習的主要關注點。
這一層能回答:是否具備相關性。
但無法回答:是否具備因果性。
舉例,通過觀察事實發(fā)現:P(肺癌|吸煙) > P(肺癌|不吸煙)
推理得出:肺癌與吸煙相關
但無法推出:吸煙導致肺癌
第二層:干預,Aintervention。這一層關注P(Y|do(X)),即主動干預某一變量,觀察對結果的影響。
這一層能夠回答:如果怎么樣(施加了干預),會怎么樣。
舉例,強制所有人抽煙,然后繼續(xù)觀察事實發(fā)現:
- P(肺癌|do(吸煙=100%)) > P(肺癌)
- P(肺癌|do(吸煙=100%)) != 100%
推理得出:
- 吸煙會使肺癌概率上升;
- 但吸煙不是導致肺癌的原因;
第三層:反事實,Counterfactuals。這一層研究假設性問題,關注xxoo(公式不會輸入)。
這一層關注:如果采取了不同的行動,結果會如何。這里面會用到結構因果建模SCM,反事實計算,可識別性分析等知識,不詳細展開。
畫外音:樓主沒研究透,所以打馬虎眼一筆帶過(這一句發(fā)布時刪除)。
舉例:如果某吸煙者當初未吸煙,肺癌的概率會如何變化。
反事實推理在責任判定(例如:醫(yī)療事故歸因),個性化決策(如果xx怎么樣,如果xx怎樣),人工智能因果解釋性上有大量應用。
總之,通過反事實推理,deepseek能夠更好地揭示變量間的因果鏈。
其三:避免單一輸出,加強分析維度。
這一點用過deepseek的童鞋感受上應該都比較直觀。
你看,deepseek的回答豐富度極高:
- 構造假設,嘗試多方案;
- 多方案進行數據對比;
- 差異歸因;
- 給出結論與建議;
總的來說,deepseek在提示詞優(yōu)化引擎,因果推理模塊,解釋性增強模塊,結論輸出模塊… 等算法、策略、工程架構中都深度結合了反事實推理,其對deepseek的崛起功不可沒。
反事實推理,對我們寫提示詞,獲取更佳的回答質量有什么啟示呢?
下一篇見。。
總結
- 反事實推理是deepseek的核心技術(之一);
- 反事實推理,是一種通過構建與事實相反的假設性情景,探索因果關系和潛在結果的邏輯推理方法;
- 反事實推理,有著嚴密的數學模型,屬于因果推斷第三層次;
- 反事實推理,能幫deepseek突破數據量上限,加強結果解釋性,提升回復豐富度;
知其然,知其所以然。
思路比結論更重要。