當你看到一個棒球運動員擊球時，你可以推斷出不同元素之間的因果關系：

例如，在看到球棒和棒球運動員的手臂同步移動之后，你可以知道，是球員的手臂導致了球棒的移動，而不是球棒的移動導致了球員手臂的移動。

此外，你也不需要別人告訴才知道球棒正在引起球運動方向的突然改變。

這些推論是我們人類的直覺，我們在很小的時候就擁有了它——沒有人明確指導這件事情，僅僅通過觀察這個世界就可以。

但是對于在圍棋、國際象棋等復雜任務中成功超越人類的機器學習算法來說，因果關系的推理仍然是一個大的挑戰(zhàn)。

機器學習算法，尤其是深度神經網絡，尤其擅長從大量數(shù)據中找到微妙的模式，它們可以實時轉錄音頻，每秒標注數(shù)千張的圖像和視頻幀，并檢查x射線和核磁共振掃描出的癌癥模式。

然而，它們很難做出簡單的因果推論，就好比剛才提到的棒球例子。

在一篇名為「因果表示學習」（Towards Causal Representation Learning）的文章中，馬普所的智能系統(tǒng)研究部、蒙特利爾研究所的算法學習部以及Google Rsearch的研究人員討論了針對因果學習的一系列問題——他們研究了機器學習模型中缺乏因果表示所帶來的挑戰(zhàn)，并且提供了創(chuàng)建可以學習因果表示的人工智能系統(tǒng)的啟示和方向。

這篇研究，可能是突破機器學習中的因果表示領域中一些主要挑戰(zhàn)的關鍵。

機器學習為何受限？原來是常見假設「惹的禍」

為什么機器學習不能超越其所在的狹窄的領域，并收到訓練數(shù)據的限制？

針對這個問題，在這篇論文中，作者表示道：

「機器學習經常忽略動物大量使用的信息：比如對世界的干預、領域轉移、時間結構等。

總的來說，我們「討厭」這些因素，并試圖把他們設計出來。」

「與此一致的是，目前機器學習的大多數(shù)成功，都歸結于對適當收集得來的獨立和同分布(i.i.d.) 數(shù)據進行的大規(guī)模模式識別?！?/p>

在這里，我們需要簡單介紹一下一個常見的機器學習術語：「i.i.d.」

這個術語主要假設問題空間中的隨機觀測不相互依賴，且有恒定的發(fā)生概率——一個最簡單的例子就是拋硬幣或者擲骰子。

當涉及到計算機視覺等更加復雜的領域的時候，機器學習工程師試圖通過在非常大的樣本集上訓練模型將問題轉化為i.i.d.領域中。

這么做的假設是，如果有足夠的例子，機器學習模型可以將問題的一般分布編碼到它的參數(shù)中。

但是在現(xiàn)實世界中，由于訓練數(shù)據中無法考慮和控制的因素，這一分布往往會發(fā)生變化——

比如，即使是訓練了數(shù)百萬張圖像的卷積神經網絡，當在新的光照條件下、從略微不同的角度或者新的背景下「看」到物體時，也可能會失敗。

在訓練集中的物體vs在現(xiàn)實生活中的物體

解決這些問題的努力主要包括在更多的例子上訓練機器學習模型。但是，隨著環(huán)境變的越來越復雜，通過增加更多的訓練實例來覆蓋整個分布就變得不太可能。在人工智能必須與世界互動的領域，比如機器人和自動駕駛汽車，這個情況就變得更為顯著。

缺乏對因果關系的理解使得我們很難做出預測，也很難處理新的情況——這也就是為什么你會看到自動駕駛汽車在經過數(shù)百萬英里的訓練之后，卻仍然會犯奇怪和危險的錯誤的原因。

研究人員寫道：

「要在i.i.d.環(huán)境之外對對象進行很好的概括，不僅需要學習變量之間的統(tǒng)計關聯(lián)，還需要學習一個潛在的因果模型?！?/p>

因果模型還允許人們將以前獲得的知識應用于新的領域。

例如，當你學習了一款即時戰(zhàn)略游戲，比如《魔獸爭霸》，你可以快速的將你的知識應用于其他類似的游戲《星際爭霸》和《帝國時代》中。

然而，機器學習算法的遷移學習僅限于非常膚淺的用途：比如微調圖像分類器來檢測新類型的對象。

在更復雜的任務中，比如學習電子游戲，機器學習模型需要大量的訓練（需要玩數(shù)千年），并且對環(huán)境的微小變化反應很差（例如，開啟新地圖或者規(guī)則的微小變化）。

「當學習一個因果模型時，我們應該需要更少的例子來適應大多數(shù)知識，比如創(chuàng)造一個模塊，這樣這個模型可以在不需要進一步訓練的情況下重用。」

克服外界干擾，各種條件下因果學習依然「穩(wěn)的一批」

如上文所說，為什么i.i.d.有這些已知的弱點，卻仍然是機器學習的主導形式？

那是因為，純粹基于觀察的方法是可以擴展的：

我們可以通過添加更多的訓練數(shù)據，來繼續(xù)實現(xiàn)精度的增量提高，此外，我們還可以通過添加更多的計算能力來加速訓練過程。

事實上，深度學習最近取得成功的一個關鍵因素，就是更多可用的數(shù)據，以及更加強大的處理器。

此外，基于i.i.d.的模型很容易評估：

首先，我們獲取一個大型數(shù)據集，將其拆分為訓練集和測試集，然后對訓練數(shù)據調整模型，并通過測量其在測試集上的預測精度來驗證其性能，接著繼續(xù)訓練，直到達到所需的精度。

目前，已經有很多公共數(shù)據集提供了這樣的基準測試，比如ImageNet、CIFAR-10和MNIST。此外，如COVID-19診斷的covid - x數(shù)據集和威斯康星州乳腺癌診斷數(shù)據集之類具有特定任務的數(shù)據集也是如此。

在所有情況下，我們所要面對的挑戰(zhàn)都是一樣的——那就是開發(fā)一個可以根據統(tǒng)計規(guī)律預測結果的機器學習模型。

然而，正如該論文作者所觀察到的一樣，精確的預測往往不足以為決策提供信息。

例如，在新冠病毒大流行期間，許多機器學習系統(tǒng)開始失敗，因為他們訓練針對的是統(tǒng)計規(guī)律，而不是因果關系。隨著生活模式的改變，模型的準確性下降了。

當外界的干預改變了一個問題的統(tǒng)計分布時，因果模型仍然是穩(wěn)健的。

比如，當你第一次看到一個物體時，你的大腦會下意識地從它的外觀中排除光線因素，這也就是為什么我們在新的光照條件下看到一個物體時可以認出它的原因。

此外，因果模型還允許我們對之前沒見過的情況作出反應，并思考反事實：我們不需要把車開下懸崖才知道會發(fā)生什么。

反事實在減少機器學習模型所需要的訓練實例數(shù)量方面發(fā)揮了重要作用。

因果關系在處理對抗攻擊的時候也很關鍵——如果添加一些微小的變化，機器學習系統(tǒng)會以意想不到的方式失敗。

「這些攻擊顯然違反了作為統(tǒng)計機器學習基礎的i.i.d.假設」，論文作者寫道。

此外，論文作者還補充道，對抗性漏洞證明了人類智能和機器學習算法的魯棒性機制存在差異。

研究人員指出，因果模型可能是「對抗」對抗性攻擊的一種可能防御方法。

對抗攻擊目標機器學習對先驗知識的敏感度。在這幅圖像中，如果添加一層覺察不到的的噪聲，那么，卷積神經網絡就會誤判其成長臂猿

從廣義上講，因果關系可以解決機器學習缺乏泛化性的問題。研究人員寫道：「公平地說，大多數(shù)當前的實踐（解決i.i.d.基準問題）和大多數(shù)理論結果（關于在i.i.d.設置中的泛化性）都未能解決跨問題泛化的嚴峻挑戰(zhàn)?！?/p>

將因果關系添加到機器學習模型，未來前景如何？

在這篇論文中，研究人員還匯集了一些概念和原則，這些概念和原則，對于創(chuàng)建因果機器學習模型至關重要。

其中的兩個概念包括「結構因果模型」和「獨立因果模型」。

總的來說，該原則表明，AI系統(tǒng)應該可能夠識別因果變量，并分離他們對環(huán)境的影響，而不是尋找表面的統(tǒng)計相關性。

這種機制使得模型可以檢測不同的對象，而不用考慮視角、背景、照明和其他噪音等因素。

理清這些因果變量，將使得人工智能系統(tǒng)在應對不可預測的變化和外界干預的時候表現(xiàn)更加穩(wěn)健。因此，因果人工智能模型不需要龐大的訓練數(shù)據集。

「一旦因果模型可用，無論是通過外部人類知識還是學習過程，因果推理都可以允許（它）對干預、反事實和潛在結果得出結論」，論文作者表示。

此外，作者還探索了如何將這些概念應用于機器學習的不同分支，其中就包括強化學習——這對于智能代理嚴重依賴于探索環(huán)境和通過試錯發(fā)現(xiàn)解決方案的問題至關重要。

因果結構可以幫助強化學習的訓練更加有效，因為它允許使主體從訓練的一開始就做出明智的決定，而不是采取隨機和非理性的行動。

結合機器學習機制和結構因果模型，研究人員為人工智能系統(tǒng)提供了想法：

「結合結構因果建模和表示學習，我們應該努力講SCM嵌入到更大的機器學習模型中，這些模型的輸入和輸出可能是高維非結構化的，但SCM至少可以運作這些內部系統(tǒng)的一部分。

其結果可能是一個模塊化的架構，不同的模塊可以單獨調整，并用于新的任務?！?/p>

這些概念使得我們更接近于在大腦的不同領域和區(qū)域間連接和重用知識和技能的人類思維。

然而，值得注意的是，本文中提出的想法時在概念層面上的。

但有趣的事，研究人員從該領域的許多并行工作中獲得了靈感。這篇論文的引用中包含了朱迪亞·珀爾所做的工作，他是一位獲得圖靈獎的科學家，這位科學家以其在因果推理方面的工作而聞名。

珀爾直言不諱地批評了純深度學習方法。與此同時，這篇論文的共同作者之一、另一位圖靈獎得主Yoshua Bengio是深度學習的先驅之一。

本文還包含了一些與加里·馬庫斯(Gary Marcus)提出的混合人工智能模型相似的想法，該模型將符號系統(tǒng)的推理能力與神經網絡的模式識別能力相結合。

雖然目前還不清楚這幾種方法中哪一種能夠幫助解決機器學習的因果關系問題，但來自不同思想流派的觀點匯集在一起可以保證會產生有趣的結果。

「就其核心而言，i.i.d.模式識別只是一種數(shù)學抽象，而因果關系對于大多數(shù)形式的有生命的學習來說可能是必不可少的」，作者寫道。

「到目前為止，機器學習一直忽略了因果關系的完整整合，而本文認為，整合因果概念確實會讓機器學習受益?！?nbsp;