[[412443]]

在當前的人工智能研究社區(qū)，以數(shù)據(jù)為中心的方法占據(jù)了絕對的主導地位，并且這類方法也確實成就非凡，為語音識別、計算機視覺和自然語言處理等重要任務都帶來了突破性的進展。即便如此，也一直有研究者在思考這類方法的不足之處以及其它方法的重要價值。近日，圖靈獎獲得者、著名計算機科學家和哲學家 Judea Pearl 發(fā)布了一篇短論文，從便利性、透明度、可解釋性三個角度談了他對激進經(jīng)驗主義和機器學習研究的思考。

論文鏈接：https://ftp.cs.ucla.edu/pub/stat_ser/r502.pdf

在這篇論文中，Judea Pearl 將沿便利性、透明度和可解釋性三個維度對比用于數(shù)據(jù)科學的「數(shù)據(jù)擬合（data fitting）」與「數(shù)據(jù)解釋（data interpreting）」方法?！笖?shù)據(jù)擬合」方法的信念源自研究者相信理性決策就隱藏在數(shù)據(jù)本身之中。相較而言，數(shù)據(jù)解釋學派卻并不將數(shù)據(jù)視為唯一的知識來源，而是一種用于解讀現(xiàn)實的輔助手段——這里的「現(xiàn)實」是指生成數(shù)據(jù)的過程。文章將在因果邏輯的指引下，探討擬合與解釋在任務方面的共生關系，以此讓數(shù)據(jù)科學恢復平衡。

模擬進化與數(shù)據(jù)科學

我最近參加了一個講座，演講者這樣總結了機器學習的哲學思想：「所有知識均源自所觀察到的數(shù)據(jù)，有些直接來自感官經(jīng)驗，有些則來自通過文化或基因方式傳遞給我們的非直接經(jīng)驗。」

觀眾會覺得這樣的稱述是不證自明的，其也為該演講奠定了基調(diào)，即可以如何通過檢查數(shù)據(jù)中條件概率的模式來分析「知識」的本質(zhì)。很自然，它沒有涉及到「外部世界」、「理論」、「數(shù)據(jù)生成過程」、「因果」、「能動性」和「心智構造」等概念，因為從表面上看，如有需要，這些概念也能在數(shù)據(jù)中找到。換句話說，不管人類在解釋數(shù)據(jù)時會用到什么概念，比如有關來源的文化、科學或基因上的概念，都可以追溯到讓這些概念有存在價值的初始感覺經(jīng)驗并且還能從這些感官經(jīng)驗重新推衍出來。

從人工智能的角度看，這種以數(shù)據(jù)為中心的哲學為機器學習研究提供了一種有吸引力的乃至極具誘惑力的研究前景：為了開發(fā)人類水平的智能機器，我們應該僅遵循我們祖先獲得智能的方式，將我們可能收集到的所有數(shù)據(jù)用作輸入，在數(shù)字機器上同時模擬基因進化和文化進化。在極端情況下，這樣的前景可能激發(fā)出相當未來主義和雄心勃勃的情形：從一個類似原始生物（比如變形蟲）的簡單神經(jīng)網(wǎng)絡開始，讓它與環(huán)境交互，變異并產(chǎn)生后代，給予其足夠的時間，它最終就能獲得愛因斯坦水平的智能。事實上，除了神圣的經(jīng)文和神明的啟示，如果沒有自古以來一直沖擊著人類種族的原始數(shù)據(jù)流（當然也包括人類之前那些更原始的生物獲得的感官輸入），愛因斯坦又能從其它什么地方獲得他的知識、才能和智慧呢？

在問這樣的前景有多現(xiàn)實之前，我們先在討論之前看兩個觀察所知的情況：

1. 模擬進化，不管是哪種具體形式，事實上都引領著當前大多數(shù)機器學習研究的主要范式，尤其是那些涉及到連接主義、深度學習和神經(jīng)網(wǎng)絡技術的范式。這些技術可以部署無模型的、基于統(tǒng)計學的學習策略。這些策略在計算機視覺、語音識別和自動駕駛汽車等應用中已經(jīng)取得了亮眼的成功。這樣的成功激發(fā)了對這些策略的充分性和無限潛力的希望，同時也削弱了人們對基于模型的方法的興趣。

2. 以數(shù)據(jù)為中心的發(fā)展方向的思想根基深深根植于西方哲學的經(jīng)驗主義分支。該哲學分支認為：感官體驗是我們所有概念和知識的最終來源，而「先天觀念」和「理性」在作為知識來源方面僅能發(fā)揮少許作用，乃至毫無作用。經(jīng)驗主義思想可以追溯到古代亞里士多德的著作，但將經(jīng)驗主義發(fā)揚光大的則是英國經(jīng)驗主義哲學家弗朗西斯 · 培根、約翰 · 洛克、喬治 · 貝克萊和大衛(wèi) · 休謨以及更近期的哲學家查爾斯 · 桑德斯 · 皮爾士（Charles Sanders Peirce）和威廉 · 詹姆斯（William James）。事實上，現(xiàn)代連接主義已被視為激進經(jīng)驗主義相對于理性主義的一大勝利。實際上，在數(shù)字機器上模擬知識習得過程的能力提供了非常靈活的測試平臺，可讓人通過在數(shù)字機器上執(zhí)行實驗來評估有關經(jīng)驗主義和天賦能力（innateness）之間平衡的理論。

盡管測試哲學理論有其好處，但對于為機器學習研究遵循激進經(jīng)驗主義議程的思想，我有三個主要的保留意見。我將通過三個論點來說明為什么經(jīng)驗主義應該與基于模型的科學的原理保持平衡。而對于基于模型的科學，學習過程受兩大信息來源指引：(a) 數(shù)據(jù)，(b) 人工設計的有關數(shù)據(jù)生成方式的模型。

我將這三個論點標記為：(1) 便利性、（2）透明度、（3）可解釋性。將在下文逐一討論它們：

便利性

進化是一個過于緩慢的過程，因為大多數(shù)突變都是無用乃至有害的，并且等待自然選擇區(qū)分并從無用突變中過濾出有用突變往往也具有難以承受的成本。大量機器學習任務都需要對稀疏的新數(shù)據(jù)進行快速解讀并快速響應，而這些新數(shù)據(jù)又實在過于稀疏，以至于無法通過隨機突變來過濾。新冠疫情的爆發(fā)就是這一情況的完美例證：來自不可靠和各式各樣來源的稀疏數(shù)據(jù)需要快速解讀和快速行動，它們主要基于之前的流行病傳播和數(shù)據(jù)生成模型?？傮w而言，機器學習技術有望利用大量已經(jīng)存在的科學知識，結合可以收集到的數(shù)據(jù)，從而解決健康、教育、生態(tài)和經(jīng)濟等領域的關鍵社會問題。

更重要的是，科學知識可通過主動引導數(shù)據(jù)和數(shù)據(jù)源的選擇或過濾過程來加快進化速度。選擇使用哪些數(shù)據(jù)或運行哪些實驗前，需要從理論上假設性地考慮每種選擇會得到怎樣的結果以及它們在未來提升性能的可能性。舉個例子，為了提供這樣的預期，可使用因果模型，其既能預測假設性操作的結果，也能預測違反事實情況地撤銷過去事件的后果。

透明度

為了最終能使用世界知識（即便是自原始數(shù)據(jù)自發(fā)演化而來的世界知識），我們必須以某種機器形式對其進行編譯和表征。編譯知識的目的是將發(fā)現(xiàn)過程分攤到許多推理任務上，從而無需重復這個過程。然后，編譯后的表征有助于高效地得到許多選擇性決策問題的答案，包括有關如何收集額外數(shù)據(jù)的方式的問題。某些表征允許這樣的推理，另一些則不允許?！稙槭裁矗宏P于因果關系的新科學》一書中提出的因果關系層級（adder of Causation）形式化地定義了用于回答有關假設性干預和 / 或解釋以及反事實的問題所需的知識內(nèi)容的類型。

知識編譯涉及到抽象和重新格式化。前者允許損失信息（正如圖像模型歸納為數(shù)值方程的情況），而后者會保留信息內(nèi)容，只是會將一些信息從隱式轉(zhuǎn)變成顯式的表征。舉一個經(jīng)典的例子：信號波形的頻譜表示。從信息角度看，前者等價于后者，但頻譜明確表示了信號的特定方面。

這些需要考慮之處要求我們研究所編譯的表征的數(shù)學性質(zhì)、它們的內(nèi)在局限性、它們支持的推理類型以及它們在得到它們期望得到的答案上的效果。用更具體的術語說，機器學習研究者也應該參與現(xiàn)在被稱為「因果建模（causal modelling）」的研究，并使用因果科學的工具和原則來指導數(shù)據(jù)探索和數(shù)據(jù)解釋過程。

可解釋性

不管積累、發(fā)現(xiàn)或存儲因果知識的方式如何，由知識推動實現(xiàn)的推理都要交付給人類用戶并讓其獲益?，F(xiàn)如今，這些用途包括政策評估、個人決策、生成解釋、分配功勞和責罰或廣義地認知我們周圍的世界。因此，所有推理都必須用一種與人們自身組織世界知識的方式相匹配的語言進行描述，也即因果的語言。因此，不管機器學習研究者為數(shù)據(jù)擬合采用了怎樣的方法，他們都必須熟練掌握這種對用戶友好的語言、其語法、其普遍規(guī)則以及人們解讀或誤讀機器學習算法發(fā)現(xiàn)的功能的方式。

結論

將人類知識的內(nèi)容與其感官數(shù)據(jù)來源等同起來是錯誤的。對于知識的特征描述而言，知識存儲于心智（或計算機）中的格式及（尤其是）其隱式與顯式組分的平衡是與其內(nèi)容或來源一樣重要的。

盡管激進經(jīng)驗主義可能是進化過程的一個有效模型，但它對機器學習研究而言卻是一個糟糕的策略。它讓以數(shù)據(jù)為中心的思潮大行其道，而這一思潮當前主導了統(tǒng)計學和機器學習文化。這一思潮認為：理性決策的秘訣僅在于數(shù)據(jù)。

「數(shù)據(jù)擬合」和「數(shù)據(jù)解釋」平衡的混合策略能更好地讓我們把握進化過程所需的知識編譯的各個階段。