一般而言，深度學習是無法做因果推理的。但這並不表示我們應該拋棄深度學習，而近期已經出現了對應的解決方案，我們簡單介紹一下。

前段時間，貝葉斯之父Judea Pearl在採訪中就表示，AI 深陷於機率關聯的泥潭，而忽視了因果。Pearl 認為研究者應該研究因果（Cause and Effect），這可能是實現真正智慧的機器的可能路徑。

受到 Judea Pearl 的啟發，Ferenc Huszár 發表部落格，從觀察和干預資料分佈（對應監督學習和因果推理）的區別和聯絡出發，闡述了他對因果推理在機器學習中的意義的看法。他指出因果推理是深度學習的必要補充，而不是作為其對立面，必須在兩者中取其一舍其一。在機率關聯我們無法知道一個變數對另一個變數是否有可操作的關係，也就是“如果我們做了什麼會發生什麼”。因果推理正是對此的補充。

壓力計和容器壓力存在相關關係，但用手撥動壓力計並不能改變容器的實際壓力，而改變容器壓力卻可以改變壓力計的示數。如上圖所示，相對於觀察的變數分佈，因果模型比觀察分佈包含更多的細節。模型中的箭頭對應於假設的因果關係方向，沒有箭頭表示變數之間沒有直接的因果關係影響。因果圖到觀察分佈的對映是多對一的：幾個因果圖與同一個聯合分佈對應。因此，通常不可能僅透過觀察資料在不同的因果解釋之間作出結論性選擇。這裡，容器壓力指向壓力計示數就是兩個變數的觀察分佈的其中一個因果圖，而反向關係是不成立的。

實際上，資料驅動（深度學習）和規則推理（因果推理）正是AI研究領域的兩個極端。在解決具體問題的時候，兩者可以起到互補的作用。

在這一方面，DeepMind也進行了比較廣泛的探索，我們這裡簡單介紹兩篇相關的論文。

論文連結：https://arxiv.org/abs/1806.01830

摘要：在本文中，我們介紹了一種深度強化學習方法，它可以透過結構化感知和關係推理提高常規方法的效率、泛化能力和可解釋性。該方法使用自注意力來迭代地推理場景中實體之間的關係並指導 model-free 策略。實驗結果表明，在一項名為「方塊世界」的導航、規劃新任務中，智慧體找到了可解釋的解決方案，並且在樣本複雜性、泛化至比訓練期間更復雜場景的能力方面提高了基線水平。在星際爭霸 II 學習環境中，智慧體在六個小遊戲中達到了當前最優水平——在四個遊戲中的表現超越了大師級人類玩家。透過考慮架構化歸納偏置，我們的研究為解決深度強化學習中的重要、棘手的問題開闢了新的方向。

關係性強化學習

RRL 背後的核心思想即透過使用一階（或關係）語言 [8, 9, 17, 18] 表示狀態、動作和策略，將強化學習與關係學習或歸納邏輯程式設計 [16] 結合起來。從命題轉向關係表徵有利於目標、狀態和動作的泛化，並利用早期學習階段中獲得的知識。此外，關係語言還有利於使用背景知識，而背景知識同時也可以透過與學習問題相關的邏輯事實和規則提供。

例如在「方塊世界」的遊戲中，當指定背景知識時，參與者可以使用述語 above(S, A, B) 表示狀態 S 中方塊 A 在方塊 B 的上面。這種述語可以用於方塊 C 和 D 以及其它目標的學習中。表徵性語言、背景和假設形成了歸納性偏置，它能引導並限制智慧體搜尋良好的策略。語言（或宣告性）偏置決定了概念的表現方式。

神經網路傳統上就與屬性-值、命題性以及強化學習方法 [19] 聯絡在一起。現在，研究者們將 RRL 的核心思想轉化為深度 RL 智慧體中結構化指定的歸納偏置，他們使用神經網路模型在結構化的情景表徵（實體集合）上執行運算，並透過迭代的方式進行關係推理。其中實體對應著影象的區域性區域，且智慧體將學習注意關鍵物件並計算他們成對和更高階的互動。

論文地址: https://arxiv.org/pdf/1806.01261.pdf

摘要：人工智慧最近經歷了一場復興，在視覺、語言、控制和決策等關鍵領域取得了重大進展。取得這些進展的部分原因是由於廉價的資料和計算資源，它們符合深度學習的天然優勢。然而，在不同壓力下發展起來的人類智力，其許多決定性特徵對於目前的方法而言仍是觸不可及的。特別是，超越經驗的泛化能力——人類智力從幼年開始發展的標誌——仍然是現代人工智慧面臨的巨大挑戰。

本論文包含部分新研究、部分回顧和部分統一結論。我們認為組合泛化是人工智慧實現與人類相似能力的首要任務，而結構化表示和計算是實現這一目標的關鍵。正如生物學把自然與人工培育相結合，我們摒棄「手動設計特徵」與「端到端」學習二選一的錯誤選擇，而是倡導一種利用它們互補優勢的方法。我們探索在深度學習架構中使用關係歸納偏置如何有助於學習實體、關係以及構成它們的規則。我們為具有強烈關係歸納偏置的 AI 工具包提出了一個新構造塊——圖網路（Graph Network），它泛化並擴充套件了各種對圖進行操作的神經網路方法，併為操作結構化知識和產生結構化行為提供了直接的介面。我們討論圖網路如何支援關係推理和組合泛化，為更復雜的、可解釋的和靈活的推理模式奠定基礎。

圖網路

本論文提出的圖網路（GN）框架定義了一類對圖結構表徵進行關係推理的函式。該 GN 框架泛化並擴充套件了多種圖神經網路、MPNN 和 NLNN 方法（Scarselli 等，2009a; Gilmer 等，2017; Wang 等，2018c），並支援從簡單的構建模組建立複雜的架構。注意，這裡避免了在「圖網路」中使用「神經」術語，以反映它可以用函式而不是神經網路來實現，雖然在這裡關注的是神經網路實現。

GN 框架的主要計算單元是 GN 模組，這是一個「圖到圖」的模組，以圖為輸入，在結構層面上執行計算，並返回一個圖作為輸出。如 Box3 所示，實體由圖節點表徵，由邊連線，系統級特性由全域性屬性表徵。GN 框架的模組組織強調了可定製性，並能合成可以表達關係歸納偏置的新架構。其關鍵的設計原則是：靈活的表徵；可配置的模組內部結構；以及可組合的多模組框架。

舉個例子來比喻 GN 的形式化原則：考慮預測一堆橡膠球在任意引力場中的運動，它們不是互相碰撞，而是透過一個或多個彈簧互相連線。其結構和相互作用對應於 GN 的圖表徵和計算執行。

Box 3:「圖」的定義

參考文獻：

https://www.quantamagazine.org/to-build-truly-intelligent-machines-teach-them-cause-and-effect-20180515/

http://www.inference.vc/untitled/

最簡單地說，DL學到的是多因素聯合分佈，推理需要的是將聯合分佈分解成因子結構，即多個簡單條件機率的乘積，同時明確各個因子的可解釋性，而當前的DL難以解釋各因素意義，基本是個黑盒子，不是說不能而是需要變革。