如今，人工智慧幾乎出現在我們生活的方方面面。智慧手機、社交媒體源、推薦引擎、線上廣告網路和導航工具都是基於人工智慧應用程式的例子，它們影響著我們的日常生活。

深度學習一直在系統地提高語音識別、自動駕駛、機器翻譯和視覺物件識別等領域的技術水平。量子力學之父之一、自艾薩克·牛頓爵士以來最偉大的英國物理學家保羅·狄拉克曾說，使用“數學推理方法”的物理學進步將：

……使人能夠推斷出尚未進行的實驗的結果。沒有任何邏輯上的理由說明[…]方法應該是可行的，但人們在實踐中發現它確實有效，並取得了成功。這必須歸因於自然界的一些數學性質，一種自然的旁觀者不會懷疑的性質，但它在自然界中扮演著重要的角色。

保羅·狄拉克

歷史上有很多例子表明，純粹抽象的數學概念最終導致了強大的應用，遠遠超出了它們的開發環境。這篇文章就是關於這些例子中的一個。

最近，我對深度學習、純數學和物理之間的聯絡特別感興趣。這篇文章提供了來自數學分支（數學分析）的強大技術的例子。我的目標是用嚴謹的數學結果來證明，至少在某些方面，為什麼深度學習方法如此有用。

一個美麗的定理

在這一節中，我將論證人工神經網路如此強大的原因之一與神經元輸出的數學形式密切相關。

愛因斯坦的手稿

我將用一個著名的定理來證明，這個定理最初是由兩位俄羅斯數學家在50年代後期證明的，即所謂的柯爾莫戈羅夫-阿諾德表示定理。

希爾伯特的第13個問題

1900年，20世紀最有影響力的數學家之一大衛·希爾伯特提出了一系列著名的問題，有效地設定了20世紀數學研究的程序。柯爾莫戈洛夫-阿諾德表示定理與著名的希爾伯特問題有關，所有這些問題都對20世紀的數學產生了巨大的影響。

與神經網路建立聯絡

考慮n個變數的函式可以表示為單一變數的兩個函式的和和組合的組合的可能性，更具體地說：

這裡，η和λp都是實數。需要注意的是，這兩個單變數函式是 Φ 和 ϕ 可以具有高度複雜的（分形）結構。

柯爾莫戈洛夫（1957）、阿諾德（1958）和斯普雷徹（1965）的三篇文章證明了多元函式一定可以用單元函式表示。

然後呢？

現在，你可能會想，一個50年代和60年代的深奧定理怎麼會與人工神經網路等尖端演算法扯上一點關係呢？

在一個神經網路的每個節點計算的表示式是其他函式的組合，在這種情況下，就是所謂的啟用函式。這種組合的複雜程度取決於包含節點的隱含層的深度。例如，第二層隱含層中的一個節點執行如下計算：

w是權重，b是偏差。讓我們用Python快速寫下一個僅用於正向傳播的函式，它輸出神經元執行的計算。下面的函式程式碼有以下步驟。

第一行，第一個啟用函式ϕ作用於給出的第一個線性步驟：

x0.dot(w1) + b1

第二行，第二個啟用函式作用於第二個線性步驟：

y1.dot(w2) + b2

第三行，神經網路的最後一層使用softmax函式，作用於第三個線性步驟：

y2.dot(w3) + b3

完整程式碼為：

為了將其與上面的表示式進行比較，我們這樣寫：

y2 = phi(phi(x0.dot(w1) + b1).dot(w2) + b2)

連線兩個世界

因此，我們認為，柯爾莫戈洛夫、阿諾德和斯普雷徹證明的結果表明，神經網路的輸出只是函式的重複組合，它可以表示任何多元函式。這在一定程度上解釋了為什麼神經網路在這麼多領域都能很好地工作。換句話說，神經網路的泛化能力，至少在某種程度上，是柯爾莫戈羅夫-阿諾德表示定理的結果。