關於深度學習從人腦研究到構建複雜演算法的進化過程的一個小故事

Frank Rosenblatt working on Perceptron Cornell Chronicle, Division of Rare and Manuscript

TLDR；在此部落格中，您將學習深度學習（DL）的理論方面及其發展方式，從研究人類大腦到構建複雜演算法。接下來，您將看到由著名的深度學習人員進行的幾項研究，然後他們在DL領域播種了幼樹，而DL現已發展成一棵大樹。最後，將向您介紹深度學習已奠定堅實基礎的應用程式和領域。

深度學習：簡史

在過去的十年中，沒有其他技術比人工智慧重要。斯坦福大學的安德魯·伍（Andrew NG）稱其為"新電力"，包括Google，微軟和蘋果在內的多家科技巨頭已經改變了其業務戰略，成為"人工智慧第一"的公司。我們為此深表感謝。在開始之前，讓我們瞭解DL的含義以及其大肆宣傳的原因。

深度學習是AI的子集，是一種計算機技術，可以使用神經網路的多個人工層來提取和轉換資料。這些層包含一組以特定狀態存在的人工神經元。當資料傳送到這些層時，每個層都從先前的層中獲取輸入，並逐步完善它們。然後，透過可不斷減少錯誤並提高其預測準確性的演算法對各層進行訓練。這樣，網路便學會了執行特定任務。

> Classes of Artificial Intelligence (Image by Author)

DL與傳統的AI和機器學習（ML）演算法相比，速度較慢，但功能更加直接和強大。因此，它們基於一種創新型別的模型（神經網路）在醫學，科學，社會，製造，供應鏈，機器人等不同領域中得到廣泛使用。如果您想知道DL的時間可以追溯到什麼時候，讓我向您澄清，它畢竟不是新的。它自1940年代以來就存在。讓我們深入瞭解歷史，看看它們是如何不時演變的。

McCulloch-Pitts（MCP）模型

神經網路由沃倫·麥卡洛（Warren McCullough）和沃爾特·皮茨（Walter Pitts）於1944年首次提出，這是兩位芝加哥大學的研究人員，他們於1952年移居麻省理工學院，成為第一個認知科學系的創始人。他們的研究的標題為"神經活動固有思想的邏輯演算"，目的是瞭解大腦如何透過使用許多相互連線的細胞來產生高度複雜的模式。同樣的理論也幫助他們使用受真實神經元啟發的電子電路對簡單的神經網路進行建模。據學者稱，儘管存在不同的觀點和問題，但本文仍被視為人工神經網路的開端。

> Warren McCulloch and Walter Pitts (Wikipedia Commons)

神經元的結構以" MCP（McCulloch Pitts）神經元"命名。MCP神經元通常被稱為線性閾值門，因為它將輸入分為兩類。在數學上，線性階躍函式定義為

> The mathematical definition of Linear threshold gate (Image by Author)

· y代表輸出

· xi代表輸入訊號

· wi代表神經元的相應權重

· Zj代表抑制輸入

· Θ代表閾值

該功能的設計方式是，任何抑制性輸入的活動都可以在任何時間點完全阻止神經元的興奮。

下圖是河口清（Kiyoshi Kawaguchi）的線性閾值門圖示。

> Symbolic Illustration of Linear Threshold Gate by Kiyoshi Kawaguchi

赫比學習規則

1949年，即MCP模型發明六年之後，唐納德·赫布（Donald O. Hebb）在他的名為"行為的組織"的研究中加強了神經元的概念。由於他在深度學習方面做出的巨大貢獻，他還被稱為神經網路之父。

> Donald Hebb (SRC: UBC Open Collections)

現在，讓我們看看" Hebbian規則"是關於什麼的；它指出，隨著這兩個單元同時出現的頻率增加，應加強兩個單元之間的聯絡。

為了理解規則，以下是他的書摘錄，

"當細胞A的軸突足夠接近以激發細胞B並反覆或持續參與激發它時，一個或兩個細胞中都會發生某些生長過程或代謝變化，使得作為激發細胞B的細胞之一，作為效率，增加了。"

上面的陳述描述了神經元活動如何影響神經元之間的連線，即突觸可塑性。它提供了一種更新神經網路內神經元連線權重的演算法。總結他的研究，以下是Hebbian學習機制的三個主要收穫：

· 神經網路中神經元連線之間的資訊以權重的形式儲存。

· 權重的更新與神經元啟用值的乘積成正比。

· 隨著學習的進行，弱連線神經元的同時或重複啟用會逐漸改變強度和模式，從而導致更牢固的連線。

感知器

1957年，在MCP模型和希伯來準則獲得成功之後，心理學家弗蘭克·羅森布拉特提出了第一個可訓練的神經網路，稱為Perceptron。後來，他用感知器構造了一種電子裝置，該電子裝置顯示出能夠根據聯想進行學習的能力。

Perceptron的設計與現代神經網路相似，不同之處在於，Perceptron的設計只有一層，可以在輸入層和輸出層之間將輸入分為具有可調權重和閾值的兩種可能的輸出類別。

> Rosenblatt and the Perceptron (Wikipedia Commons)

他的大部分研究主要是受到人類視覺環境的啟發。讓我們看看如何！

> Left: Illustration of organisation of a perceptron in (Rosenblatt, 1958), Right: A typical perceptron in modern machine learning literature (Src: On the origins of DL)

左圖解釋了Rosenblatt感知器。它具有四個單元，分別是感覺單元，投影單元，關聯單元和響應單元。當輸入被髮送到視網膜時，資訊被髮送到投影區域，然後投影區域前進到感覺單元，然後傳遞到關聯單元。該結構類似於當今神經網路中感知器的結構，如右圖所示。

可以認為感知器與MCP模型非常相似。但是，這是主要區別：

在感知器中，神經元具有與突觸權重相關的附加常數，稱為偏差（b）。可以將其視為啟用閾值的取反。

· 突觸權重不限於單一或正。因此，某些輸入可能具有抑制作用，從而使某些輸入對神經元輸出的影響大於其他輸入。

在數學上，感知器所依賴的人工神經元的非線性由下式給出：

> Image by Author

無論採用什麼形式，感知器（以及許多其他線性分類器）的決策邊界都由下式給出：

> Image by Author

另外，我們可以給出一個緊湊的數學符號，如下所示：

> Image by Author

這是感知器的現代插圖，解釋了重量和偏向如何與神經元相連：

> Image by Author

反向傳播

反向傳播學習技術是深度學習領域的重大突破之一。該演算法於1970年代引入。但是，直到1986年著名的研究論文"透過反向傳播錯誤學習表示法"（David Rumelhart，Geoffrey Hinton和Ronald Williams出版）之後，它的重要性才得到人們的充分認識。

Left to Right: David Rumelhart Geoffrey Hinton, NNs, with forward and back pass (Wikipedia Commons)

如果沒有針對神經網路的高效反向傳播技術，將深度學習網路訓練到今天所看到的深度將是不切實際的。反向傳播可以被認為是現代神經網路和深度學習的基礎。

該演算法用於使用稱為鏈規則的方法有效地訓練神經網路。簡而言之，在每次向前透過網路後，反向傳播都會執行向後傳播，同時會調整模型的引數（權重和偏差）。反向傳播的核心是成本函式C的偏導數∂C/∂w的表達，其中C涉及網路中的任何權重w（或偏差b）。

"為什麼將導數用於反向傳播演算法？"。

· 特定輸入x的成本函式C的梯度是C的偏導數的向量。

· 使用成本函式的這種梯度，我們可以測量與輸入量變化有關的輸出值靈敏度。換句話說，使用此導數，我們可以瞭解成本函式的發展方向。

· 總而言之，漸變顯示引數w（或b）需要改變（正向或負向）以最小化C的量。

> Image showing how the gradients are Computed (src)

到目前為止，我們已經看到了深度學習先驅做出的一些重要貢獻。下圖為我們提供了自1940年代以來該領域如何演變的總體思路。如我們所見，時間軸非常密集，而在單個部落格文章中涵蓋所有這些內容將是完全不現實的。如果您仍然有興趣進一步詳細瞭解這一點，建議您閱讀這篇由Haohan Wang和Bhiksha Raj撰寫的非凡研究，題為"關於深度學習的起源"。

> Credits to Favio Vázquez for this awesome image!

現在，讓我們來看看深度學習如何發展到迄今為止具有各自應用程式的不同領域。

深度學習的領域和應用

很久以前，當前技術的進步是無法觸及的。我們從未想象過人性化的計算機，自動駕駛汽車以及醫療程式的改進。但是如今，這些功能憑藉深度學習的力量已成為我們日常生活的一部分。現在讓我們進一步瞭解深度學習在各個領域的應用。

計算機視覺：簡而言之，簡歷提供了一些技術來幫助計算機"看到"並理解數字內容，例如影象和影片。以下是DL for Computer Vision的一些應用程式。

· 面部識別和識別

· 衛星和無人機影象

· 影象搜尋最佳化

· 影象超解析度和彩色化

· 引導自動駕駛車輛識別道路，行人，訊號燈等

自然語言處理（NLP）：NLP幫助理解與語言相關的複雜性，可能是語法，語義，音調細微差別，表達甚至嘲諷。隨著計算能力的提高，深度學習現在也能夠識別和理解人類語言。諸如Siri，Google Voice之類的AI助手主要依靠NLP來處理資訊。這是它的一些應用。

· 語音識別

· 命名實體識別（標識名稱，位置，地址，並且可以從文字中移出）

· 聊天機器人（Q和A）

· 社交媒體上的情緒和情感檢測

醫學與生物學：醫學與生物學的進步提供了大量資料，如醫學影象，基因資訊，蛋白質序列等。利用這些資料，正在開發幾種基於深度學習的演算法，這些演算法已廣泛用於生產中，以幫助醫生，科學家和放射科醫生。以下是一些透過DL取得突破的應用程式：

· 醫學影象分類（在CT，MRI，X射線影象上）

· 腫瘤分割

· 蛋白質摺疊和藥物發現

· 臨床文字處理

遊戲：DL徹底改變了以前的遊戲方式。DL演算法現在可以透過適應玩家的情緒和心理狀態來與人類對抗。所有這些都歸功於強化學習帶來的嘗試和錯誤學習的概念。

> OpenAI models playing against humans (Source: OpenAI)

以下是一些被廣泛使用的應用程式：

· 玩NPC（非角色）—機器人

· 建模複雜的互動

· 影片圖形處理

· 遊戲宇宙創作

參考文獻：

· 解釋：神經網路

· 用於反向傳播的多執行緒軟體模型

· 感知器：大腦中資訊儲存和組織的機率模型

· 深度學習的起源

· 羅森布拉特的感知器，第一個現代神經網路|尚·克里斯托夫·B·洛索（Jean-Christophe B.Loiseau）