2007年，深層神經網路背後的一些主要思想家在著名的人工智慧年會召開之餘組織了一次非官方的"衛星"會議。會議拒絕了他們舉辦正式講習班的請求：神經網離接管人工智慧還有幾年的時間。此次會議的最後一位演講者是多倫多大學的傑弗裡·欣頓，他是認知心理學家和計算機科學家，負責深網的一些重大突破。他首先打趣道："所以，大約一年前，我回家吃飯，我說，'我想我終於弄明白了大腦是如何工作的'，我15歲的女兒說，'哦，爸爸，不要再這樣了。
觀眾笑了。欣頓繼續說，"所以，這是它的工作原理。更多的笑聲隨之而來。
欣頓的笑話貶義了一個嚴肅的追求：用人工智慧來理解大腦。今天，深網統治AI的部分原因是一種稱為反向繁殖或反向程式設計的演算法。該演算法使深網能夠從資料中學習，賦予它們分類影象、識別語音、翻譯語言、瞭解自動駕駛汽車路況和完成許多其他任務的能力。
但真正的大腦不太可能依賴於相同的演算法。蒙特利爾大學的計算機科學家、魁北克人工智慧研究所的科學主任、2007年研討會的組織者之一Yoshua Bengio說，這不僅僅是"大腦能夠比最先進的人工智慧系統更好、更快地概括和學習"。由於各種原因，背部發育與大腦的解剖學和生理學不相容，尤其是在皮層。
本吉奧和其他許多受欣頓啟發的人一直在思考更生物學上合理的學習機制，這些機制可能至少與背相配的成功。其中三個——反饋對齊、均衡傳播和預測編碼——表現出了特別的希望。一些研究人員還在將某些型別的皮質神經元和過程（如注意力）的特性納入他們的模型。所有這些努力使我們更接近於理解可能在大腦中起作用的演算法。
透過背向教學學習幾十年來，神經科學家關於大腦如何學習的理論主要以加拿大心理學家唐納德·赫布（Donald Hebb）1949年提出的一條規則為指導，該規則經常被解釋為"一起燃燒的神經元，一起連線在一起"。即，相鄰神經元的活性關聯性越強，它們之間的突觸連線就越強。這一原則進行了一些修改，成功地解釋了某些有限的學習和視覺分類任務型別。
但是，對於必須從錯誤中吸取教訓的大型神經元網路來說，它效果要差得多：網路深處的神經元沒有直接針對性的方法來了解發現的錯誤，更新自己，減少錯誤。斯坦福大學的計算神經科學家和計算機科學家丹尼爾·亞明斯說："赫比安規則是一種非常狹窄、特別和不太敏感的錯誤資訊使用方式。
然而，這是神經科學家最好的學習規則，甚至在它主宰神經科學之前，它就啟發了20世紀50年代末第一個人工神經網路的發展。這些網路中的每個人工神經元都會接收多個輸入併產生輸出，就像其生物對應物一樣。神經元將每個輸入與所謂的"突觸"重量相乘-一個數字表示分配給該輸入的重要性-然後總結加權輸入。這個總和是神經元的輸出。到20世紀60年代，很明顯，這種神經元可以組織成一個有輸入層和輸出層的網路，人工神經網路可以訓練解決某種簡單的問題。在訓練期間，神經網路為神經元確定最佳權重，以消除或儘量減少錯誤。
塞繆爾·貝拉斯科/昆塔雜誌
然而，即使在20世紀60年代，解決更復雜的問題也很明顯，需要一個或多個"隱藏"的神經元層夾在輸入層和輸出層之間。沒有人知道如何有效地訓練隱藏層的人工神經網路-直到1986年，當欣頓，已故的大衛·魯梅爾哈特和羅納德·威廉姆斯（現在的東北大學）發表了背投演算法。
要了解這個過程，請考慮一個"損失函式"，該函式將推斷輸出和預期輸出之間的區別描述為丘陵和山谷的景觀。當網路用一組突觸重量推斷時，它最終在損失圖景的某個位置結束。要學習，它需要向斜坡或梯度向某個山谷移動，在那裡儘可能減少損失。背相是更新突觸重量以降低該梯度的方法。
從本質上講，演算法的後向階段計算每個神經元的突觸重量對誤差的貢獻程度，然後更新這些權重以提高網路的效能。此計算從輸出層依次向後進行到輸入層，因此名稱返回。對於一組輸入和所需的輸出，您將一遍又一遍地這樣做，最終您將獲得整個神經網路的可接受的權重集。
大腦不可能背漿的發明立即引起了一些神經科學家的強烈抗議，他們說，它永遠不能在真正的大腦工作。最著名的反對者是弗朗西斯·克里克，這位諾貝爾獎得主是DNA結構的共同發現者，後來成為一名神經科學家。1989年，克里克寫道，"就學習過程而言，大腦不太可能真正使用背部繁殖。
背支在生物學上被認為是難以置信的，主要有幾個原因。首先，雖然計算機可以很容易地在兩個階段實現演算法，但生物神經網路的實現並非微不足道。第二個是計算神經科學家所說的重量傳輸問題：後背演算法複製或"傳輸"有關推論中涉及的所有突觸重量的資訊，並更新這些重量以獲得更準確的資訊。但是在生物網路中，神經元只看到其他神經元的輸出，而不是形成這種輸出的突觸重量或內部過程。亞明斯說，從神經元的角度來看，"瞭解自己的突觸重量是可以的。"不好的是你知道一些其他神經元的突觸重量集。
塞繆爾·貝拉斯科/昆塔雜誌
任何生物學上合理的學習規則也需要遵守神經元只能從相鄰神經元獲取資訊的限制：背控可能需要來自更遠端神經元的資訊。因此，"如果你收回這封信，大腦似乎不可能計算，"本吉奧說。
儘管如此，欣頓和其他幾個人立即接受了挑戰，研究生物學上合理的背相形見影的變異。賓夕法尼亞大學計算神經學家康拉德·科丁（Konrad Kording）說："第一篇論文認為，大腦做（類似）背相傳就像背射一樣古老。在過去十年左右的時間裡，隨著人工神經網路的成功導致它們主導了人工智慧研究，尋找生物等價物進行反向研究的努力更加加強。
更逼真例如，2016年，倫敦谷歌DeepMind的蒂莫西·利利克拉普和他的同事們為體重運輸問題提供最奇怪的解決方案之一。他們的演算法，而不是依靠從前進通道記錄的權重矩陣，使用矩陣初始化與隨機值的向後透過。一旦分配，這些值永遠不會改變，因此不需要為每個向後傳遞運送重量。
令幾乎所有人都吃驚的是，網路學會了。由於用於推論的前進權重與每個向後透過一起更新，因此網路仍然降低損失函式的梯度，但透過不同的路徑。權重緩慢地與隨機選擇的向後權重對齊，最終產生正確的答案，給演算法起其名稱：反饋對齊。
研究人員還探索瞭如何匹配背端的效能，同時保持經典的赫比學習要求，即神經元只對本地鄰居做出反應。背流可以被認為是一組神經元做推論和另一組神經元做計算更新突觸重量。欣頓的想法是使用演算法，其中每個神經元都在做兩組計算。"這基本上就是傑夫在2007年所說的，"本吉奧說。
在Hinton的工作的基礎上，Bengio的團隊在2017年提出了一個學習規則，要求建立一個具有經常性連線的神經網路（即，如果神經元A啟用神經元B，那麼神經元B反過來啟用神經元A）。如果給這樣的網路一些輸入，它設定網路迴響，因為每個神經元響應其近鄰的推拉。
最終，網路達到神經元與輸入相互平衡的狀態，併產生輸出，這可能是錯誤的。然後，該演算法將輸出的神經元推向預期結果。這會設定另一個訊號，透過網路向後傳播，引發類似的動態。網路找到了一個新的平衡點。
Bengio 說："數學的美妙之處在於，如果你比較這兩種配置，在輕推之前和輕推之後，你得到了找到梯度所需的所有資訊。培訓網路只需在大量標記資料上反覆重複此"均衡傳播"過程。#科學·奧秘·探索##科學#
預測感知神經元只能透過對區域性環境做出反應來學習的約束，在大腦如何感知的新理論中也找到了表達方式。愛丁堡大學博士生、蘇塞克斯大學客座研究員貝倫·米利奇和他的同事們一直在調和這種新的感知觀——稱為預測性編碼——與背投的要求。"預測性編碼，如果它以某種方式設定，將給你一個生物學上合理的學習規則，"米利奇說。
預測編碼假定大腦不斷對感官輸入的原因做出預測。該過程涉及神經處理的分層層。要產生一定的輸出，每層必須預測下面層的神經活動。如果最高層期望看到一張臉，它預測下面的層的活動，可以證明這種感知是正當的。下面的層對它下面的層的期望做出類似的預測，等等。最低層對實際感官輸入做出預測——比如說，落在網膜上的光子。透過這種方式，預測從較高層流向下層。
赫比安規則是一種非常狹窄、特別和不太敏感的錯誤資訊使用方式。
丹尼爾·亞明斯，斯坦福大學
但是，在層次結構的每個級別都可能發生錯誤：一層對預期輸入的預測與實際輸入之間的差異。最底層根據收到的感官資訊調整突觸重量以儘量減少誤差。此調整導致新更新的最低層和上面的層之間的誤差，因此較高層必須重新調整其突觸權重，以最大限度地降低其預測誤差。這些錯誤訊號向上波紋。網路來回移動，直到每個層都最大限度地減少了其預測誤差。
Millidge 已經表明，透過適當的設定，預測性編碼網路可以與後端程式在大致相同的學習梯度上收斂。"你可以得到真正，真的，非常接近後prop梯度，"他說。#人工智慧##科技大佬語錄#
但是，對於傳統背向演算法在深度神經網路中進行的每一次向後傳遞，預測編碼網路必須多次重複。這是否在生物學上是合理的取決於這到底需要多長時間在一個真正的大腦。至關重要的是，在外部世界的投入發生變化之前，網路必須趨同於解決方案。
"這不可能像，'我有一隻老虎跳向我，讓我做100次迭代來回，上下我的大腦，'"米利奇說。不過，如果一些不準確是可以接受的，預測編碼可以很快得出一般有用的答案，他說。#科技快訊#
金字塔神經元一些科學家已經承擔了根據單個神經元的已知特性構建類似背普羅普的模型的細微任務。標準神經元具有從其他神經元軸突收集資訊的樹突。樹突將訊號傳輸到神經元的細胞體，在那裡訊號被整合。這可能會或可能不會導致尖峰，或行動潛力，走出去的神經元的軸突到後突觸神經元的樹突。
但並不是所有的神經元都有這種結構。特別是金字塔神經元——皮層中最豐富的神經元型別——明顯不同。金字塔神經元有一個樹狀結構，有兩組不同的樹突。樹幹伸手，分支成所謂的apical樹突。根伸向下，分支成玄武岩樹突。
塞繆爾·貝拉斯科/昆塔雜誌
Kording在2001年獨立開發的模型，以及最近由麥吉爾大學的布雷克·理查茲和魁北克人工智慧研究所及其同事開發的模型表明，金字塔神經元可以透過同時向前和向後計算來形成深度學習網路的基本單元。關鍵是將進入神經元的訊號分離，以進行前向推論和向後流動錯誤，這些誤差可分別由基底和apical樹突在模型中處理。這兩種訊號的資訊都可以編碼在電活動的峰值中，神經元會以輸出方式向下傳送軸突。
理查茲團隊的最新工作表明，"我們可以證明，使用相當逼真的神經元模擬，你可以訓練金字塔神經元網路完成各種任務，"理查茲說。然後使用稍微抽象一點的這些模型版本，我們可以讓金字塔神經元網路來學習人們在機器學習中執行的那種困難任務。
注意力的作用使用後背的深網的隱含要求是存在一個"老師"：可以計算神經元網路所犯的錯誤。但是，"大腦中沒有老師告訴運動皮層中的每一個神經元，'你應該開啟，你應該關閉'，"阿姆斯特丹荷蘭神經科學研究所的彼得·羅爾夫塞馬說。
鑑於這些進步，計算神經科學家悄悄地樂觀起來。"大腦有很多不同的方法可以做背部發育，"科丁說。"進化是相當該死的真棒。回溯是有用的。我想進化會讓我們到達那裡。