腦有接近900億個神經元，這麼龐大的網路規模是如何防止梯度消失和梯度爆炸的呢？我自己想的是，因為人腦不會一次性啟用所有神經元，在腦區較遠的地方將結果進行快取。
人腦是怎麼運作的？
是你給一個影象進去人腦就全腦同時激活了嗎？顯然不是，大腦是分割槽啟用的。但是，將資訊儲存在一個較遠的地方只是人腦演算法一個很小的部分，它與動物與人驚人的識物能力無關。我覺得它更多的與短時記憶的儲存（在變為長時記憶之前）有關。
現在大家普遍認為人腦並沒有像DNN那樣的梯度回傳機制...瞭解一點生物學就知道神經元的傳遞是單向的。但是至於能不能2個神經元一個前饋一個回傳？現在的研究並沒有發現...而且一般都是把這種連結看成迴圈結構的（RNN）。其次新生的動物大機率不需要學習就能掌握很多基本的資訊處理能力。例如牛羊馬這些一生下來就能走路的。說明他們基因裡就預程式設計了走路運動，視覺等一些基本能力，而這些能力我們都是透過backpropagation訓練模型來達成的。人類之所以生下來看不清。現有的解釋大約是人類在出生時並沒有發育完全，不然嬰兒頭太大無法順利生產。但是，大腦裡肯定是存在回傳error從而修改突觸權重的機制的。
腦有接近900億個神經元，這麼龐大的網路規模是如何防止梯度消失和梯度爆炸的呢？我自己想的是，因為人腦不會一次性啟用所有神經元，在腦區較遠的地方將結果進行快取。
人腦是怎麼運作的？
是你給一個影象進去人腦就全腦同時激活了嗎？顯然不是，大腦是分割槽啟用的。但是，將資訊儲存在一個較遠的地方只是人腦演算法一個很小的部分，它與動物與人驚人的識物能力無關。我覺得它更多的與短時記憶的儲存（在變為長時記憶之前）有關。
現在大家普遍認為人腦並沒有像DNN那樣的梯度回傳機制...瞭解一點生物學就知道神經元的傳遞是單向的。但是至於能不能2個神經元一個前饋一個回傳？現在的研究並沒有發現...而且一般都是把這種連結看成迴圈結構的（RNN）。其次新生的動物大機率不需要學習就能掌握很多基本的資訊處理能力。例如牛羊馬這些一生下來就能走路的。說明他們基因裡就預程式設計了走路運動，視覺等一些基本能力，而這些能力我們都是透過backpropagation訓練模型來達成的。人類之所以生下來看不清。現有的解釋大約是人類在出生時並沒有發育完全，不然嬰兒頭太大無法順利生產。但是，大腦裡肯定是存在回傳error從而修改突觸權重的機制的。