本質就是DAG結構。

resnet用公式表達就是y=x+f(x)，即某個節點的值直接取決於前面節點x和前面節點的計算f(x)。前面節點的計算f(x)用神經元來實現。

以densenet為例。

節點(或者叫結點)就是論文裡相同顏色的方塊，把它看成一個圖，它就是有向無環圖，只不過是把節點按拓撲序列排整齊而已。

不難理解DAG結構具有有效性，想象一下人類的大腦，是一個可以是任意的圖結構，圖結構可以考慮低層次和高層次的資訊。

densenet中block，可以理解為人類大腦結構中的微柱：每個block可以專一地處理某種問題，各個block之間可以透過任何想要的方式互連，從而可以高效地解決複雜問題。

至於為什麼是DAG結構，是因為DAG結構才符合有限計算的要求，根據拓撲序列依次計算出結果，不會出現死迴圈。

然而，實際大腦也不完全是一個DAG結構，而是存在迴路，迴路的存在使得計算出現死迴圈，因此對於計算來說需要有邊界條件。迴路結構常出現在生物體邊緣細胞處，例如對於肌肉的控制就會有迴路來形成負反饋調節。對於機器人控制等任務，反饋可能比較重要，但對於大多數cv nlp任務來說，僅僅是DAG結構足矣。

現在神經網路現有的研究，解決問題的方式大多是以區域性問題為驅動的，即我們需要解決一個梯度消失的問題，我們使用跨層連線可以使得梯度更好地傳播，我們要解決梯度爆炸，我們要限制一下每層的分佈，於是就有了BN。這樣思考的方式固然是正確的，但倘若我們以更高的角度去發現它們，就會有更深的理解。

逃。