神經網路飽受攻擊的一點就是，它是一個黑盒，也就是說，神經網路的可解釋性很差。NIPS 2017上，Ali Rahimi的演講就直斥“今天的人工智慧是鍊金術！”這主要是指神經網路而言的。

神經網路，尤其是現在的主流神經網路模型，訓練耗時很久。而且，模型的表現還和超引數密切相關。所以，當你反覆嘗試了多種超引數，訓練了很久沒什麼效果的時候，很容易感到焦慮和恐慌，不知道是超引數沒有選好，還是說這個模型設計上有問題，甚至是你寫程式碼時犯了低階錯誤。

能不能綜合出一些統計數字，反映網路的學習是有希望還是沒希望的。

所以你希望有個指標，告訴你這條路有沒有走對，大概還要走多久才能走到頭，這個心情很容易理解。但答案並不樂觀。實際上，Rahimi在演講的時候坦承，每3個月就要經歷一次：從零開始構建、訓練一個網路模型，訓練了好久，結果發現它不起作用。然後就開始自我懷疑，是不是哪裡搞錯了。所以，這不是你一個人的煩惱;-) 不知道這有沒有讓你好受些。

我的網路本身深度不夠，或者某些層的神經元不夠，整個網路不足以學習目標函式

實際上，你是在懷疑網路的表達效率（expressive efficiency）。你可以搞出一些統計指標，來估算模型的表達效率。比如，一般而言，更深、更寬、連通性更高的模型表達效率更高。但關鍵在於，你很可能並不清楚手頭的問題需要表達效率多高的網路才能學習目標函式。所以，即使你搞出了這套統計指標，這套東西也難以在訓練階段給你指引。更多的是“事後諸葛亮”，也就是說當你嘗試了多個模型，最終找到了成功的模型後，也許可以用這套統計指標來說明為什麼其他模型最終失敗了。

基本無可能，因為這個和問題自身複雜度相關，而問題的複雜度的計算是沒有好方法的，特別是當你連問題函式都不知道的情況下，如何能有這樣一個指標來指示是否系統複雜度不足?而且不收斂也不一定和模型複雜度有直接關係，複雜度過高同樣會出現引數振盪，因素太多，無法達到指標的指導作用。