沒錯，現在的神經網路就是缺乏理論支援，大部分神經網路的進展很大程度上依賴試錯法。

Ali Rahimi在NIPS 2017的Test of Time獲獎演說中就直斥現在的AI是鍊金術，這裡的AI其實就是指神經網路。

Ali Rahimi自己承認，每3個月都要經歷從頭開始構建、訓練一個神經網路，結果發現它不work，於是懷疑是不是自己哪裡搞錯了。

Rahimi還說收到不少郵件，也在網上看到過很多bug報告，因為框架的一個瑣屑的調整，導致整個模型崩掉了。比如TensorFlow內部的取整方式調整了一下，然後某個模型的錯誤率就從小於25%一下子飆到99.97%

Rahimi提出的問題很值得重視。回顧神經網路在這十多年的發展，我們會發現大部分進展其實是由試錯法驅動的。Geoffrey Hinton在2006年提出了訓練深度神經網路的技巧——無監督預訓練，2010年Martens提出Hessian-free最佳化（也正是在這一年，ReLU取代Sigmoid成為佔據主導地位的啟用函式），2013年Sutskever等人提出隨機梯度下降，2014年我們有了dropout，2015年提出了殘差網路，緊接著2016年又提出廣殘差網路。最佳化神經網路訓練過程的技巧飛快地變來變去，而我們對為何一種技巧比另一種技巧更有效卻知之甚少。

要分開看。對具體的網路結構，那針對此網路特性的一些理論還是有的。但究竟網路結構和功能之間有何關聯，為解決某類問題需要何種結構，特別是最佳結構應如何獲得，都是沒理論支援的，AutoML只是在結構空間進行了統計最佳化，並未能找到最優結構。 悲觀一點，這種最優結構問題可能演算法上是不可有效計算的。

神經網路只是形似而非神似，模仿神經元細胞相互連線組網而來，深度學習也只是自動最佳化調參。神經元細胞互聯組網就是人工智慧嗎？動物身上也有啊。人工智慧的鑰匙在自然語言理解上。不解決這個，別想敲開人工智慧的大門。有成果，那也是偽智慧，走火入魔。方向錯了，再怎麼努力也是白搭。