簡單扯幾點：
首先，諸如Kaggle比賽的榜單前列經常會出現xgboost、gbdt、random forest、FM甚至組合LT等技術路線的，較少出現基於DNN套路。這樣的現象僅僅代表基於當時條件(選手、問題等等)，該類方案已經能相對較好的解決當前問題。就如同Imagenet等不會單純的靠人工特徵工程+傳統演算法奪冠(雖然理論上也是可行，但是為何要給自己找麻煩呢？）。
其次，如果從模型的capacity來看，神經網路(基於合理的設定)在一定準則下是能擬合任意函式的，自然是能從capacity上擬合決策樹≠在實際問題中就可以替代。因為理論上證明capacity的擬合，確沒有告訴你給定目標函式，怎麼設計合理神經網路。類似於夏農的三大存在性定理。 類似的(耍賴的）反問題主：線性模型(比如LR)能替代決策樹等等其他所有的演算法嗎？理論上(我不會證明)數學上各種非線性對映變換應該能把各種非線性問題投影到一個神奇空間，在該空間原始問題就變成線性模型可解的啦
最後不正經地回到題主問題本身（哈哈哈）：
1.神經網路能不能替代決策樹判斷方法：能不能低成本且更好地解決當前問題，若能則可以，反之亦然；
2.如何替代：找到一個更低成本的神經網路就可以；
3.什麼樣的結構：能夠低成本且更好解決當前問題的網路結構；
簡單扯幾點：
首先，諸如Kaggle比賽的榜單前列經常會出現xgboost、gbdt、random forest、FM甚至組合LT等技術路線的，較少出現基於DNN套路。這樣的現象僅僅代表基於當時條件(選手、問題等等)，該類方案已經能相對較好的解決當前問題。就如同Imagenet等不會單純的靠人工特徵工程+傳統演算法奪冠(雖然理論上也是可行，但是為何要給自己找麻煩呢？）。
其次，如果從模型的capacity來看，神經網路(基於合理的設定)在一定準則下是能擬合任意函式的，自然是能從capacity上擬合決策樹≠在實際問題中就可以替代。因為理論上證明capacity的擬合，確沒有告訴你給定目標函式，怎麼設計合理神經網路。類似於夏農的三大存在性定理。 類似的(耍賴的）反問題主：線性模型(比如LR)能替代決策樹等等其他所有的演算法嗎？理論上(我不會證明)數學上各種非線性對映變換應該能把各種非線性問題投影到一個神奇空間，在該空間原始問題就變成線性模型可解的啦
最後不正經地回到題主問題本身（哈哈哈）：
1.神經網路能不能替代決策樹判斷方法：能不能低成本且更好地解決當前問題，若能則可以，反之亦然；
2.如何替代：找到一個更低成本的神經網路就可以；
3.什麼樣的結構：能夠低成本且更好解決當前問題的網路結構；