神經網路已知可以擬合任意函式
其實，所謂神經網路能逼近任意函式，這裡的函式也不是毫無限制的。Balázs Csanád Csáji在2001年提出了Universal approximation theorem（一般逼近定理），指出具有一個包含有限神經元（多層感知器，MLP）的隱藏層的前饋網路，可以逼近歐幾里得空間（R^n）緊緻子集（compact subset）上的連續函式。
那麼其他的模型呢?
而其他非線性模型未必可以像神經網路一樣具備逼近任意連續函式的能力。
比如最常用的樹模型
就拿決策樹來說吧，最近的一項成果是2013年IBM研究院的Vitaly Feldman等提出的低秩決策樹（Low-rank Decision Tree）可以逼近次模函式（Submodular Function）。（Representation, Approximation and Learning of Submodular Functions Using Low-rank Decision Trees，arXiv:1304.0730）。
另外，可以逼近，只是理論上的。理論上能夠逼近，和實際應用中，模型能夠高效地學習資料，解決手頭的問題，其實是兩回事。
神經網路已知可以擬合任意函式
其實，所謂神經網路能逼近任意函式，這裡的函式也不是毫無限制的。Balázs Csanád Csáji在2001年提出了Universal approximation theorem（一般逼近定理），指出具有一個包含有限神經元（多層感知器，MLP）的隱藏層的前饋網路，可以逼近歐幾里得空間（R^n）緊緻子集（compact subset）上的連續函式。
那麼其他的模型呢?
而其他非線性模型未必可以像神經網路一樣具備逼近任意連續函式的能力。
比如最常用的樹模型
就拿決策樹來說吧，最近的一項成果是2013年IBM研究院的Vitaly Feldman等提出的低秩決策樹（Low-rank Decision Tree）可以逼近次模函式（Submodular Function）。（Representation, Approximation and Learning of Submodular Functions Using Low-rank Decision Trees，arXiv:1304.0730）。
另外，可以逼近，只是理論上的。理論上能夠逼近，和實際應用中，模型能夠高效地學習資料，解決手頭的問題，其實是兩回事。