以下是對應深度學習最常問的問題
1.CNN最成功的應用是在CV，那為什麼NLP和Speech的很多問題也可以用CNN解出來？為什麼AlphaGo裡也用了CNN？這幾個不相關的問題的相似性在哪裡？CNN通過什麼手段抓住了這個共性？
Deep Learning -Yann LeCun, Yoshua Bengio & Geoffrey Hinton（http://t.cn/RjV2Zuc）
Learn TensorFlow and deep learning, without a PhD（http://t.cn/R00mUws）
The Unreasonable Effectiveness of Deep Learning -LeCun 16 NIPS Keynote（http://t.cn/RZ02yaK）
CNN抓住此共性的手段主要有四個：區域性連線／權值共享／池化操作／多層次結構。
區域性連線使網路可以提取資料的區域性特徵；權值共享大大降低了網路的訓練難度，一個Filter只提取一個特徵，在整個圖片（或者語音／文字） 中進行卷積；池化操作與多層次結構一起，實現了資料的降維，將低層次的區域性特徵組合成為較高層次的特徵，從而對整個圖片進行表示。如下圖：
DeepFace: Closing the Gap to Human-Level Performance in Face Verification（http://t.cn/RjVqsrg）
以FaceBook DeepFace 為例：
後接了3個Local-Conv層，這裡是用Local-Conv的原因是，人臉在不同的區域存在不同的特徵（眼睛／鼻子／嘴的分佈位置相對固定），當不存在全域性的區域性特徵分佈時，Local-Conv更適合特徵的提取。
3.對所有優化問題來說, 有沒有可能找到比現在已知演算法更好的演算法?
沒有免費的午餐定理：
也就是說：對於所有問題，無論學習演算法A多聰明，學習演算法 B多笨拙，它們的期望效能相同。
但是：沒有免費午餐定力假設所有問題出現機率相同，實際應用中，不同的場景，會有不同的問題分佈，所以，在優化演算法時，針對具體問題進行分析，是演算法優化的核心所在。
4.何為共線性, 跟過擬合有啥關聯?
共線性：多變數線性迴歸中，變數之間由於存在高度相關關係而使迴歸估計不準確。
共線性會造成冗餘，導致過擬合。
解決方法：排除變數的相關性／加入權重正則。
5.廣義線性模型是怎被應用在深度學習中?
深度學習從統計學角度，可以看做遞迴的廣義線性模型。
廣義線性模型相對於經典的線性模型(y=wx+b)，核心在於引入了連線函式g(.)，形式變為：y=g−1(wx+b)。
深度學習時遞迴的廣義線性模型，神經元的啟用函式，即為廣義線性模型的連結函式。邏輯迴歸（廣義線性模型的一種）的Logistic函式即為神經元啟用函式中的Sigmoid函式，很多類似的方法在統計學和神經網路中的名稱不一樣，容易引起初學者（這裡主要指我）的困惑。下圖是一個對照表：
以下是對應深度學習最常問的問題
1.CNN最成功的應用是在CV，那為什麼NLP和Speech的很多問題也可以用CNN解出來？為什麼AlphaGo裡也用了CNN？這幾個不相關的問題的相似性在哪裡？CNN通過什麼手段抓住了這個共性？
Deep Learning -Yann LeCun, Yoshua Bengio & Geoffrey Hinton（http://t.cn/RjV2Zuc）
Learn TensorFlow and deep learning, without a PhD（http://t.cn/R00mUws）
The Unreasonable Effectiveness of Deep Learning -LeCun 16 NIPS Keynote（http://t.cn/RZ02yaK）
CNN抓住此共性的手段主要有四個：區域性連線／權值共享／池化操作／多層次結構。
區域性連線使網路可以提取資料的區域性特徵；權值共享大大降低了網路的訓練難度，一個Filter只提取一個特徵，在整個圖片（或者語音／文字） 中進行卷積；池化操作與多層次結構一起，實現了資料的降維，將低層次的區域性特徵組合成為較高層次的特徵，從而對整個圖片進行表示。如下圖：
DeepFace: Closing the Gap to Human-Level Performance in Face Verification（http://t.cn/RjVqsrg）
以FaceBook DeepFace 為例：
後接了3個Local-Conv層，這裡是用Local-Conv的原因是，人臉在不同的區域存在不同的特徵（眼睛／鼻子／嘴的分佈位置相對固定），當不存在全域性的區域性特徵分佈時，Local-Conv更適合特徵的提取。
3.對所有優化問題來說, 有沒有可能找到比現在已知演算法更好的演算法?
沒有免費的午餐定理：
也就是說：對於所有問題，無論學習演算法A多聰明，學習演算法 B多笨拙，它們的期望效能相同。
但是：沒有免費午餐定力假設所有問題出現機率相同，實際應用中，不同的場景，會有不同的問題分佈，所以，在優化演算法時，針對具體問題進行分析，是演算法優化的核心所在。
4.何為共線性, 跟過擬合有啥關聯?
共線性：多變數線性迴歸中，變數之間由於存在高度相關關係而使迴歸估計不準確。
共線性會造成冗餘，導致過擬合。
解決方法：排除變數的相關性／加入權重正則。
5.廣義線性模型是怎被應用在深度學習中?
深度學習從統計學角度，可以看做遞迴的廣義線性模型。
廣義線性模型相對於經典的線性模型(y=wx+b)，核心在於引入了連線函式g(.)，形式變為：y=g−1(wx+b)。
深度學習時遞迴的廣義線性模型，神經元的啟用函式，即為廣義線性模型的連結函式。邏輯迴歸（廣義線性模型的一種）的Logistic函式即為神經元啟用函式中的Sigmoid函式，很多類似的方法在統計學和神經網路中的名稱不一樣，容易引起初學者（這裡主要指我）的困惑。下圖是一個對照表：