cnn先在cv火，然後在nlp火，接著rnn在nlp火，現在又慢慢開始在cv火了，cv和nlp很多方法都是通用的，我覺得更重要的是學會遷移

CNN在CV與NLP領域運用的聯絡與區別

1、聯絡：自然語言處理是對一維訊號（詞序列）做操作，計算機視覺是對二維（影象）或三維（影片流）訊號做操作。

2、區別：自然語言處理的輸入資料通常是離散取值（例如表示一個單詞或字母通常表示為詞典中的one hot向量），計算機視覺則是連續取值（比如歸一化到0，1之間的灰度值）。

CNN有兩個主要特點，區域不變性(location invariance)和組合性(Compositionality)。

1. 區域不變性：濾波器在每層的輸入向量(影象)上滑動，檢測的是區域性資訊，然後透過pooling取最大值或均值。pooling這步綜合了局部特徵，失去了每個特徵的位置資訊。這很適合基於影象的任務，比如要判斷一幅圖裡有沒有貓這種生物，你可能不會去關心這隻貓出現在影象的哪個區域。但是在NLP裡，詞語在句子或是段落裡出現的位置，順序，都是很重要的資訊。

2. 區域性組合性：CNN中，每個濾波器都把較低層的區域性特徵組合生成較高層的更全域性化的特徵。這在CV裡很好理解，畫素組合成邊緣，邊緣生成形狀，最後把各種形狀組合起來得到複雜的物體表達。在語言裡，當然也有類似的組合關係，但是遠不如影象來的直接。而且在影象裡，相鄰畫素必須是相關的，相鄰的詞語卻未必相關。