word embedding 的中文解釋為 “詞嵌入”。 先用‘one-hot encoding’來簡單的理解，one-hot encoding是一種編碼技術，假如有三個詞“麥克風”、“話筒”、“杯子”，用‘one-hot encoding’技術編碼，三個詞對應的向量是[1, 0, 0]， [0, 1, 0]，[0, 0, 1]。但是現實是我們有成千上萬的詞語啊，這樣會造成每個詞向量含有很多0，也就是造成稀疏編碼的問題，所以我們需要降維。比如說，上面的三個詞語也可以這樣表示[0, 1]， [0.4, 0.9]，[1, 0]，這樣就降低了一個維度。這裡要注意的是“賣麥克風”和“話筒”的意思很接近，所以它們對應的向量也很接近，即空間距離短，向量夾角小。"word embedding"大致也是這樣的功能，它是深度學習的一個附加產物，將詞語對映到空間向量，這就為詞語的表示提供了一個新思路，NLP的大門打開了。有很多word-embedding工具，谷歌的word2vec就很好，可以去用一下，會有更好的領悟。
word embedding 的中文解釋為 “詞嵌入”。 先用‘one-hot encoding’來簡單的理解，one-hot encoding是一種編碼技術，假如有三個詞“麥克風”、“話筒”、“杯子”，用‘one-hot encoding’技術編碼，三個詞對應的向量是[1, 0, 0]， [0, 1, 0]，[0, 0, 1]。但是現實是我們有成千上萬的詞語啊，這樣會造成每個詞向量含有很多0，也就是造成稀疏編碼的問題，所以我們需要降維。比如說，上面的三個詞語也可以這樣表示[0, 1]， [0.4, 0.9]，[1, 0]，這樣就降低了一個維度。這裡要注意的是“賣麥克風”和“話筒”的意思很接近，所以它們對應的向量也很接近，即空間距離短，向量夾角小。"word embedding"大致也是這樣的功能，它是深度學習的一個附加產物，將詞語對映到空間向量，這就為詞語的表示提供了一個新思路，NLP的大門打開了。有很多word-embedding工具，谷歌的word2vec就很好，可以去用一下，會有更好的領悟。