首先糾正一個問題,CNN並沒有降低計算量,因為CNN通常處理的都是影象資料,因此,需要的計算量反而相當的大,需要專業的顯示卡支援其計算。
既然問出這個問題,我猜你應該是對CNN的共享權重沒有理解透徹,你以為cnn共享權重相對於普通網路降低了計算量,當然不能說沒降低,但是其目的可不是為了降低計算量。簡單的問題採用全連線的方式是可以的,但牽扯到影象,動則上千萬畫素這個量級的問題,全連線明顯是不可能的。
那為何CNN會共享權重呢?
這與我們大腦的對影象處理的機制有關,我們大腦處理影象絕不是DNN(深度神經網路)的一個點一個點處理的方式。舉個例子,下面這張圖,我們第一眼看到並開始分析的決對不會是畫素點(你非要說你就是看畫素點我就沒辦法了),而是對圖做了分類如顏色角度整張圖偏暖色,頭髮偏黑色;從生物角度講裡面還有個人,在從人的細節是一個年輕的瘦瘦的性感的長髮的戴帽子的大眼睛的高鼻樑的露肩外國女人;在從底層一點分析,有鏡子的反射輪廓,帽子輪廓,人的輪廓等等。
這說明啥,這說明我們在第一眼看到這幅影象時,我們的右腦已經自動將整幅圖分解成各個類別的集合。如人類的特徵集合、帽子特徵集合、環境特徵集合。看到大眼睛、緊緻面板、俊俏面龐、長髮我們會連想到“美女”,沒有人會把這些特徵和其他特徵聯絡在一起,因此這些集合是共享的。
Cnn正是從我們大腦的執行方式學來的方法,權重共享只是模擬大腦的一種方法,並不是為了減小計算量,並且牽扯影象的,計算量都非常大。
不是。最大的亮點是卷積神經網路的原理來自生物學的區域性視野,由此有效的減少了網路中引數的數量,從而使其在影象領域發揮了重要作用。
首先糾正一個問題,CNN並沒有降低計算量,因為CNN通常處理的都是影象資料,因此,需要的計算量反而相當的大,需要專業的顯示卡支援其計算。
既然問出這個問題,我猜你應該是對CNN的共享權重沒有理解透徹,你以為cnn共享權重相對於普通網路降低了計算量,當然不能說沒降低,但是其目的可不是為了降低計算量。簡單的問題採用全連線的方式是可以的,但牽扯到影象,動則上千萬畫素這個量級的問題,全連線明顯是不可能的。
那為何CNN會共享權重呢?
這與我們大腦的對影象處理的機制有關,我們大腦處理影象絕不是DNN(深度神經網路)的一個點一個點處理的方式。舉個例子,下面這張圖,我們第一眼看到並開始分析的決對不會是畫素點(你非要說你就是看畫素點我就沒辦法了),而是對圖做了分類如顏色角度整張圖偏暖色,頭髮偏黑色;從生物角度講裡面還有個人,在從人的細節是一個年輕的瘦瘦的性感的長髮的戴帽子的大眼睛的高鼻樑的露肩外國女人;在從底層一點分析,有鏡子的反射輪廓,帽子輪廓,人的輪廓等等。
這說明啥,這說明我們在第一眼看到這幅影象時,我們的右腦已經自動將整幅圖分解成各個類別的集合。如人類的特徵集合、帽子特徵集合、環境特徵集合。看到大眼睛、緊緻面板、俊俏面龐、長髮我們會連想到“美女”,沒有人會把這些特徵和其他特徵聯絡在一起,因此這些集合是共享的。
Cnn正是從我們大腦的執行方式學來的方法,權重共享只是模擬大腦的一種方法,並不是為了減小計算量,並且牽扯影象的,計算量都非常大。