LeNet-5共有7層,不包含輸入,每層都包含可訓練引數;每個層有多個Feature Map,每個FeatureMap透過一種卷積濾波器提取輸入的一種特徵,然後每個FeatureMap有多個神經元。
1. C1層是一個卷積層
輸入圖片:32*32
卷積核大小:5*5
卷積核種類:6
輸出featuremap大小:28*28 (32-5+1)
神經元數量:28*28*6
可訓練引數:(5*5+1)*6(每個濾波器5*5=25個unit引數和一個bias引數,一共6個濾波器)
連線數:(5*5+1)*6*28*28
2. S2層是一個下采樣層
輸入:28*28
取樣區域:2*2
取樣方式:4個輸入相加,乘以一個可訓練引數,再加上一個可訓練偏置。結果透過sigmoid
取樣種類:6
輸出featureMap大小:14*14(28/2)
神經元數量:14*14*6
可訓練引數:2*6(和的權+偏置)
連線數:(2*2+1)*6*14*14
S2中每個特徵圖的大小是C1中特徵圖大小的1/4
3. C3層也是一個卷積層
輸入:S2中所有6個或者幾個特徵map組合
卷積核種類:16
輸出featureMap大小:10*10
C3中的每個特徵map是連線到S2中的所有6個或者幾個特徵map的,表示本層的特徵map是上一層提取到的特徵map的不同組合
存在的一個方式是:C3的前6個特徵圖以S2中3個相鄰的特徵圖子集為輸入。接下來6個特徵圖以S2中4個相鄰特徵圖子集為輸入。然後的3個以不相鄰的4個特徵圖子集為輸入。最後一個將S2中所有特徵圖為輸入。
則:可訓練引數:6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+(25*6+1)=1516
連線數:10*10*1516=151600
4. S4層是一個下采樣層
輸入:10*10
取樣種類:16
輸出featureMap大小:5*5(10/2)
神經元數量:5*5*16=400
可訓練引數:2*16=32(和的權+偏置)
連線數:16*(2*2+1)*5*5=2000
S4中每個特徵圖的大小是C3中特徵圖大小的1/4�
5. C5層是一個卷積層
輸入:S4層的全部16個單元特徵map(與s4全相連)
卷積核種類:120
輸出featureMap大小:1*1(5-5+1)
可訓練引數/連線:120*(16*5*5+1)=48120
6. F6層全連線層
輸入:c5 120維向量
計算方式:計算輸入向量和權重向量之間的點積,再加上一個偏置,結果透過sigmoid函式
可訓練引數:84*(120+1)=10164
LeNet-5共有7層,不包含輸入,每層都包含可訓練引數;每個層有多個Feature Map,每個FeatureMap透過一種卷積濾波器提取輸入的一種特徵,然後每個FeatureMap有多個神經元。
1. C1層是一個卷積層
輸入圖片:32*32
卷積核大小:5*5
卷積核種類:6
輸出featuremap大小:28*28 (32-5+1)
神經元數量:28*28*6
可訓練引數:(5*5+1)*6(每個濾波器5*5=25個unit引數和一個bias引數,一共6個濾波器)
連線數:(5*5+1)*6*28*28
2. S2層是一個下采樣層
輸入:28*28
取樣區域:2*2
取樣方式:4個輸入相加,乘以一個可訓練引數,再加上一個可訓練偏置。結果透過sigmoid
取樣種類:6
輸出featureMap大小:14*14(28/2)
神經元數量:14*14*6
可訓練引數:2*6(和的權+偏置)
連線數:(2*2+1)*6*14*14
S2中每個特徵圖的大小是C1中特徵圖大小的1/4
3. C3層也是一個卷積層
輸入:S2中所有6個或者幾個特徵map組合
卷積核大小:5*5
卷積核種類:16
輸出featureMap大小:10*10
C3中的每個特徵map是連線到S2中的所有6個或者幾個特徵map的,表示本層的特徵map是上一層提取到的特徵map的不同組合
存在的一個方式是:C3的前6個特徵圖以S2中3個相鄰的特徵圖子集為輸入。接下來6個特徵圖以S2中4個相鄰特徵圖子集為輸入。然後的3個以不相鄰的4個特徵圖子集為輸入。最後一個將S2中所有特徵圖為輸入。
則:可訓練引數:6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+(25*6+1)=1516
連線數:10*10*1516=151600
4. S4層是一個下采樣層
輸入:10*10
取樣區域:2*2
取樣方式:4個輸入相加,乘以一個可訓練引數,再加上一個可訓練偏置。結果透過sigmoid
取樣種類:16
輸出featureMap大小:5*5(10/2)
神經元數量:5*5*16=400
可訓練引數:2*16=32(和的權+偏置)
連線數:16*(2*2+1)*5*5=2000
S4中每個特徵圖的大小是C3中特徵圖大小的1/4�
5. C5層是一個卷積層
輸入:S4層的全部16個單元特徵map(與s4全相連)
卷積核大小:5*5
卷積核種類:120
輸出featureMap大小:1*1(5-5+1)
可訓練引數/連線:120*(16*5*5+1)=48120
6. F6層全連線層
輸入:c5 120維向量
計算方式:計算輸入向量和權重向量之間的點積,再加上一個偏置,結果透過sigmoid函式
可訓練引數:84*(120+1)=10164