很榮幸可以用上所學知識,回答一個這樣的問題。
正向傳播的時候,會在獲取的子區域中,選擇最大的一個作為對映結果
反向傳播的時候,會將梯度反應到原先最大的位置,其餘為0
正向傳播的時候,會將獲取的子區域中的值進行平均作為對映結果
反向傳播的時候,會將梯度反應到所有的位置上
首先ResNet不是隻用max_pooling,在最後的階段也會使用average pooling,但是在identit block中,池化層都是用的max pooling.
正如AndrewNg老師所說
我個人的理解是,max pooling因為只取最大的,所以,在邊緣交界處,會銳化影象邊緣,而average pooling因為要做平均,所以會模糊影象邊緣。但是這些並沒有正確的理論解釋。
與其說ResNet使用max pooling不如說,max pooling的實驗效果比average pooling更好,所以才採用max pooling。
很榮幸可以用上所學知識,回答一個這樣的問題。
max pooling正向傳播的時候,會在獲取的子區域中,選擇最大的一個作為對映結果
反向傳播的時候,會將梯度反應到原先最大的位置,其餘為0
average pooling 也叫mean pooling正向傳播的時候,會將獲取的子區域中的值進行平均作為對映結果
反向傳播的時候,會將梯度反應到所有的位置上
為什麼使用max pooling首先ResNet不是隻用max_pooling,在最後的階段也會使用average pooling,但是在identit block中,池化層都是用的max pooling.
正如AndrewNg老師所說
元素值較大可能意味著池化過程之前的卷積過程提取到了某些特定的特徵,池化過程中的最大化操作使得只要在一個區域內提取到某個特徵,它都會保留在最大池化的輸出中。我個人的理解是,max pooling因為只取最大的,所以,在邊緣交界處,會銳化影象邊緣,而average pooling因為要做平均,所以會模糊影象邊緣。但是這些並沒有正確的理論解釋。
與其說ResNet使用max pooling不如說,max pooling的實驗效果比average pooling更好,所以才採用max pooling。