expansion layer執行問題
2020/02/09 下午 11:10
電腦視覺深度學習討論版
張凱維
觀看數:4
回答數:2
收藏數:0
cvdl-1
cvdl-1-d47
請問一下expansion layer跑完的結果並未進入下一層,而是直接用本來的input輸入下一層,這樣的話expansion是不是沒有作用到?
# Expansion Layer
x = Conv2D(expansion * 3, (1,1), padding='same')(input)
x = BatchNormalization()(x)
x = ReLU()(x)
# Depthwise Convolution
x = DepthwiseConv2D((3,3), padding='same')(input)
x = BatchNormalization()(x)
x = ReLU()(x)
回答列表
-
2020/02/10 下午 08:35Jeffrey贊同數:0不贊同數:0留言數:1
-
2020/03/04 下午 06:57Yan Roo贊同數:0不贊同數:0留言數:0
感覺解答寫錯了
如同 @胡連福 同學所說的
且降維後的Activation不是應該使用Linear嗎?
怎麼又出現了ReLU
InvertedRes(input, expansion):
# Expansion Layer
x = Conv2D(expansion * 3, (1,1), padding='same')(input)
x = BatchNormalization()(x)
x = ReLU()(x)
# Depthwise Convolution
x = DepthwiseConv2D((3,3), padding='same')(x)
x = BatchNormalization()(x)
x = ReLU()(x)
# Pointwise Convolution
x = Conv2D(3, (1,1))(x)
x = BatchNormalization()(x)
## x = ReLU()(x)
# Add Layer
x = Add()([input, x])
return x