expansion layer執行問題

2020/02/09 下午 11:10

電腦視覺深度學習討論版

張凱維

觀看數：4

回答數：2

收藏數：0

cvdl-1

cvdl-1-d47

請問一下expansion layer跑完的結果並未進入下一層，而是直接用本來的input輸入下一層，這樣的話expansion是不是沒有作用到？

# Expansion Layer

x = Conv2D(expansion * 3, (1,1), padding='same')(input)

x = BatchNormalization()(x)

x = ReLU()(x)

# Depthwise Convolution

x = DepthwiseConv2D((3,3), padding='same')(input)

x = BatchNormalization()(x)

x = ReLU()(x)

回答列表

2020/02/10 下午 08:35

Jeffrey

贊同數：0

不贊同數：0

留言數：1

2020/03/04 下午 06:57

Yan Roo

贊同數：0

不贊同數：0

留言數：0

感覺解答寫錯了

如同 @胡連福同學所說的

且降維後的Activation不是應該使用Linear嗎?

怎麼又出現了ReLU

InvertedRes(input, expansion):

    # Expansion Layer
    x = Conv2D(expansion * 3, (1,1), padding='same')(input)
    x = BatchNormalization()(x)
    x = ReLU()(x)
    
    # Depthwise Convolution
    x = DepthwiseConv2D((3,3), padding='same')(x)
    x = BatchNormalization()(x)
    x = ReLU()(x)
    
    # Pointwise Convolution
    x = Conv2D(3, (1,1))(x)
    x = BatchNormalization()(x)
    ## x = ReLU()(x)
    
    # Add Layer
    x = Add()([input, x])
    
    return x

InvertedRes(input, expansion):

    # Expansion Layer
    x = Conv2D(expansion * 3, (1,1), padding='same')(input)
    x = BatchNormalization()(x)
    x = ReLU()(x)
    
    # Depthwise Convolution
    x = DepthwiseConv2D((3,3), padding='same')(x)
    x = BatchNormalization()(x)
    x = ReLU()(x)
    
    # Pointwise Convolution
    x = Conv2D(3, (1,1))(x)
    x = BatchNormalization()(x)
    ## x = ReLU()(x)
    
    # Add Layer
    x = Add()([input, x])
    
    return x