logo
Loading...

expansion layer執行問題 - Cupoy

請問一下expansion layer跑完的結果並未進入下一層,而是直接用本來的input輸入下一層...

cvdl-1,cvdl-1-d47

expansion layer執行問題

2020/02/09 下午 11:10
電腦視覺深度學習討論版
張凱維
觀看數:4
回答數:2
收藏數:0
cvdl-1
cvdl-1-d47

請問一下expansion layer跑完的結果並未進入下一層,而是直接用本來的input輸入下一層,這樣的話expansion是不是沒有作用到?


    # Expansion Layer

    x = Conv2D(expansion * 3, (1,1), padding='same')(input)

    x = BatchNormalization()(x)

    x = ReLU()(x)

    

    # Depthwise Convolution

    x = DepthwiseConv2D((3,3), padding='same')(input)

    x = BatchNormalization()(x)

    x = ReLU()(x)

回答列表

  • 2020/02/10 下午 08:35
    Jeffrey
    贊同數:0
    不贊同數:0
    留言數:1

  • 2020/03/04 下午 06:57
    Yan Roo
    贊同數:0
    不贊同數:0
    留言數:0

    感覺解答寫錯了

    如同 @胡連福 同學所說的

    且降維後的Activation不是應該使用Linear嗎?

    怎麼又出現了ReLU

    InvertedRes(input, expansion):

        # Expansion Layer
        x = Conv2D(expansion * 3, (1,1), padding='same')(input)
        x = BatchNormalization()(x)
        x = ReLU()(x)
        
        # Depthwise Convolution
        x = DepthwiseConv2D((3,3), padding='same')(x)
        x = BatchNormalization()(x)
        x = ReLU()(x)
        
        # Pointwise Convolution
        x = Conv2D(3, (1,1))(x)
        x = BatchNormalization()(x)
        ## x = ReLU()(x)
        
        # Add Layer
        x = Add()([input, x])
        
        return x