請問kernel 裡的先壓縮再回放是什麼意思?
2020/06/27 下午 06:42
電腦視覺深度學習討論版
Alice
觀看數：18
回答數：3
收藏數：1
cvdl
cvdl-d20
您好：
作業有一項是設計一個先壓縮再回放的V2 Block
請問先壓縮再回放是什麼意思？
看完解答後還是不懂設計的原理
回答列表
-
2020/07/07 下午 07:27Jeffrey贊同數：0不贊同數：0留言數：0
先壓縮： 利用1*1kernel 的壓縮以控制輸出channels 的深度 再回放：利用1*1kernel 回放被壓縮的深度，藉以減低運算量 基本上是利用1*1 conv 的特性來做的；
-
2020/07/08 上午 11:11楊哲寧贊同數：0不贊同數：0留言數：0
感謝Jeffrey專家的解答，先壓縮的目的在於降低運算量，只要是指channel深度這個維度的壓縮，用1*1 kernel壓縮能有效較低運算量以及參數。
-
2020/09/02 下午 05:06柯長榮贊同數：0不贊同數：0留言數：0
Fig. 2 為 inception (3a) 的兩種實現方式， Fig 2 (a) 及 Fig 2 (b)的差異在於 1x1 Conv。
下方表格是主要是提供 inception (3a) 的相關參數，請計算 Fig 2 (a) 及 Fig 2 (b) 分別的卷積核參數量。
---
上面是一個很好的計算範例，展示 1x1 Conv 的主要功能的第一項。
很鼓勵學員自己計算一次，會比較有感覺，而且面試也很常會遇到。
(另外這也是 Going deeper with convolutions 這篇論文中很經典的部分。)
1.減少卷積核參數量 (降維，升維都可以用，非常方便實用。)
2. 跨通道(channel)信息交互
3. 增加非線性特性 (1x1 Conv 之後需要搭配非線性激勵函數)
另外一種問法是:
1. 請問下面兩種架構，哪一種參數量較多?
2. 請分別計算所使用的參數量，驗證 1. 的結論。