logo
Loading...

BatchNormalization問題 - Cupoy

您好,想請問下面這段話,依照這樣的敘述,不管什麼情況應該都可以使用BN對嗎?因為即便學到的特徵消失,...

batchnormalization

BatchNormalization問題

2020/04/04 03:40 下午
電腦視覺深度學習討論版
Aaron
觀看數:4
回答數:1
收藏數:0
batchnormalization

您好,想請問下面這段話,依照這樣的敘述,不管什麼情況應該都可以使用BN對嗎?

因為即便學到的特徵消失,透過調整Beta、Gamma,也使得最差會回到原先的原始數據是嗎?

還有我其實還是看不太懂,為什麼可以改變資料的分布情形,是跟一般標準化的時候降低離群值的影響程度一樣嗎?

然⽽ Normalize 改變資料的分佈,可能會造成上⼀層學到的特徵消失,因此 BN 的最後⼀步透過學習 Beta、Gamma,去微調 Normalize 後資料的分佈