請問LSTM以及部分RNN的activation function, 為什麼常看到使用 Tanh 取代 Relu?
2019/03/27 下午 09:43
機器學習共學討論版
蘇建文
觀看數：37
回答數：2
收藏數：0
ml100
relu
ml100-d72
回答列表
-
2019/03/28 下午 02:53陳明佑 (Ming You Chen)贊同數：不贊同數：留言數：
relu的優勢在於構造簡單, 所以計算快,
但是小於0時回應永遠是0, 應用上可能會出現問題
以 LSTM 來說, 因為會有一些記憶單元,
而這些單元傳遞的過去訊息, 對於預測可能造成正面或負面的影響
如果採用 relu, 雖然算得快, 正負之間的影響就不均等了
用 tanh 雖然慢一些, 但正負對稱, 不用擔心不均等的問題
總而言之, 如果計算力足夠時, LSTM 使用 tanh似乎比較理想
但是處理影像時, 因為要處理的神經元多, 並且正負也不對稱, 通常就會使用relu了
-
2019/04/03 下午 00:53張維元 (WeiYuan)贊同數：1不贊同數：0留言數：0