dReLU指的是dual rectified linear units的啟動函數嗎?

2019/07/25 上午 09:52

機器學習共學討論版

Tirorxen

觀看數：72

回答數：1

收藏數：0

ml100-2-d72

ml100-2

想請教老師們說，作業中出現的dReLU指的是dual rectified linear units的啟動函數嗎? 如果是的話，方程式應該要符合Godin, F., Degrave, J., Dambre, J., & De Neve, W. (2018). Dual Rectified Linear Units (DReLUs): a replacement for tanh activation functions in quasi-recurrent neural networks.Pattern Recognition Letters,116, 8-14. 該篇文章所述的公式來def嗎?

回答列表

2019/07/26 下午 05:19

Vincent Luo

贊同數：0

不贊同數：0

留言數：1

作業中的dReLU應該指的是ReLU的一階導數，也就是ReLU函數經過一次微分之後得到的函數～