為何在hidden layer中大多數是使用ReLU 而不是 MAXOUT?
2019/07/14 下午 04:01
機器學習共學討論版
蕭琮寶
觀看數:69
回答數:2
收藏數:0
ml100-2
ml100-2-d72
老師我看講義內容 MAXOUT啟動函數感覺完勝ReLU
怎麼大多數情況用的是ReLU 而不是 MAXOUT
回答列表
-
2019/07/15 下午 03:10張維元 (WeiYuan)贊同數:3不贊同數:0留言數:0
Maxout 是一種改善 ReLU 的方法,ReLU 是 Maxout 的一種特例。「怎麼大多數情況用的是ReLU 而不是 MAXOUT」應該是習慣,因為 ReLU 比較早被提出來而且比較單純。
節錄一段重點:「这里要提一句,Maxout 函数的拟合能力还是很强的,两个 Maxout 节点就可以拟合任意的凸函数了(相减),前提是“隐”隐藏层的节点个数可以任意多。所以 Maxout 函数是又有 ReLU 的优点,又没有 ReLU 的缺点。如果你没有见过别人用这个大概是因为它唯一的缺点:它会把参数个数翻倍。」(ref)
-
2019/07/17 上午 01:10Jeffrey贊同數:0不贊同數:0留言數:0