為何在hidden layer中大多數是使用ReLU 而不是 MAXOUT?
2019/07/14 下午 04:01
機器學習共學討論版
蕭琮寶
觀看數：69
回答數：2
收藏數：0
ml100-2
ml100-2-d72
老師我看講義內容 MAXOUT啟動函數感覺完勝ReLU
怎麼大多數情況用的是ReLU 而不是 MAXOUT
回答列表
-
2019/07/15 下午 03:10張維元 (WeiYuan)贊同數：3不贊同數：0留言數：0
Maxout 是一種改善 ReLU 的方法，ReLU 是 Maxout 的一種特例。「怎麼大多數情況用的是ReLU 而不是 MAXOUT」應該是習慣，因為 ReLU 比較早被提出來而且比較單純。
節錄一段重點：「这里要提一句，Maxout 函数的拟合能力还是很强的，两个 Maxout 节点就可以拟合任意的凸函数了（相减），前提是“隐”隐藏层的节点个数可以任意多。所以 Maxout 函数是又有 ReLU 的优点，又没有 ReLU 的缺点。如果你没有见过别人用这个大概是因为它唯一的缺点：它会把参数个数翻倍。」（ref）
-
2019/07/17 上午 01:10Jeffrey贊同數：0不贊同數：0留言數：0