logo
Loading...

為何在hidden layer中大多數是使用ReLU 而不是 MAXOUT? - Cupoy

老師我看講義內容 MAXOUT啟動函數感覺完勝ReLU怎麼大多數情況用的是ReLU 而不是 MAXO...

ml100-2,ml100-2-d72

為何在hidden layer中大多數是使用ReLU 而不是 MAXOUT?

2019/07/14 下午 04:01
機器學習共學討論版
蕭琮寶
觀看數:69
回答數:2
收藏數:0
ml100-2
ml100-2-d72

老師我看講義內容 MAXOUT啟動函數感覺完勝ReLU


怎麼大多數情況用的是ReLU 而不是 MAXOUT

回答列表

  • 2019/07/15 下午 03:10
    張維元 (WeiYuan)
    贊同數:3
    不贊同數:0
    留言數:0

    Maxout 是一種改善 ReLU 的方法,ReLU 是 Maxout 的一種特例。「怎麼大多數情況用的是ReLU 而不是 MAXOUT」應該是習慣,因為 ReLU 比較早被提出來而且比較單純。


    節錄一段重點:「这里要提一句,Maxout 函数的拟合能力还是很强的,两个 Maxout 节点就可以拟合任意的凸函数了(相减),前提是“隐”隐藏层的节点个数可以任意多。所以 Maxout 函数是又有 ReLU 的优点,又没有 ReLU 的缺点。如果你没有见过别人用这个大概是因为它唯一的缺点:它会把参数个数翻倍。」(ref

  • 2019/07/17 上午 01:10
    Jeffrey
    贊同數:0
    不贊同數:0
    留言數:0