logo
Loading...

day 65有關batchsize大小描述出於什麼paper - Cupoy

day 65有關batchsize大小描述出於什麼paper?投影片說小一點可能結果比較好可是 ba...

ml100-2,ml100-2-d65

day 65有關batchsize大小描述出於什麼paper

2019/07/07 上午 00:14
機器學習共學討論版
Yueh-Ying Song
觀看數:57
回答數:2
收藏數:0
ml100-2
ml100-2-d65

day 65有關batchsize大小描述出於什麼paper?

投影片說小一點可能結果比較好

可是 bag of tricks那篇說其實不要大於兩百多效果都比較好

回答列表

  • 2019/07/09 下午 03:09
    陳明佑 (Ming You Chen)
    贊同數:0
    不贊同數:0
    留言數:0

    是依據實際跑過的經驗, 

    同學在後半部跑範例就應該可以發現了 :

    較小的BatchSize會收斂較慢, 但最終結果會較佳


    深度學習與你在學校學過的理論學科不同, 是實務先於理論的科學

    很多經驗並不是先有paper, 而是先有實證結果的

  • 2019/07/15 下午 02:24
    張維元 (WeiYuan)
    贊同數:1
    不贊同數:0
    留言數:0

    可以參考一下這一篇討論:https://www.zhihu.com/question/61607442