logo
Loading...

如果打算自己預訓練模型,需要注意甚麼呢? - Cupoy

最近在測試模型的時候發現預訓練對模型表現的影響很大然而,目前使用的模型架構並沒有人提供預訓練模型,所...

預訓練,機器視覺

如果打算自己預訓練模型,需要注意甚麼呢?

2021/05/17 上午 10:12
電腦視覺深度學習討論版
林柏宇
觀看數:26
回答數:2
收藏數:0
預訓練
機器視覺

最近在測試模型的時候發現預訓練對模型表現的影響很大 然而,目前使用的模型架構並沒有人提供預訓練模型,所以希望自己進行預訓練 請問如果希望自己預訓練的話,需要注意甚麼呢? 以下則是我目前有的疑問: * 我一樣需要去看 validation set 的表現嗎?還是 training 表現不錯就可以用了? * 絕大多數人都用 ImageNet 做預訓練,改用 coco 的話對結果會影響很大嗎?

回答列表

  • 2021/05/17 下午 01:24
    王健安
    贊同數:1
    不贊同數:0
    留言數:1

    預訓練模型「Pretrained model」的訓練模式跟自己建置模型且進行訓練時差不多, 但最大的差異在於資料量很龐大, 最少最少也有以千萬筆為單位, 代表訓練模型的量已經跟真實世界會出現的資料量差不多, 或是幾乎不會有額外其他的變化了, 此外還有模型架構格外複雜。 因此想要訓練一個好的預訓練模型, 除了資料量要非常大, 硬體設備也要有所規模, 至於在訓練的過程中需不需要看validation set的表現(諸如Accuracy、Precision等), 理論上當training set的數量近幾乎等於真實世界有的數量, 那麼training set與validation set的表現會差不多, 但我覺得還是可以切出一塊validation set來驗證這樣的說法, 以確保模型看到陌生資料時同樣能夠有好結果, 另外ImageNet與COCO的pretrained model會不會有差異, 兩者在預訓練的目的上本身就有差異, ImageNet主要是用來做 image classification;COCO主要是用來做 object detection, 兩者本身在圖片的性質上就會因目的而有差異, 可以先查閱這兩個圖像集大部分屬於哪些資料。 參考資料: https://blog.csdn.net/qinglv1/article/details/86605378 https://zhuanlan.zhihu.com/p/129736067

  • 2021/05/27 下午 07:22
    張維元 (WeiYuan)
    贊同數:0
    不贊同數:0
    留言數:0

    嗨,你好
    「我了解 ImageNet 與 COCO 本身任務上的差異,我主要是通過 train data 中利用他提供的 bbox 找出物件位置及對應的 label。以這樣的結果去作為訓練模型的輸入。 因此訓練目的上應該是不會有問題。但能否達到類似的效果就是我的疑問點。」 => 能否達到類似的效果就需要看 validation set 的表現比較準!

    嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤 我的粉絲專頁 ヽ(●´∀`●)ノ