如果打算自己預訓練模型，需要注意甚麼呢?
最近在測試模型的時候發現預訓練對模型表現的影響很大 然而，目前使用的模型架構並沒有人提供預訓練模型，所以希望自己進行預訓練 請問如果希望自己預訓練的話，需要注意甚麼呢？ 以下則是我目前有的疑問： * 我一樣需要去看 validation set 的表現嗎？還是 training 表現不錯就可以用了？ * 絕大多數人都用 ImageNet 做預訓練，改用 coco 的話對結果會影響很大嗎？
回答列表
-
2021/05/17 下午 01:24王健安贊同數：1不贊同數：0留言數：1
預訓練模型「Pretrained model」的訓練模式跟自己建置模型且進行訓練時差不多， 但最大的差異在於資料量很龐大， 最少最少也有以千萬筆為單位， 代表訓練模型的量已經跟真實世界會出現的資料量差不多， 或是幾乎不會有額外其他的變化了， 此外還有模型架構格外複雜。 因此想要訓練一個好的預訓練模型， 除了資料量要非常大， 硬體設備也要有所規模， 至於在訓練的過程中需不需要看validation set的表現（諸如Accuracy、Precision等）， 理論上當training set的數量近幾乎等於真實世界有的數量， 那麼training set與validation set的表現會差不多， 但我覺得還是可以切出一塊validation set來驗證這樣的說法， 以確保模型看到陌生資料時同樣能夠有好結果， 另外ImageNet與COCO的pretrained model會不會有差異， 兩者在預訓練的目的上本身就有差異， ImageNet主要是用來做 image classification；COCO主要是用來做 object detection， 兩者本身在圖片的性質上就會因目的而有差異， 可以先查閱這兩個圖像集大部分屬於哪些資料。 參考資料： https://blog.csdn.net/qinglv1/article/details/86605378 https://zhuanlan.zhihu.com/p/129736067
-
2021/05/27 下午 07:22張維元 (WeiYuan)贊同數：1不贊同數：0留言數：0
嗨，你好
「我了解 ImageNet 與 COCO 本身任務上的差異，我主要是通過 train data 中利用他提供的 bbox 找出物件位置及對應的 label。以這樣的結果去作為訓練模型的輸入。 因此訓練目的上應該是不會有問題。但能否達到類似的效果就是我的疑問點。」 => 能否達到類似的效果就需要看 validation set 的表現比較準！
嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤 我的粉絲專頁 ヽ(●´∀`●)ﾉ