logo
Loading...

DAY101-103 test資料是否也要標準化在predict? - Cupoy

請問關於最後一日的kaggle競賽項目中有給test跟train images,如下圖所示,trai...

DAY101-103 test資料是否也要標準化在predict?

2020/11/29 下午 10:08
影像辨識
蘇蔚廷
觀看數:34
回答數:3
收藏數:0

請問關於最後一日的kaggle競賽項目中 有給test跟train images, 如下圖所示,train images我個人有先把train切成training data和valid data, 並嘗試仿照之前的作業做標準化和減去平均值 ![CNN.PNG](http://kwassistfile.cupoy.com/00000176144FF7700000000B6375706F795F72656C656173655155455354/1606277312892/large) 我有兩個疑問是 1.最後在preditc的時候test的images是不是也要做一樣的標準化和減去平均值? 2.因為不知道test的平均值,是不是不要處理座平均值處理對於預測會比較好?

回答列表

  • 2020/12/02 下午 02:11
    Paul
    贊同數:1
    不贊同數:0
    留言數:1

    1.如果substract_pixel_mean成立,test image 也用 training image 的平均值處理再預測,如程式註解所說 2.理論上真實世界是沒有固定平均值的,所以真正的測試資料無平均直可算

  • 2020/12/02 下午 02:23
    張維元 (WeiYuan)
    贊同數:1
    不贊同數:0
    留言數:2

    嗨,你好
    這是一個好問題,根據比較嚴謹的要求是「無法利用測試資料的所有資訊」。所以你必須要用訓練資料的平均值來對測試資料做處理。但實務上其實用到測試資料的 X 是可以的。另外針對你的問題: 1.最後在preditc的時候test的images是不是也要做一樣的標準化和減去平均值? => 當然要 2.因為不知道test的平均值,是不是不要處理座平均值處理對於預測會比較好? => 你可以用 train 的,也可以用 testing 的!(正常來說他們應該來自同一個分佈)

    嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤我的 Facebook技術部落格 ,也會不定時的舉辦分享活動,一起來玩玩吧 ヽ(●´∀`●)ノ

  • 2020/12/03 上午 11:27
    Jeffrey
    贊同數:0
    不贊同數:0
    留言數:0

    補充第二點說明: 1. test 資料及主要是驗證模型, 所以, 跟訓練集的資料形態要一樣 2. test 資料集是模擬真實資料, 所以, 測試資料集可以直接使用訓練集