評估 model 的指標問題 - Cupoy

你好：可以稍微講解一下這段code嗎？record_items 裡面列的六項是什麼，還有thres是什麼？

回答列表

• 2019/07/29 上午 10:58
  Chen-Ming Yang
  贊同數：1
  不贊同數：0
  留言數：1

  hello,

  
  

  這邊紀錄的六項都是用來評估 model 的指標，分別是

  • AUC
  • F1-Score
  • False Positive：model 判斷有，實際上沒有的比例
  • False Negative：model 判斷沒有，實際上有的比例
  • True Positive：model 判斷有，實際上有的比例
  • True Negative：model 判斷沒有，實際上沒有的比例

  
  

  通常根據任務我們會有不同的指標，透過最後四項的數值可以再整理出兩個

  • recall：TP / (TP + FN)，實際樣本有多少被預測出來
  • precision：TP / (TP + FP)，預測樣本有多少被預測正確

  
  

  然後 F1-Score 是混合了 recall 與 precision 的指標

  F1 = 2*precision*recall / (precision + recall)

  
  

  

  AUC 是 ROC 曲線下面積，另外一種定義是「若隨機抽取一個 True 樣本和一個 False 樣本，分類器正確判斷陽性樣本的值高於陰性樣本之機率」

  
  

  簡單來說 AUC 值愈大的 model 正確率愈高

  

  如上圖，AUC = 1 是完美分類器，但一般來說你看到的 model 都會是偏向中間這種

  
  

  另外 thres 應該是 threshold，就是我們俗稱的門檻值或是閥值

  因為我們預測出來的信心分數是一個小數，可以以機率的角度去表示

  
  

  那當今天信心分數為 0.7 的時候我們應該判斷這個預測是 True 還是 False ?

  我們就可以透過 threshold 判斷，假如 >= threshold 我們就設為 True，反之為 False

• 2019/07/30 上午 10:15
  張維元 (WeiYuan)
  贊同數：1
  不贊同數：0
  留言數：0

  「所以這些是內建的參數嗎？有哪裡可以看到這些說明嗎？」

  
  

  => 這一段是在講評估模型的方式。

  
  

  如果你是要看介紹的話可以看這邊：https://www.ycc.idv.tw/confusion-matrix.html

  如果你要看在程式中使用可以參考：https://scikit-learn.org/stable/modules/model_evaluation.html