請問可解釋性模型在機器學習服務上的需求? - Cupoy

回答列表

• 2020/12/17 上午 00:25
  張維元 (WeiYuan)
  贊同數：4
  不贊同數：0
  留言數：0

  嗨，你好
  這是一個好問題，通常對「人」關係越高的事情，對於模型的掌握度/信任需求也需要越高。舉個例子，如果今天一個模型告知病人得的什麼病？就算準確率很高，但沒有解釋，一般人能接受嗎？ 另外一個角度來說，有些模型是無法直接轉換為行動，必須從模型中的解釋才能幫助使用者做判斷。
  

  嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤我的 Facebook 或 技術部落格 ，也會不定時的舉辦分享活動，一起來玩玩吧 ヽ(●´∀`●)ﾉ

• 2020/12/17 下午 02:21
  Noah
  贊同數：2
  不贊同數：0
  留言數：3

  Hi: 容我提出不同的意見： 1. 可解釋性大多用self attention 機制達成，想做可以加進去。但加進去的目的以是否能提升模型準確度為主。 2. 最近google 有針對可解釋性發過paper，結論是看不同用途，真正可解釋性範圍有限。 3. 使用者需不需要可解釋性...，我的自身經驗，如果你的使用者是資料科學家，或許需要...吧。之前有一家專門做AI可解釋性的公司詢問我們合作意願，最後沒合作是因為，self attention 我們自己能做，但我們也沒做在自己模型，是因為每個模型能力都有極限，知道哪裡有錯，黑盒子模型終究只是多加相關有問題的data訓練，沒辦法實質意義上的知道哪種特徵錯誤就調某個參數哪種特徵就能被debug。而且資料科學家也有能力分析訓練資料，所以哪些資料是弱項多少應該也知道。 4. 給普通使用者我做過的東西也不需要讓使用者知道attention 結果，自動駕駛領域有駕駛會想看attention結果嗎-.-？醫學領域也不需要，醫生更專業，醫生想用AI只是醫生忙所以AI先診斷，有事通知醫生。甚至一些病灶已經用box或segmentation標示出來了，不需要額外再給醫生看attention

• 2020/12/27 下午 04:14
  YI Hsuan (Shelly) LIN
  贊同數：0
  不贊同數：0
  留言數：0

  In my humble opinion, based on the 2 excellent responses below, I believe the core question would be related to the **user**. (Who would be using this model and whether the user is interested in knowing how the model works. Or does the user have to know how the model works in order to make decisions. (maybe the user would be more confident after knowing how each weights work and the features related to it)