異常偵測是監督還是非監督學習呢？如果只有用“好”資料訓練，異常偵測是怎麼判定哪個是“壞”資料呢？
Hi, 關於異常偵測的範例，可以再說明詳細一些嗎？ 影片中提到，以拉鍊瑕疵為例，使用的資料會是人工辨識完畢的“好”拉鍊，然後再由機器學習完畢後去找異常。我困惑的點是，我們沒有對”壞“拉鍊作出定義（也許是太多種壞法？），或是投入”壞“拉鍊資料做訓練，也就是全部的訓練資料之間，並無任何標籤上的區別，這樣該稱為監督式還是非監督式學習呢？ 拉鍊的例子中，應該能有一個唯一標準的“好”拉鍊。但如果在定義不出一個完全相同的“好”標籤的情況下，比方說正常金融交易vs異常金融交易，異常偵測是如何運作的呢？在運作的邏輯上我的想像是，整個訓練資料都是”好“的情況下，對於一個新的資料，能夠推測出是否相似，來判斷異常與否。那麼不相似的程度多大，才能稱為異常呢？如果要定義出異常的閥值，這樣不就需要輸入所謂的壞資料來判別嗎？ 謝謝回答。
回答列表
-
2020/12/21 上午 07:56Yu-jhang Su贊同數：2不贊同數：0留言數：2
就我之前的理解, 像異常偵測可以用autoencoder的方法來做 先將N維資料進行encode到C維度(C
-
2020/12/21 下午 03:34張維元 (WeiYuan)贊同數：2不贊同數：0留言數：1
嗨，你好
異常偵測可以是監督也可以非監督學習，看你怎麼定義問題。異常偵測是一種應用，而監督跟非監督是模型，同一種應用可以用不同的模型來實現。 如果你是從分類/監督的角度來看，那就會需要有好跟壞兩種標籤才可以學習。但像這種異常偵測的例子，大部分都是屬於正常的狀況（異常的狀況極小），很容易造成分類效果不好的情況。所以此時就會採用一些像是非監督的模型或深度學習的模型（例如 autoencoder）來玩。 補充一下這一點「如果要定義出異常的閥值，這樣不就需要輸入所謂的壞資料來判別嗎？」=> 可以把非正常的都當成壞資料，這樣就算沒有壞的資料也可以判斷：）
嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤我的 Facebook 或 技術部落格 ，也會不定時的舉辦分享活動，一起來玩玩吧 ヽ(●´∀`●)ﾉ
-
2020/12/22 上午 10:12Jeffrey贊同數：1不贊同數：0留言數：2
1. 對於拉鍊做異常識別, 不同部位要不要分別建模, 取決於工廠工站拉鍊的組裝流程是否可以看得到全貌, 意思是所定義好的LABEL 是否可以一次讀取, 可以的話不用分開建模, 若是要分成兩個工站就要 2. 若是可以明確的定義好的資料, 可以利用混淆矩陣來定義 FNMR 決定閥值 3. 正常金融交易vs異常金融交易, 通常只看 正常金融交易, 所以可以用 XGBOOST去正面表列, 其餘皆為異常 (亦即, 非法規規範即是異常)