關於資料特徵間的線性關係? - Cupoy

2019/11/04 下午 04:03

機器學習共學討論版

Eddie

觀看數：52

回答數：2

收藏數：1

ml100-3

ml100-3-d61

想要請教何謂資料間具有線性關係，講義中有講到

 “PCA 是⼀一種線性降維⽅方式，因此若若特徵間是非線性關係，會有underfitting 的問題”。

所以作業59所用到的MNIST每一個維度的特徵之間具有線性關係嗎？

回答列表

• 2019/11/04 下午 06:45
  Patrick Ruan
  贊同數：1
  不贊同數：0
  留言數：0

  在 pca.fit(X) 之後，可以用  pca.components_  去觀看我們訓練後的 "基底"

  之後所有的圖片，就是利用這些 "基底" 的線性組合。

  
  

  這個例子是 32 個基底圖去線性組合所有數字圖。

  
  

  pca = decomposition.PCA(n_components= 32)
  pca.fit(X)
  pca.components_.shape
  
  
  fig, ax = plt.subplots(4,8, figsize=(12,6))
  
  for i, ax in enumerate(ax.flat):
      ax.imshow(pca.components_[i].reshape(8, 8), cmap='bone')
      ax.set_xticks([])
      ax.set_yticks([])

  pca = decomposition.PCA(n_components= 32) pca.fit(X) pca.components_.shape fig, ax = plt.subplots(4,8, figsize=(12,6)) for i, ax in enumerate(ax.flat): ax.imshow(pca.components_[i].reshape(8, 8), cmap='bone') ax.set_xticks([]) ax.set_yticks([])

  

  如果 PCA 中加入 NMF 的限制，可以得到我們視覺上更直覺的組合，同學可以 google PCA NMF

• 2019/11/06 上午 00:33
  張維元 (WeiYuan)
  贊同數：1
  不贊同數：0
  留言數：0

  有沒有線性關係這件事，通常是需要做實驗才知道的。這邊從結果來看，MNIST 的特徵之間應該是具有線性關係的。