【QA】什麼是圖像的上採樣(Upsampling）？?
本次要與各位探討什麼是圖像的上採樣(Upsampling）？
回答列表
-
2021/09/08 上午 02:12Ray贊同數：0不贊同數：0留言數：0
上採樣（upsampling）是指將圖像上採樣到更高分辨率（resolution），是一種把低分辨率圖像採樣成高分辨率圖像的技術手段的統稱，也就是所謂的縮放操作。 上採樣的主要目的是放大原圖像，但是對於圖像的放大操作不能帶來更多關於該圖像的信息, 因此圖像的質量將不可避免地受到影響。而透過上採樣可以增加圖像的信息，從而使得縮放後的圖像質量超過原圖的質量。 最簡單的方式是插值法 (Interpolation)：將輸入圖片進行rescale到一個想要的尺寸，而且計算每個點的畫素點，使用如雙線性插值等插值方法對其餘點進行插值來完成上取樣過程。 上採樣（upsampling）主要有三種方式： 1. 插值法 (Interpolation)：根據[圖像插值技術總述](https://wenku.baidu.com/view/f4e5c1f3ba0d4a7302763a0b.html) ，插值法又大致上又可分為： 1. 傳統插值，如：線性插值（linear Interpolation） 2. 基於邊緣圖像的插值 3. 基於小波係數的圖像插值 [參考圖片來源](https://www.google.com/url?sa=i&url=https%3A%2F%2Fblog.csdn.net%2Fsinat_17456165%2Farticle%2Fdetails%2F106168936&psig=AOvVaw30t-SZlHNXxOBMVyXIqppH&ust=1631119030530000&source=images&cd=vfe&ved=0CAsQjRxqFwoTCJiMjIam7fICFQAAAAAdAAAAABAJ) 以下舉例兩種常見的插值法： * **最鄰近插值（Nearest Neighbour Interpolation）**：顧名思義，就是在圖片放大時取最接近的像素來進行補充，使用起來簡單快速，但是放大後的圖像畫質劣化會較為明顯 [參考圖片來源](https://www.google.com/url?sa=i&url=https%3A%2F%2Ftheailearner.com%2F2018%2F12%2F29%2Fimage-processing-nearest-neighbour-interpolation%2F&psig=AOvVaw3Vk0Suf0ecRpxTPl6w_TOL&ust=1631123358325000&source=images&cd=vfe&ved=0CAsQjRxqFwoTCLjAwpW27fICFQAAAAAdAAAAABAD) * **雙線性插值（Bilinear Interpolation）**：又稱為雙線性內插。其核心思想是在兩個方向分別進行一次線性插值。雖然與最鄰近差值相比算法較為複雜，但極大地消除了鋸齒現象，放大後的圖像畫質也較不會出現劣化的現象。   [參考圖片來源](https://zh.wikipedia.org/wiki/%E5%8F%8C%E7%BA%BF%E6%80%A7%E6%8F%92%E5%80%BC) 2. 反池化 (Unpooling) ： 出自2013年紐約大學Matthew D. Zeiler和Rob Fergus發表的[《Visualizing and Understanding Convolutional Networks》](https://arxiv.org/pdf/1311.2901.pdf) Unpooling是在CNN中常被用來表示max pooling的逆操作。在池化過程中，記錄下最大池化在對應內核中的坐標，在反化過程中，將一個元素根據內核進行放大，根據之前的坐標將元素填寫，其他位置補0。 [參考圖片來源](https://www.google.com/url?sa=i&url=https%3A%2F%2Fwww.researchgate.net%2Ffigure%2FPooling-and-unpooling-layers-For-each-pooling-layer-the-max-locations-are-stored-These_fig2_306081538&psig=AOvVaw1oyKBFq6HT5qQcWRSEuIyQ&ust=1631122648031000&source=images&cd=vfe&ved=0CAsQjRxqFwoTCOCSysSz7fICFQAAAAAdAAAAABAr) 從上圖中可以明顯的看出Max-pooling與Unpooling之間的關係，Max-pooling是取其極值去做壓縮，而Unpooling根據其原本的位置去還原，空缺部分則直接補0。 ------- 有興趣進一步了解的人參考下列連結： * [【学习笔记】浅谈Upsampling](https://zhuanlan.zhihu.com/p/359762840) * [上采样（upsampling）](https://www.malaoshi.top/show_1EF52HM7gu6g.html) * [D4：縮放齊次座標與幾何轉換（5/21更新）](https://www.cupoy.com/marathon-mission/0000017705882449000000016375706F795F72656C656173654355/0000017714F58318000000046375706F795F70726572656C656173654349)