【QA】什麼是圖像的上採樣(Upsampling)?? - Cupoy

本次要與各位探討什麼是圖像的上採樣(Upsampling)?

【QA】什麼是圖像的上採樣(Upsampling)??

2021/09/08 上午 01:43
機器學習共學討論版
Ray
觀看數:2865
回答數:1
收藏數:2

本次要與各位探討什麼是圖像的上採樣(Upsampling)?

回答列表

  • 2021/09/08 上午 02:12
    Ray
    贊同數:0
    不贊同數:0
    留言數:0

    上採樣(upsampling)是指將圖像上採樣到更高分辨率(resolution),是一種把低分辨率圖像採樣成高分辨率圖像的技術手段的統稱,也就是所謂的縮放操作。 上採樣的主要目的是放大原圖像,但是對於圖像的放大操作不能帶來更多關於該圖像的信息, 因此圖像的質量將不可避免地受到影響。而透過上採樣可以增加圖像的信息,從而使得縮放後的圖像質量超過原圖的質量。 最簡單的方式是插值法 (Interpolation):將輸入圖片進行rescale到一個想要的尺寸,而且計算每個點的畫素點,使用如雙線性插值等插值方法對其餘點進行插值來完成上取樣過程。 上採樣(upsampling)主要有三種方式: 1. 插值法 (Interpolation):根據[圖像插值技術總述](https://wenku.baidu.com/view/f4e5c1f3ba0d4a7302763a0b.html) ,插值法又大致上又可分為: 1. 傳統插值,如:線性插值(linear Interpolation) 2. 基於邊緣圖像的插值 3. 基於小波係數的圖像插值 ![v2-5f002ee9a12c5a8af27fecffb77f21ad_1440w.jpeg](http://kwassistfile.cupoy.com/0000017BC15C6D78000000196375706F795F72656C65617365414E53/1630891912419/large)[參考圖片來源](https://www.google.com/url?sa=i&url=https%3A%2F%2Fblog.csdn.net%2Fsinat_17456165%2Farticle%2Fdetails%2F106168936&psig=AOvVaw30t-SZlHNXxOBMVyXIqppH&ust=1631119030530000&source=images&cd=vfe&ved=0CAsQjRxqFwoTCJiMjIam7fICFQAAAAAdAAAAABAJ) 以下舉例兩種常見的插值法: * **最鄰近插值(Nearest Neighbour Interpolation)**:顧名思義,就是在圖片放大時取最接近的像素來進行補充,使用起來簡單快速,但是放大後的圖像畫質劣化會較為明顯 ![download (1).png](http://kwassistfile.cupoy.com/0000017BC15C6D78000000196375706F795F72656C65617365414E53/1630891912420/large)[參考圖片來源](https://www.google.com/url?sa=i&url=https%3A%2F%2Ftheailearner.com%2F2018%2F12%2F29%2Fimage-processing-nearest-neighbour-interpolation%2F&psig=AOvVaw3Vk0Suf0ecRpxTPl6w_TOL&ust=1631123358325000&source=images&cd=vfe&ved=0CAsQjRxqFwoTCLjAwpW27fICFQAAAAAdAAAAABAD) * **雙線性插值(Bilinear Interpolation)**:又稱為雙線性內插。其核心思想是在兩個方向分別進行一次線性插值。雖然與最鄰近差值相比算法較為複雜,但極大地消除了鋸齒現象,放大後的圖像畫質也較不會出現劣化的現象。 ![1617952214147.png](http://kwassistfile.cupoy.com/0000017BC15C6D78000000196375706F795F72656C65617365414E53/1630891912423/large) ![1617952214148.png](http://kwassistfile.cupoy.com/0000017BC15C6D78000000196375706F795F72656C65617365414E53/1630891912424/large) ![220px-Bilinear_interpolation.png](http://kwassistfile.cupoy.com/0000017BC15C6D78000000196375706F795F72656C65617365414E53/1630891912422/large)[參考圖片來源](https://zh.wikipedia.org/wiki/%E5%8F%8C%E7%BA%BF%E6%80%A7%E6%8F%92%E5%80%BC) 2. 反池化 (Unpooling) : 出自2013年紐約大學Matthew D. Zeiler和Rob Fergus發表的[《Visualizing and Understanding Convolutional Networks》](https://arxiv.org/pdf/1311.2901.pdf) Unpooling是在CNN中常被用來表示max pooling的逆操作。在池化過程中,記錄下最大池化在對應內核中的坐標,在反化過程中,將一個元素根據內核進行放大,根據之前的坐標將元素填寫,其他位置補0。 ![Pooling-and-unpooling-layers-For-each-pooling-layer-the-max-locations-are-stored-These.png](http://kwassistfile.cupoy.com/0000017BC15C6D78000000196375706F795F72656C65617365414E53/1630891912421/large)[參考圖片來源](https://www.google.com/url?sa=i&url=https%3A%2F%2Fwww.researchgate.net%2Ffigure%2FPooling-and-unpooling-layers-For-each-pooling-layer-the-max-locations-are-stored-These_fig2_306081538&psig=AOvVaw1oyKBFq6HT5qQcWRSEuIyQ&ust=1631122648031000&source=images&cd=vfe&ved=0CAsQjRxqFwoTCOCSysSz7fICFQAAAAAdAAAAABAr) 從上圖中可以明顯的看出Max-pooling與Unpooling之間的關係,Max-pooling是取其極值去做壓縮,而Unpooling根據其原本的位置去還原,空缺部分則直接補0。 ------- 有興趣進一步了解的人參考下列連結: * [【学习笔记】浅谈Upsampling](https://zhuanlan.zhihu.com/p/359762840) * [上采样(upsampling)](https://www.malaoshi.top/show_1EF52HM7gu6g.html) * [D4:縮放齊次座標與幾何轉換(5/21更新)](https://www.cupoy.com/marathon-mission/0000017705882449000000016375706F795F72656C656173654355/0000017714F58318000000046375706F795F70726572656C656173654349)