編者按
海洋麪積佔據地球總面積的大部分，而且海洋世界蘊藏着豐富的資源，圍繞水下成像的相關研究和應用越來越重要。但是，收到水下光照散射、吸收以及噪聲等影響，獲取的水下圖像普遍存在顏色偏差、清晰度差等問題。LiveVideoStackCon 2023 深圳站邀請到福州大學趙鐵松老師講解水下圖像質量評價與畫質增強研究案例。
文/趙鐵松
整理/LiveVideoStack
大家好，我是趙鐵松，今天向大家分享水下圖像質量評價與畫質增強研究案例。
首先介紹一下水下成像面臨的問題。
現在我國國力提升要關注海洋技術，對海洋探測需要大量投入，其中需要大量的水下圖像研究，特別是引進人工智能的水下圖像研究。
海洋麪積佔據地球總面積的大部分。海洋信息獲取通過聲納、換能器、水聽器等設備獲取，包括海洋資源、地貌、海洋搜救等關鍵信息。海洋信息傳輸通過水下無線電磁波通信、水下光纖通信以及水聲通信等。
針對水下成像來說，她存在由水帶來的前向散射和後向散射的問題，加上水中雜質會產生顏色奇怪的圖片，如上圖顯示。這些問題在陸地成像並不明顯，在水下特別顯著，而深海光學成像更涉及低光照等問題。
作爲替代，深海成像偏向於聲納技術，按技術特點可分爲合成孔徑聲納、多波束聲納、聲透鏡聲納等。按照工作方式可分爲主動聲納和被動聲納。按裝備對象可分爲水面艦艇聲納、潛艇聲納、航空聲納等。
針對採集到的水下圖像，進行傳輸則遇到更多的通信問題。水下無線電磁波傳輸問題是傳輸距離有限，成本高，信道不穩定；水下光通信同樣遇到散射等問題。目前最優選擇是水聲通信，它同樣面臨信道窄、不穩定，隨着傳播距離衰減等問題。
簡單總結。水下光學成像問題是光照不均勻，低對比度，色彩降維、模糊化、海洋雪現象。水下聲納成像問題是整體偏暗、對比度低、細節缺失、隨機噪聲多、前景不明顯等。水下信道傳輸問題是帶寬相對有限、信道不穩定。
在這樣情況下，我們考慮這樣幾個問題：一、如何判斷一張圖片是否可用？二、如果可用，如何進行目標識別？三、如果不可用，是否可以增強或修復？四、如何進行有效的壓縮與傳輸？本次彙報主要關注第一個和第三個問題。
首先講水下圖像質量評價。
質量是圖像的重要要素，針對圖像的質量評價方法，可以按照三個維度進行分類。
第一個維度是評價對象，是對保真度評價還是效用評價？水下圖像主要是保真度和效用，目前和美學關聯較小。
第二個維度是已有信息，是有原參考，無原參考還是半參考的評價？水下圖像質量不好，沒有完美圖像作爲參考，參考有限。
第三個維度是評價策略，是自上而下還是自下而上的模型？自下而上用感知理論對眼睛進行建模，用模型衡量評價。自上而下通過數據提取特徵完成擬合，由於大模型出現，未來可能向自下而上方法傾斜。
大家通常用的水下圖像質量評價指標是UCIQE和UNQM，但是這兩個指標提出較早。其設計並沒有考慮到深度學習算法帶來的異常失真。如何選擇更好的指標？
我們考慮三個元素。如果一張圖像呈現給人，我們需要考慮圖像自然性，如圖右邊展示的MSCN的係數曲線，越對稱越接近自然觀感，越不對稱越偏離自然觀感。
如果是面向機器則要考慮其特徵顯著性。對圖像計算梯度，如果梯度足夠明顯表明顯著性滿足機器學習的需求。
最後一個要素是結構一致性，也就是水下增強後的圖片與之前的圖片要在結構上保持一致。我們上面三個要素都是在CIELab空間計算得出。
通過以上三者融合，可以得到更好的質量評價指標。如圖所示，我們的算法性能更加魯棒。我們除了公開算法外，同時還公開了數據集。
第二個圖像質量評價工作是針對聲吶圖像。它具有不同的視覺效果，其應用場景也有不同。水下光學圖像可能用於娛樂或目標識別，但水下聲吶圖像一定用於目標識別。
在這個任務中，Contourlet變換可有助於提取目標識別的特徵。我們做了兩個實驗，驗證表明，Contourlet變換提取的聲吶圖像特徵同樣有助於識別，且維度越高邊緣信息越強。
基於這個想法，我們實現了一個兩步算法。第一步，將圖像進行Contourlet變換，提取若干子帶形成特徵，最後彙總成幅度、能量、信息三個特徵；第二步，採用集成學習方法來篩選有用特徵，且提升算法的泛化性能。
結果顯示如圖左邊呈現，六張圖像顯示所有打分基本和用戶評測分一致，顯示出強相關。同時此方法在存在誤碼情況下，也能很快識別出來，具有高魯棒性。
接下來講述水下圖像畫質增強。
首先水下成像噪聲體現爲混合噪聲，包括色彩降維、非均勻光照、細節丟失和低對比度。混合噪聲不是加性噪聲，噪聲直接疊加畫面中，例如雨霧噪聲圖像，直接去除處理。水下圖像的混合噪聲模型，較複雜，處理時需要綜合考慮多個因素，如光照強度、對比度、顏色等不同尺度的信息。
我們的第一個工作是LCNet。將圖像採用拉普拉斯金字塔劃分爲多個尺度，通過級聯子網絡能夠學習不同尺度的特徵，提高整體模型泛化能力，同時通過參數複用降低參數量及GPU加速拉普拉斯分解，提升處理速度。
結果顯示，與對比算法相比，結果是最好的，和真實世界圖像以及真實世界圖像中有挑戰的數據集相比較，都具有較好結果。
從計算時間來看，我們的處理速度是最快的，參數量也較少。上面一行圖片是處理前圖片，下面一行圖片是處理後圖片，處理後圖片目標置信度提升，尤其是可以識別處理前識別不到的目標。
我們提出的第二個算法是CURE-Net，目標是進一步提升畫質。網絡分3層輸入，第一層切爲4片，第二層切爲2片，第三層不切片，通過不同級別的特徵加註意力機制提取信息，逐漸向上層傳播，同時增加細節增強模塊重建圖像細節，監督復原模塊用下面所有注意力特徵指導整體圖像的監督復原。
在上面架構之後，可以看出CURE-Net的結果是更好的，圖片更加清晰，顏色更加鮮豔。
我們增強後的算法，更加有助於目標識別。對比實驗可以看出，通過多層級聯，識別目標越來越多，同時在跨庫的驗證中有好的性能。
我們提出的第三個算法DGUIR，用於接收端的圖像修復。對於多變窄帶水聲信道導致傳輸失真問題，修復方法分兩步進行，第一步運用失真定位，第二步失真修復。
整個模塊分成三個步驟，首先輸入生成修復圖像的低分辨率先驗圖像，其次輸入對失真圖像進行初步修復，最後完成精準修復。
結果明顯，相比對比算法，對失真進行較好修復，優於現有水下圖像恢復算法，理論上也可以用於視頻修復。
最後，跟大家彙報下我們將上述算法形成從算法集成框架，包括水下圖像的質量評價、編碼、傳輸、修復和識別。
獲取圖像之後，通過圖像壓縮、數據分包，在信道進行編碼，進行傳輸以及圖像解調，解碼之後會有質量評測，即評價圖像是否可用，結果是圖像有可能直接用或者進行修復，最終對圖像進行顯示和分析。
我們在Jetson盒子上集成實現了算法並測試，每秒能處理5-10張水下圖像。
採集端給出效用方法，評價圖像效用，評價目標是否清晰以及目標是否存在，效用較低的圖像直接捨棄。
拿到圖像之後對圖像進行壓縮和重建。
壓縮比選擇調節QP，以27爲初始，步長爲8，設置效用閾值爲40，如果低於40則丟棄；否則進行壓縮傳輸。
信道傳輸通過水聲信道進行模擬。
在接收端評估信道條件，確認接受圖像質量評價方法。如果信道誤碼率小於閾值，作部分參考質量評價，如果信道誤碼率大於閾值，作無參考質量評價。
在不同信道上，畫面丟失情況是不一樣的，SNR爲20時，雖然有些丟失，仍然可做目標識別，SNR越低，畫面丟失越來越嚴重。
接收端基於效用評價結果對圖像分別處理。
評價採用三個閾值。如果低於閾值2，會重傳；如果在閾值在2-3之間，做圖像修復；如果閾值在3-4之間，做增強；如果閾值大於4，直接用於下游目標檢測。
接下來講述應用於下游任務的目標檢測等。
構建魚羣識別網絡和算法，根據魚羣識別網絡得出識別目標，例如上圖所示，圖像4直接做識別，圖像3做增強，圖像2做修復，都可以檢測出目標，檢測網絡的時間大概每秒不到十幀。
今天分享到此結束，謝謝大家！
本文分享自微信公衆號 - LiveVideoStack（livevideostack）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。