點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”
重磅乾貨，第一時間送達![]()
基於計算機視覺的金屬材料表面缺陷檢測是冶金工業領域的研究熱點。在金屬製造行業中，高標準的平面質量要求自動視覺檢查系統及其算法的性能必須不斷提高。本文基於對鋼，鋁，銅板和帶鋼的一些典型金屬平面材料產品的160多種出版物的綜述，試圖對二維和三維表面缺陷檢測技術進行全面的綜述。根據算法的屬性和圖像特徵，現有的二維方法分爲四類：統計方法，光譜方法，模型方法和基於機器學習的方法。在三維數據採集的基礎上，三維技術分爲立體視覺，光度立體，激光掃描儀和結構化光測量方法。本文將分析和比較這些經典算法和新興方法。最後，對視覺缺陷檢測的剩餘挑戰和未來的研究趨勢進行了討論和預測。
金屬平面材料（例如，鋼，鋁，銅板等）廣泛用於汽車製造，橋樑建築，航空航天和其他支柱產業，爲現代社會發展和生活改善做出了巨大貢獻。然而，在實際的工業生產過程中，加工設備的損壞或惡劣的工業環境不可避免地會導致金屬平面材料產品出現某些質量問題。一些具有大面積或週期性特徵的產品表面缺陷不僅影響後續生產，而且威脅終端產品的質量，給製造企業帶來巨大的經濟和聲譽損失。表面缺陷區域的數量，程度和分佈是決定工業金屬平面材料質量的重要因素。基於振動聲調製，無線傳感技術和其他不同原理的損傷檢測方法已經進行了很長時間的研究。但是，基於計算機視覺的表面缺陷檢測方法具有成本低，操作簡便，性能優越等優點，是在圖像表面發現和定位異常區域的最常用方法。硬件設施的發展以及人工智能技術的不斷髮展，自動視覺檢查（AVI）設備已逐漸成爲工業製造商提高產品質量和生產效率的標準配置。
金屬平面材料（例如鋼，鋁，銅板和帶材）具有相似的外觀特徵，具有統一的質量要求，可以概括爲“精確的尺寸，均勻的表面和光潔的表面”，這意味着板材的厚度和寬度應符合規定的精度要求，表面應清潔且無鱗，裂紋，劃痕，輥痕和氣泡等。金屬平面材料表面的缺陷不僅會損壞平面產品的外觀，而且可能成爲應力集中的薄弱環節，成爲破裂和腐蝕的根源。用於金屬平面材料表面缺陷的檢測設備應具有兩個主要功能：缺陷檢測和缺陷分類。前者的目的是在工業生產過程中在線準確地檢測和定位缺陷，而無需識別缺陷的類型，以便工業現場可以根據缺陷的程度和頻率調整相應的連鑄/軋製設備，從而儘快控制相似缺陷的大量擴散，並有效避免質量問題造成的經濟損失。同時，缺陷分類是識別和標記檢測到的缺陷，以便最終產品的分級。分類精度直接由缺陷檢測的精度決定；因此，檢測系統的整體性能主要受到缺陷檢測過程中各種算法的準確性，時間效率和魯棒性的限制，這是本文的重點。
金屬平面材料的在線表面缺陷檢測在生產過程中面臨以下嚴峻挑戰：
鋼，鋁，銅帶和其他極薄帶的表面光滑，並且它們的高表面反射率易於帶來較高的光影區域；然後，灰度值不一致的現象增加了錯誤邊緣檢測的可能性。
僞缺陷（例如水滴，水布，雨水線，水霧以及在層流冷卻過程中產生的其他實際缺陷）會導致檢測設備頻繁出現誤報。
由於連續的軋製設備振動，軋製速度差，側導板異位，軋製速度波動，類大氣湍流效應等原因，隨機彈性變形會在電荷耦合器件（CCD）相機產生隨機圖像失真。
現實世界中生產線的高速，卷材更換的快節奏以及熱軋機中對細微缺陷檢測的需求，使得圖像採集前端連續生成大量圖像數據，其峯值速度高達5.12 Gbps ，這要求檢測算法必須在檢測精度，計算和可靠性之間達到良好的平衡。
在不同的工藝中，不同類型的工業設備的工藝操作使表面紋理有很大的差異，相應的金屬板和帶材也具有不同的檢測難度。下圖列出了金屬平面材料的三個典型表面圖像。左側是無缺陷的圖像，右側顯示了幾個典型的缺陷或僞缺陷圖像，例如鱗片，渣痕，裂紋，劃痕，毛刺和連鑄坯表面上的照明不均勻；在熱軋帶鋼表面上有輥痕，劃痕，夾渣，夾雜物，孔洞和氧化皮；冷軋帶鋼表面的酸洗，腐蝕，波紋，污點，凹坑和孔。這些圖像都是使用線性陣列掃描CCD相機從現實世界的生產線上獲取的。
以帶狀表面缺陷檢測系統爲例，其硬件框架主要由照明設備，CCD相機，圖像處理計算機和服務器組成，其照明設備採用特殊的紅外光源陣列。CCD線掃描攝像機組水平排列在帶鋼生產線上，水平和垂直可視範圍相互重疊，以確保沒有漏檢。CCD攝像機收集的圖像通過光纖傳輸到圖像處理計算機組，以進行圖像處理和圖案識別。然後，將結果與生產線的相關信息一起發送到服務器數據庫進行進一步處理，並生成各種現場生產信息統計報告。用戶可以根據這些報告評估鋼卷的質量等級，或者分析生產線異常的原因，從而實現對生產線的實時監控。下圖顯示了典型的工業帶材表面缺陷檢測系統。
![]()
在表面缺陷檢測任務中，我們通常會根據統計結果對相關方法進行定量評估，可將其分爲四類：真陽性（TP）表示檢測到的實際缺陷爲缺陷，真陰性（TN）表示檢測到的缺陷。實際缺陷被錯誤地檢測爲背景，假陽性（FP）表示錯誤地將實際背景檢測爲缺陷，而假陰性（FN）表示將實際背景檢測爲背景。顯然，在理想情況下，TP和FN越大，檢測效果越好，而TN和FP越大，檢測效果越差。因此，九個指標定義如下：
其中，G均值以組合的方式衡量這兩類的準確性，而G均值越大意味着TPR和TNR越高，這也是缺陷檢測應用程序的要求。另一方面，F-measure根據準確性和召回率評估缺陷檢測的總體性能。
作者全面回顧了現有的金屬平面材料表面缺陷檢測方法的二維視覺技術和模型，並進行了討論和展望，檢測方法分類的總體結構。值得注意的是，近年來深度學習的快速發展改變了這種模式。基於深度學習的缺陷檢測方法越來越多地應用於金屬平面材料。因此，本文將金屬平面材料的表面缺陷檢測方法分爲四類：傳統的基於統計的方法，基於光譜的方法，基於模型的方法和新興的基於機器學習的方法。
從統計方法的角度來看，圖像紋理被視爲隨機現象。統計方法通過測量像素空間分佈的統計特性來研究像素強度的規則和週期性分佈，以檢測金屬平面材料表面的缺陷。以下是對五個代表性統計方法的簡要介紹，下表給出了這五個類別的幾種典型方法的比較。
其中，邊緣檢測是一種檢測被測圖像中的灰度或結構突變的方法。缺陷區域和背景之間的灰度級差異導致邊界處出現明顯的邊緣，可用於檢測金屬平面材料的表面缺陷。由於圖像邊緣像素的不連續性，研究人員通常採用局部圖像微分技術來獲取邊緣檢測算子，金屬平面材料表面缺陷的常用邊緣檢測模板包括Prewitt，Sobel 和Canny 運算符，下圖顯示了在相同缺陷樣本上這些原始運算符的檢測結果。
這些模板也有自己的缺點，許多研究人員對其進行了優化，以獲得更好的結果。下表列出了傳統版本和優化版本，並簡要比較了這些運算符的優缺點。
在光照變化和僞缺陷干擾的情況下，許多統計方法都不可靠。幸運的是，研究人員發現圖像在變換域中更有可能被分離出具有不同特徵的信息，並且有可能找到比像素域中的直接處理方法更好的缺陷檢測方法。下表總結了一些轉換域方法，以下是這些類別的幾種典型方法的比較。
其中，小波變換具有更強的自適應能力，非常符合人的視覺特徵，它不僅可以定位時頻窗口，而且可以根據窗口中心頻率的變化自動修改窗口大小。下圖顯示了二維圖像的二階小波分解的示意圖。
該二維圖像從標度j +1分解爲標度J，然後分解爲標度J-1。小波分解的結果是將圖像劃分爲子圖像的集合。爲了有效地從信號中提取信息並分析函數或信號，比例變換和移位運算已成爲小波變換的顯着優勢。在實際的生產線中，由於諸如水滴，氧化物水垢，照明不均勻或不利環境等缺陷，金屬板和帶材的表面缺陷的檢測越來越具有挑戰性。
除了基於統計和頻譜的方法外，還有一種基於模型的方法。基於模型的方法通過通過參數學習增強的特殊結構模型將圖像塊的原始紋理分佈投影到低維分佈，從而更好地檢測各種缺陷。下表給出了這些類別的幾種典型方法的比較。
隨着人工智能技術的飛速發展，廣泛應用的機器學習在各個領域都取得了良好的效果。下表列出了幾種典型方法。
![]()
機器學習的本質是分析和學習數據（特徵），然後做出準確的決策或預測。2005年，Liu等人使用雙層前饋神經網絡將測試圖像的像素點分類爲有缺陷的和無缺陷的。該任務的基本思想實際上是根據是否存在缺陷二分，因此仍可以歸類爲缺陷檢測。卷積神經網絡（CNN）是當前基於監督方式最常用的深度學習網絡。Chen等進行了裂縫檢測 基於卷積神經網絡（CNN）和樸素貝葉斯數據融合方案的NB-CNN。考慮到缺陷形狀的多樣性，Zhou等改進了快速R-CNN，選擇了K-mean算法，根據“地面真相”的大小生成了錨框的長寬比，並將特徵矩陣與不同的接收域融合在一起。該方法具有較好的微觀缺陷檢測能力，在光線變化時仍能準確地識別出缺陷類型，易於移植到實際工業應用中。隨後，隨着支持向量機（SVM）的發展和改進，這種值得稱讚的支持數據二進制分類的廣義線性分類器通常被廣泛用於區分有缺陷和無缺陷區域。Ghorai等認爲分類器在缺陷檢測中的性能在很大程度上取決於特徵和分類器的組合。因此，他們對不同的特徵集（Haar，DB2，DB4）和不同的分類器（SVM和向量值正則化核函數逼近（VVRKFA））進行置換和組合，並觀察缺陷檢測結果。實驗表明，具有第一級Haar特徵的VVRKFA的性能在所有特徵分類器組合中排名第一。與上述缺陷檢測方法不同，He和Xu等顛倒了ROI提取和對象分類的一般順序，他們提出了一個新的對象檢測框架：分類優先級網絡（CPN）。首先通過多組卷積神經網絡（MG-CNN）對測試圖像進行分類，然後輸出更多的稀疏和合理的特徵組。根據分類結果，CPN從可能包含缺陷的特徵組中退回了缺陷邊界框，並分別在鋼板和鋼帶上進行了測試，檢出率分別爲94％和96％。然而，在現實世界的工業生產線中，收集和標記大量圖像樣本是不切實際的，並且所得圖像樣本更加未被標記。爲了用少量的訓練樣本獲得滿意的結果，數據擴充以及遷移學習是訓練網絡的關鍵要素。例如，Yun等使用條件卷積變分自編碼器（CCVAE）作爲數據增強方法，並通過使用CCVAE學習給定缺陷數據的分佈來生成各種缺陷圖像。實驗表明，在使用CCVAE進行數據增強的情況下，準確性可以從96.27％提高到99.69％，F值也可以從96.27％提高到99.71％。通過應用轉移學習，Neuhauser等人使用在ImageNet上預訓練的網絡權重作爲學習過程的初始權重；他們利用轉移學習來加快培訓過程，並提高檢測擠壓鋁材缺陷的性能。遷移學習的基本前提是可以擴展網絡的特徵提取功能。如果源域和目標域之間的相似度不夠，則結果將不理想。
從簡單的二進制圖像處理到高分辨率的多灰度圖像處理，再到從一般的2D信息處理到3D視覺處理，機器視覺作爲一門新興且發展迅速的學科已從實驗室研究轉移到了實際應用。與以往不同，本文重點研究質量控制要求相似的平面金屬材料，從二維和三維方面全面總結缺陷檢測方法。本文總結了近30年來自動檢測金屬板和帶材表面視覺缺陷的研究成果，其中大多數是近10年發表的。介紹並總結了工業金屬平面材料表面缺陷檢測的學習方法，理論探討和應用發展。基於上述文獻的啓發和作者在開發表面缺陷檢測系統中的經驗，總結出該領域仍存在的挑戰和研究建議。
（1）與其他基於計算機視覺的表面缺陷檢測任務相比，在現實世界中的金屬平面材料工業製造中，除了檢測精度和計算效率之間的平衡外，更重要的是確保檢測算法的穩定性，尤其是對環境變化的穩健性。此外，還必須具有檢測缺陷多樣性的能力，尤其是沒有邊緣特徵的變形缺陷。
（2）算法的快速性和通用性是現實AVI系統應用中的兩個關鍵問題。至於算法本身，與複雜的學習網絡相比，在線表面缺陷檢測作爲一種無監督的實時檢測任務，更傾向於使用輕量級算法，而機器學習或深度網絡則更適合於處理複雜的網絡。具有豐富數據集的多類分類問題（即缺陷分類）。就硬件而言，邊緣計算的概念可以用於終端加速。例如，專用集成電路（ASIC），類似於現場可編程門陣列 （FPGA），可以放置在圖像採集的前端以實時完成原始數據的預處理，以防止複雜的信息影響後續處理。
（3）噪聲平滑和邊緣增強是缺陷檢測的重要預處理操作，應儘可能靠近成像的傳感器側進行佈置。此外，檢測系統最有效的去噪方法是通過一些可行的工程措施使圖像儘可能清晰。例如，應在目標的透鏡側和表面側安裝鼓風機或離子氣槍，以去除惡劣的工業環境在光學表面上產生的水滴，灰塵，纖維等，並提供光源應當在目標側施加均勻，適度的亮度，以克服白天和晚上照明變化引起的光線不均勻的影響。另外，一些經濟有效的冷卻配置措施和成像設備的安全保護措施對於避免由高溫和機械振動等惡劣環境引起的成像退化也具有重要意義。
（4）最新的機器學習技術提供了一種新方法來處理此數據不平衡問題。例如，GAN在生成缺陷樣本方面取得了巨大的成功。爲避免GAN中的可解釋性差的問題，可以將其與強化學習聯繫起來，並且可以將GAN用於逆向強化學習和模擬學習，以提高強化學習的效率，圖像和文本的轉換能力以及機器的理解能力。由於研究人員在不同的數據集上使用不同的方法進行實驗，因此很難公平地比較不同技術的檢測性能。受生物識別領域研究的啓發，構建一個豐富多樣的金屬平面材料表面缺陷數據庫將是該領域的一項長期工作。
（5）金屬平面材料表面缺陷的自動視覺檢測應努力適應世界工業競爭格局的新調整，搶佔未來工業競爭的制高點。應努力促進多種技術的深度集成和有機協作，研究金屬平面材料的表面缺陷檢測算法和方法。
![]()
下載1：何愷明頂會分享
在「AI算法與圖像處理」公衆號後臺回覆：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經典工作的總結分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公衆號後臺回覆：c++，即可下載。歷經十年考驗，最權威的編程規範！
在「AI算法與圖像處理」公衆號後臺回覆：
CVPR2020
，即可下載1467篇CVPR 2020論文
