小樣本條件下工業無損檢測-X光損失檢測
- 小樣本：數據量不足，沒有足夠的數據支持；
- X光損失檢測：作爲工業工業無損檢測技術中的。利用X光射線持續照射待檢測物體一段時間，並且用膠片記錄傳過待檢測物體的各個部位的X光的強度。穿透強度高的地方，對應的膠片部分的灰度值比較大，比較明亮；穿透強度較弱的地方，對應的膠片部分的灰度值比較小，相對灰暗。通過觀察X光膠片桑的灰度值變化可以推斷出待檢測物體內部結構是否符合生產的預期。
研究方法
爲解決小樣本數據下工業無損檢測圖像中的損傷定位問題，提出一種結合主動學習的多尺度多特徵融合的損失檢測方法，並結合目標識別的方法，減少基於滑動窗口的分類模型中帶來的誤判率，進一步提升模型的損失定位效果。
- 1.主動學習：通過主動學習的策略，在不影響模型定位準確率的情況下，降低模型訓練所需要的標註成本。
- 2.多特徵：通過特徵增強的方法增強圖像中的損傷特徵，並且通過聚類的方法將焊縫的X光圖像中的焊縫區域以及鋼鐵區域分開，並將上述多種特徵融合，得到信息更加豐富的多特徵融合數據。
- 3.多尺度判別：利用更小的定位框對損失進行定位，提升模型定位損失的準確率。
主動學習框架下的 多尺度多特徵損失定位方法
通過改進CLAHE方法，提出了G-CLAHE方法，用於增強X光損失圖像中梯度、對比度特徵以及解決灰度值分佈不均勻問題。其次通過聚類的方式提取X光影像中的焊縫的位置信息，通過這種方法將人工檢驗損傷的經驗加入到模型之中。而後將原始圖像、G-CLAHE特徵增強結果與聚類結果結合起來，形成信息更加豐富的多特徵融合的三通道數據，解決了由於數據維度不同而不能使用ImageNet對模型進行預訓練的問題，同時由於數據特徵更加豐富，進一步提升了模型的分類效果。另一方面，本文提出了多尺度判別模型，讓模型獲取到更多的空間信息的同時使用較小的定位框對損傷進行定位，提高了像素級別的損傷檢測的性能。最後結合主動學習的方法，在保證損傷定位準確率的同時，減少了大量的數據標註成本。
1.多特徵融合方法
X光圖像爲單通道的TIFF格式數據，而目前常用的圖像數據集中的數據位RGB三通道的格式。已有的方法通常是將每張單通道的圖像數據複製爲三份，合併成一個三通道的圖像數據。這裏利用非線性灰度增強改進了CLAHE(限制對比度的自適應直方圖均衡方法)，得到G-CLAHE方法，另一方面，通過聚類方法，快速定位出目標區域（焊縫區域），得到焊縫定位信息，最後，將G-CLAHE的特徵增強與損失定位信息作爲額外的兩個通道與原始的單通道數據合併成一個三通道的圖像數據。
a.G-CLAHE方法
圖像增強處理技術，是指按照某種特定的需要突出一幅圖像中的某些信息，同時，削弱或去除某些不需要的信息的處理方法。而利用直方圖統計的結果，通過使圖像的直方圖均衡的方法稱爲直方圖均衡化。直方圖均衡化可以達到增強圖像顯示效果的作用。其基本思想是把原始圖像的直方圖變換成均勻分佈的形式，這樣就增加了像素灰度值的動態範圍，從而達到增強圖像整體對比度的效果。
通過該直方圖統計，可以觀察出，圖像中各種亮度所佔的比例大都分佈不均勻，設法增加在直方圖統計中所佔比例高的像素和其它佔的比例少的像素之間的亮度差，可以提高圖像的顯示效果。簡單來說，直方圖增強的方法就是壓縮直方圖中比例少的像素所佔用的灰度範圍，多出來的灰度空間按照比例分配給直方圖中比例高的像素使用。
而G-CLAHE方法是在CLAHE方法上增加了自適應性灰度拉伸，將CLAHE方法改進成了G-CLAHE方法。灰度拉伸方法如圖所示。
b.聚類方法
這裏採用K-Means方法，K-Means聚類算法首先根據人工設定的k值，隨機選定k個聚類中心。然後計算每個對象與每個子羣中心之間的距離，並將每個對象分配給距離它最近的集羣中心。每個聚類中心和分配給它的對象作爲一個聚類。分配完對象之後，根據現有的集羣中所有對象計算每一個集羣的聚類中心。一直重複該過程直到滿足終止條件。
2.多尺度判別模型
使用滑動窗口的策略結合深度學習模型構建的分類器來進行損傷的定位。利用滑動窗口在原始數據上滑動，在滑動過程中判別每次滑動窗口所覆蓋的數據是否包含損傷。而傳統的滑動窗口策略難以保證檢測質量。
因此，這裏使用多尺度判別模型。該模型可以利用不同尺度的分類器對待檢測區域進行判別，以確保神經網絡可以在獲得更多的空間信息的同時，利用更加細粒度的矩形框定位損傷。
使用S1 * S1大小的訓練數據集對Location模型進行遷移學習的重新訓練。然後利用S2 * S2像素大小對Deatil模塊進行重新訓練。將Location模塊與Detail模塊利用各自的數據分別訓練過後，將兩個模塊以上圖所示集成到多尺度模型框架中，進行聯合訓練。
3.主動學習方法
將多尺度多特徵的損傷定位方法與主動學習的策略相結合，在Location模塊的訓練過程中不使用全部的訓練數據，而是使用主動學習的方式，通過訓練多個相同結構的分類器，以集成學習的方式組成一個更加強大的Location分類器模塊。在不影響模型檢測性能的前提下，儘可能的減少數據標註的相關成本。
Location 網絡由 m 個子分類器 MC = (C1,C2, · · · ,Cm) 組成，其中每個子分類器 Ci 都可以獨自完成 X 光圖像的分類任務。當一個樣本 I 輸入到 Location 網絡中之後，所有子分類器 MC = (C1,C2, · · · ,Cm) 均將根據自身的參數對輸入數據進行計算並且得到相應的分類結果 MR = (R1, R2, · · · , Rm) ，由於本文中的任務是對每個樣本進行有無損傷的二分類，所以其中每一個子分類計算結果 Ri 均是一個維度爲1且長度爲2的向 Ri = (R1i, R2i) ，其中 R1i 表示第 i 個分類器
認爲該樣本不包含損傷的置信度， R2i 表示第i個分類器認爲該樣本包含損傷的置信度。在訓練過程中，將通過各個子分類器的分類結果 MR = (R1, R2, · · · , Rm) 以及樣本選擇策略來選擇待標註的樣本。在使用過程中，將通過各個子分類器的分類結果 MR = (R1, R2, · · · , Rm) 結合集成學習的投票策略來做出最終的分類決策。
基於目標檢測改進的損失定位模型
結合目標識別的Yolo方法，對上述的模型做進一步的提升。
首先採用多特徵融合方法將原始的單通道圖像進行特徵增強，得到多特徵融合數據，然後根據滑動窗口的策略，利用步長爲S/2,大小爲 S * S 的窗口在多特徵融合數據上進行採樣，將採樣結果及其在原始圖像上的相對位置輸入到LOcation模型中.Location模型通過集成學習的方式，對輸入的S * S的圖像是否包含損傷進行判別，如果其中包含損傷，則調用Detail模塊中的YOLO網絡對其中的損傷進行具體的定位。
