讀文獻 Automatic Pearl Classification Machine Based on a Multistream Convolutional Neural Network 閱讀心得

Abstarct

提出了一種新的多流卷積神經網絡(MS-CNN)來處理這些多視圖圖像,每個圖像流處理一個特定視角的圖像,不同的圖像流共享部分權值以融合高階特徵而不損失太多的多樣性。
此外,卷積核激活的可視化表明,MS-CNN模擬人工過程,確實可以識別相對複雜的特徵。這些結果表明,我們的機器在珍珠行業具有潛在的價值。

Inroduction

人工分類珍珠時,需要同時考慮珍珠的多種特徵,這在現實中是比較困難的。而且,體力勞動是重複的、單調的、低效的。因此,迫切需要自動提取分類標準。
一般來說,珍珠分類可以看作是一項精細的識別任務[7]-[9],這是相當具有挑戰性的,因爲類別之間的視覺差異非常小,不檢查珍珠的完整視圖就可以忽略。
首先,設計了一種珍珠分類機,可以採集五種不同視角的珍珠圖像,實現珍珠的自動分類。該機的廣泛應用,有助於珍珠行業節省大量勞動力,制定統一的分級標準。其次,提出了一種新的用於珍珠分類的MS-CNN算法,該算法具有較高的分類精度,在二類和七類分類任務中均優於SVM和BPNN。這種新穎的CNN結構也可用於需要處理多視圖圖像的其他應用,例如三維CAD模型。

Method

模型結構
儘管這種架構可能不是最優的,而且還可以進一步改進,但是我們發現它可以在分類任務中完成令人印象深刻的工作,而且細微的變化似乎對分類結果沒有顯著的影響。
這個網絡爲了加快運行速度,在前面的網絡中權重共享,但是在最後的全連接層中使用了不同的權重(爲了體現來自不同視野的差異)。

Experiment

最終收集了10500顆珍珠和52500張帶有標籤信息的多視圖圖像。我們將數據集按6:2:2的比例分成三部分,包括6300個訓練實例、2100個驗證實例和2100個測試實例。這些實例的標籤取決於分類規則。我們在訓練階段使用訓練和驗證集,並使用測試集來評估模型。
爲了驗證性能,訓練了兩個模型分類粗糙和精細的珍珠。
這篇文章做的對比實驗是通過與傳統的機器學習方法對比,即手動的劃定特徵。
Task1
Task2
比對實驗
在這裏插入圖片描述
組合權重
給予不同視圖的圖像不同權重,對準確率的影響。
在這裏插入圖片描述
不同的框架對於此任務的影響。
在這裏插入圖片描述
e、g類珍珠爲短徑與長徑之比約小於0.7的珍珠,簡單地說,可以解釋爲米形珍珠。此外,e類珍珠有淺層瑕疵,而g類珍珠沒有瑕疵。從左視圖、右視圖、主視圖和後視圖可以看出,第三排的珍珠是米色的,很可能是淺層瑕疵。從分類標準來看,第三排的珍珠也可能屬於e類,另一方面,我們也可以看出,這顆珍珠的大小比較大,因此可能比其他e類珍珠的價值更高。這可能是爲什麼經驗豐富的專業人士傾向於將這顆珍珠歸類爲g類中更具價值的一類的原因。
卷積神經網絡可視化

Conclusion

本文設計了一種珍珠分類機,利用該機可以自動採集大量珍珠的多視圖圖像,並利用一種新的MS-CNN算法對珍珠進行高精度分類。
這臺機器運轉平穩。MS-CNN有五個流,以每顆珍珠的五個視圖的圖像作爲輸入,提取珍珠表面的特徵,並通過權重共享機制和完全連接層進一步融合。
實驗結果表明,該方法在一定程度上克服了由視點引起的問題,在兩種分類任務中都取得了較好的效果,特別是在採用加權組合策略更加關注左視圖和右視圖的情況下,明顯優於基於手工特徵的SVM和BPNN。
值得注意的是,這裏我們選擇AlexNet作爲構建MSCNN的基礎網絡,因爲實驗驗證了AlexNet與VGG19、GoogleNet和ResNet34相比具有最少的測試時間和可比的準確性。
通過對卷積核激活的可視化,我們證明了我們的模型能夠識別相對複雜的特徵,如紋理。MS-CNN也可用於需要處理多視圖圖像的許多其他應用,例如三維CAD模型。本機能有效、高效地對珍珠進行分類,模擬實際人工分類,對珍珠生產企業具有一定的參考價值。
簡單來說,做了以下工作:
1、設計了一個用於珍珠分類的機器
2、在AlexNet神經網絡的基礎上加入了多流形,共享權值及最後全連接層體現差異,並做實驗證明了多流形的優越性和AlexNet網絡選擇的優越性;
3、卷積可視化技術,證明了所學的知識表示的有效性
4、分析了識別錯誤的樣本及可能原因
5、權重調整粗略涉獵

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章