Abstarct
提出了一種新的多流卷積神經網絡（MS-CNN）來處理這些多視圖圖像，每個圖像流處理一個特定視角的圖像，不同的圖像流共享部分權值以融合高階特徵而不損失太多的多樣性。
此外，卷積核激活的可視化表明，MS-CNN模擬人工過程，確實可以識別相對複雜的特徵。這些結果表明，我們的機器在珍珠行業具有潛在的價值。
Inroduction
人工分類珍珠時，需要同時考慮珍珠的多種特徵，這在現實中是比較困難的。而且，體力勞動是重複的、單調的、低效的。因此，迫切需要自動提取分類標準。
一般來說，珍珠分類可以看作是一項精細的識別任務[7]-[9]，這是相當具有挑戰性的，因爲類別之間的視覺差異非常小，不檢查珍珠的完整視圖就可以忽略。
首先，設計了一種珍珠分類機，可以採集五種不同視角的珍珠圖像，實現珍珠的自動分類。該機的廣泛應用，有助於珍珠行業節省大量勞動力，制定統一的分級標準。其次，提出了一種新的用於珍珠分類的MS-CNN算法，該算法具有較高的分類精度，在二類和七類分類任務中均優於SVM和BPNN。這種新穎的CNN結構也可用於需要處理多視圖圖像的其他應用，例如三維CAD模型。
Method
儘管這種架構可能不是最優的，而且還可以進一步改進，但是我們發現它可以在分類任務中完成令人印象深刻的工作，而且細微的變化似乎對分類結果沒有顯著的影響。
這個網絡爲了加快運行速度，在前面的網絡中權重共享，但是在最後的全連接層中使用了不同的權重（爲了體現來自不同視野的差異）。
Experiment
最終收集了10500顆珍珠和52500張帶有標籤信息的多視圖圖像。我們將數據集按6:2:2的比例分成三部分，包括6300個訓練實例、2100個驗證實例和2100個測試實例。這些實例的標籤取決於分類規則。我們在訓練階段使用訓練和驗證集，並使用測試集來評估模型。
爲了驗證性能，訓練了兩個模型分類粗糙和精細的珍珠。
這篇文章做的對比實驗是通過與傳統的機器學習方法對比，即手動的劃定特徵。
給予不同視圖的圖像不同權重，對準確率的影響。
不同的框架對於此任務的影響。
e、g類珍珠爲短徑與長徑之比約小於0.7的珍珠，簡單地說，可以解釋爲米形珍珠。此外，e類珍珠有淺層瑕疵，而g類珍珠沒有瑕疵。從左視圖、右視圖、主視圖和後視圖可以看出，第三排的珍珠是米色的，很可能是淺層瑕疵。從分類標準來看，第三排的珍珠也可能屬於e類，另一方面，我們也可以看出，這顆珍珠的大小比較大，因此可能比其他e類珍珠的價值更高。這可能是爲什麼經驗豐富的專業人士傾向於將這顆珍珠歸類爲g類中更具價值的一類的原因。
Conclusion
本文設計了一種珍珠分類機，利用該機可以自動採集大量珍珠的多視圖圖像，並利用一種新的MS-CNN算法對珍珠進行高精度分類。
這臺機器運轉平穩。MS-CNN有五個流，以每顆珍珠的五個視圖的圖像作爲輸入，提取珍珠表面的特徵，並通過權重共享機制和完全連接層進一步融合。
實驗結果表明，該方法在一定程度上克服了由視點引起的問題，在兩種分類任務中都取得了較好的效果，特別是在採用加權組合策略更加關注左視圖和右視圖的情況下，明顯優於基於手工特徵的SVM和BPNN。
值得注意的是，這裏我們選擇AlexNet作爲構建MSCNN的基礎網絡，因爲實驗驗證了AlexNet與VGG19、GoogleNet和ResNet34相比具有最少的測試時間和可比的準確性。
通過對卷積核激活的可視化，我們證明了我們的模型能夠識別相對複雜的特徵，如紋理。MS-CNN也可用於需要處理多視圖圖像的許多其他應用，例如三維CAD模型。本機能有效、高效地對珍珠進行分類，模擬實際人工分類，對珍珠生產企業具有一定的參考價值。
簡單來說，做了以下工作：
1、設計了一個用於珍珠分類的機器
2、在AlexNet神經網絡的基礎上加入了多流形，共享權值及最後全連接層體現差異，並做實驗證明了多流形的優越性和AlexNet網絡選擇的優越性；
3、卷積可視化技術，證明了所學的知識表示的有效性
4、分析了識別錯誤的樣本及可能原因
5、權重調整粗略涉獵