主要是對AI challenger 2018植物病害程度分類比賽的數據進行了整理，選出了其中的一部分數據作爲這篇文章的數據集。文章中網絡的結構是用resnet殘差網絡作爲基礎，然後加入了shuffle單元（參考shuffle net），並在網絡後面分了三個分支，做不同的功能，分別是葉片種類分類、葉片病害分類、葉片病害程度分類，準確率分別達到了0.98，0.99，0.91。
關於shuffle net的介紹可參考https://blog.csdn.net/u013709270/article/details/78967484
目錄
摘要：本文提出了一個魯棒的基於圖片的植物病害診斷和嚴重程度估計的網絡（PD2SE-Net），網絡中包括一個殘差結構和shuffle單元。本文目的是設計出一個出色並且有實用性的植物病害診斷系統。提出的PD2SE-Net同時解決了常見植物病害的診斷和病害嚴重程度的估計問題。此外，本文還利用卷積神經網絡(CNNs)的數據擴充和可視化技術，提高了訓練期間超參數選擇的準確性和快速性。據我們所知，這份報告首次描述了一種計算機輔助方法，它可以基於深度學習同時估計疾病的嚴重程度、識別物種和對植物疾病進行分類。提出的PD2SE-Net50由ResNet50體系結構作爲基本模型，shuffle單元作爲輔助結構，該方法在病害嚴重程度估計、植物物種識別和病害分類等方面的綜合精度分別達到0.91、0.99和0.98，高於現有方法。作爲一名診斷專家，我們的系統利用植物葉片的多變量特性，以較低的計算成本提供優異的分類性能。實驗結果驗證了該網絡的可行性和有效性。
1. Introduction
植物病害是造成植物破壞的主要原因之一。對植物病害的精確檢測，有助於提出早期治療策略，有效預防病害的傳播，對減少經濟損失具有重要意義。近年來，基於視覺圖像的植物病害自動診斷與嚴重程度評估在農業生產中發揮着重要的作用，在過去的二十年中受到了廣泛的關注。
計算機視覺和圖像處理技術(CVIP)以前被用於診斷、農業應用的許多領域，如植物物種分類、葉片疾病識別和植物疾病嚴重程度的估計。Husin等(2012)提出了一系列基於圖像處理的技術，用於植物辣椒病害的早期檢測和植物健康的識別。支持向量機(SVM)作爲一種有監督的學習方法，也成功地應用於雜草和兵團的分類問題(Ahmed et al.， 2012;(Tellaeche et al.， 2011)。Monica等(2014)提出了一種僅基於veins. munisamietal .(2015)的方法，利用形狀特徵和顏色直方圖與K-nearest Neighbour (KNN)分類器對被掃描的豆類葉片進行分割和分類。
深度學習(DL)在生物信息學、機器視覺檢測、自動語音識別、醫學圖像分析等領域取得了重大突破。如今，傳統機械必然解決的植物分類問題可能得益於深度學習方法的發展。利用原始圖像描述符不斷提出各種各樣的方法，如植物分類和檢索，包括葉子形狀(Agarwaletal.，2006;CamargoNetoetal.，2006;Duetal.，2007;查基和帕瑞克，2012;Imetal,1998; Sole-Casalsetal,2008)，葉色(Horgan etal.，1998;Perez等，2000)和葉片紋理(GolzarianandFrick,2011;Bamaetal.，2011)。
由於複雜性和植物病理學問題，在植物疾病診斷中，深度學習作爲一種新的方法得到了廣泛的應用。Amandaetal.(2017)在利用深度學習解決木薯疾病診斷方面取得了相當大的成功。Lu等人(2007)提出了一種提高cnns識別能力的技術，該技術可以通過深度卷積神經網絡有效地對10種水稻疾病進行分類。ferentinos(2018)（就是用8萬張圖片那篇文章，博客裏有Ferentinos,K.P.,2018 .Deep learning models for plant disease detection and diagnosis）也開發了一種類似的方法，通過簡單的健康和患病作物的圖像來識別和診斷植物疾病。Fuentes等人(2017)提出了一種基於強大的基於cnns的疾病和番茄病害實時識別檢測器的實用解決方案。
雖然現有的檢測和診斷植物病害的技術是有效的，但它們在估計植物病害的嚴重程度時是沒有用的。Wang等人(2017a, 2017b)在公共數據集plantvillage(2014)中對蘋果健康和黑腐病進行了病害嚴重性的註釋。然而，他們只確定了特定疾病的程度。因此，這些方法不適用於植物病害的同時診斷和嚴重程度的估計。
據我們所知，目前還沒有任何工作致力於開發具有植物物種識別、疾病分類和疾病嚴重程度估計能力的多功能診斷系統。爲彌補這些研究空白，提出了一種多功能計算機輔助診斷植物葉片病害的新方法。特別是，建立了一種基於圖像的植物病害診斷與嚴重程度自動評估網絡(PD2SE-Net)，並結合剩餘結構(He et al.， 2016)和shuffle單元(Ma et al.， 2018a, 2018b)。與現有方法相比，該方法有三個主要貢獻。
(1)它是一個基於網絡的端到端可訓練的多功能分類診斷系統，而現有的技術大多集中於單診斷。
(2)利用Shuffle-Net-v2的網絡結構來降低計算複雜度。
(3)每個殘差塊採用信道shuffle-v2操作，實現信道間的信息通信。
2. Datasets
提出的模型基於人工智能挑戰者全球人工智能競賽(www.challenger.ai)檢索的綜合數據集和Hughes and Salathe(2014,2015)發佈的綜合數據集的多功能診斷系統模型。在實驗中，我們使用部分正確標註的數據作爲數據集，消除了各種模糊樣本。
2.1. 創建數據集
我們實驗所用的數據集包括9種不同的植物。特別是，每一個種類都包含一個健康的類別和幾個疾病類別，每個疾病類別都包含兩類疾病，即一般類型和嚴重類型，如圖1所示。更詳細地，我們在附錄A的表A1中給出了關於數據集的所有信息和統計數據。最後，我們得到了45個分類的病害估計值，27個不同的病害分類的植物病害分類值，9個植物種分類的植物病害識別值。
圖二是訓練集和驗證集分佈的可視化描述。我們發現數據的極值不均勻分佈對實驗結果影響很大。因此，因此，每個殘差塊都採用通道shuffle操作的方法。
2.2. 數據增強
爲了減少圖像數據的過擬合，提出了一種數據增強方法，即使用保留標籤的變換來人爲地擴大數據集(Krizhevsky et al.， 2012)。 Perez and Wang(2017)提出了兩種不同的方法來增加數據。第一種方法是在訓練輔助器之前增強數據庫生成對抗網絡(GANs)，另一種方法是通過預先設置的神經網絡來增強。
在這項工作中，採用了幾種不同的數據增強形式。具體來說，第一種數據增強形式包含訓練圖像的平移和水平反射。而數據增強的第二種形式是隨機添加鹽噪聲或高斯噪聲，改變亮度或飽和度，使訓練圖像產生模糊或變形。因此，增加了數據集中的數據量，圖3展示了一些增強圖像樣本。
3. PD2SE-Net的結構
提出的PD2SE-Net的主幹網絡是基於ResNet的CNN模型和ShuffleNet-V2模型構建的，以構建一個植物病害的自動化診斷和嚴重性估計系統。
在過去的十年裏，我們見證了在處理各種視覺任務的應用上的成功爆炸(Krizhevsky等，2012;Long等，2014;任等，2017;Toshev和Szegedy, 2014)具有很高的精度和速度。開發新型cnns是一項工程任務，它可以解決許多可視化相關問題。隨着最先進的深度學習架構的出現，ImageNet的分類精度得到了極大的提高(Russakovsky et al.， 2015)。這些強大而流行的深度學習架構包括AlexNet、VGGNet (Simonyan和Zisserman,2014)、Inceptionmodel(szegedaital,2015)、ResNet(He etal.， 2016)、DenseNet (Huang etal.， 2017a, 2017b)、ResNeXt (Xie etal.， 2017)和SE-Net (Hu etal.， 2017)。此外，最近提出了多種輕量級架構，如Xception(Chollet,2016)、MobileNet (Howardetal.，2017)、MobileNet- v2 (Sandleretal.，2018)、ShuffleNet (Zhang etal.，2017)、ShuffleNet- v2 (Ma etal.， 2018a, 2018b)和CondenseNet(Huangetal.，2017a,2017b)。在圖像識別任務方面，CNNs在過去的10年裏取得了巨大的技術進步，並在許多領域得到了廣泛的應用。在本研究中，我們嘗試建立一個新穎的端到端模型，用於植物病害的診斷和嚴重程度的估計。所提出的PD2SE-Net結構如圖4所示。其中，以ResNet50網絡(Heetal.，2016)爲基本模型，整合ShuffleNet-V2的構建模塊(Ma etal.， 2018a, 2018b)。共享層作爲前端基本模型，以植物圖像的原始像素爲輸入，利用最後的殘差塊提取細粒度分類的特徵圖(Wangetal.，2017a,2017b)。表一總結了網絡的不同模塊。
3.1共享層的參數
引入剩餘結構(Heetal.，2016)來構建參數共享層，使模型每批更新信息量更大。爲了減少網絡的冗餘信息，Boulch(2017)提出了一種新的基於剩餘網絡的共享權模型ShaResNet，該模型的參數比順序剩餘權模型輕25 - 45%。受ShaResNet的啓發，使用ResNet50構建基本框架。該方法在剩餘塊數和網絡中凍結層數上與ShaResNet架構不同，如圖5所示。
在我們的工作中，參數共享層的參數(即第0層、第1層和第2層）由後續層(即第3層和第4層，Shuffle塊1和Shuffle塊2)共享。此外，第3層的參數由第4層和Shuffle塊2共享。
3.2殘差學習
殘差網絡是有HE等人（2016）提出的，在圖像分類、目標檢測和語義分割等許多視覺任務中都證明了該模型的有效性。圖5(a)說明了基礎的殘差單元，殘差函數可以被表示爲
其中(x)是單元的輸出，短鏈接W(x)定義爲x的一個線性投影。批歸一化(BN) (Ioffe and Szegedy,2015)用於對給定層的輸出進行歸一化，
其中分別代表當前批次x的偏差和標準偏差。β,φ是可訓練的參數,可以在每次迭代更新。爲了避免除數爲0，設置一個很小的常數爲
。
如果批數合適，如16、32、64和128,BN可以有效地防止過擬合問題。非線性激活單元ReLU (Nair and Hinton, 2010)是一種常見的不確定激活函數，非線性決策邊界可以改善網絡的魯棒性，可表示爲
圖5(b)描述了channelsshuffle的操作過程，它受到ShuffleNet-V2的啓發，用於實現兩個分支之間的信息通信。
3.3. Shuffle block
近年來，神經網絡已被證明是一種有效的圖像分析模型，在圖像分類、醫學圖像分析、目標檢測和檢索等方面取得了先進的成果。然而，計算複雜度作爲神經網絡設計的一個重要考慮因素，限制了網絡性能的進一步提高。爲了解決這個問題，,Maetal.(2018a,2018b)提出了一個新的網絡,ShuffleNet-V2，它可以應用於低端設備，如手機。
此外，通道劃分(Maetal.,2018a,2018b),作爲一個重要的操作被引進了ShuffleNet-V2。如 圖6所示，輸入的C特徵通道被劃分爲兩個分支，分別爲C0 C1通道。
ShuffleNet單元用來提取不同植物物種和疾病的特徵。利用該方法，該網絡可以實現植物物種識別、疾病分類和嚴重程度估計這三個計算複雜度較低的功能。
4. 實驗
我們的實現基於公開可用的PyTorch框架(Ketkar,2017)。實驗採用雙CPU/雙gpu平臺，採用Xeon(R) 2.20GHz (E5-2699 v4) CPU, 128GB內存和兩塊 Tesla P100顯卡。
4.1實現細節
在深度網絡的訓練階段，實現模型優化包括兩個步驟。具體來說，第一步是利用Adam(KingmaandBa,2014)對模型進行優化，這是一種有效的基於一階梯度優化的隨機優化方法。Adam的一些優點包括內存需求小、適合於非平穩目標和問題以及對不同參數具有自適應學習率的梯度估計。在時間步長爲t時，參數θ的梯度gt可被表示爲
參數的更新規則可被表示爲
其中，mt爲偏置第一矩估計，vt爲偏置第二原始矩估計，mt‘和vt’分別爲偏置校正後的mt第一矩估計和偏置校正後的vt第二原始矩估計，α爲學習率。一個很小的常數是用來避免除數爲0的。Adam其他的優化方法相比，比如RMSProp(Tieleman and Hinton, 2012), AdaGrad (Duchi et al., 2011) and AdaDelta(Zeiler,2012)能更快更好地收斂。
隨機梯度下降(SGD)算法(Bottou, 2010)的收斂性優於Adam算法，但收斂速度較慢。因此，第二步是使用SGD來提高網絡的性能。以t爲步長，更新參數θt,訓練樣本{x1,x2,…,xm},標籤爲l{y1,y2,…,ym},則梯度估計可表示爲
所以參數更新規則可寫作
隨機梯度下降的可視化過程如圖7所示。
我們對網絡的輸入圖像進行了轉換，固定大小爲256×256。在訓練過程中，學習速率每15個epoch動態降低1/10，第一步初始學習速率設置爲0.001，第二步設置爲0.0001。實驗中採用了0.00005的weight decay和64的batch size。優化方法的訓練參數如表2所示。
4.2實驗結果
爲了確定基於可見距離圖像的植物病害識別和嚴重程度估計模型的適用性，進行了實驗。實驗結果如圖8所示。特別是，在訓練過程中，ResNet50每個epoch的損失和精度都達到了令人滿意的結果，在植物物種分類、病害診斷和嚴重程度估計方面，我們分別可以達到0.99、0.98和0.91的最高精度。此外，我們可以發現，在我們的研究中很少發生過度擬合，因爲在數據集中合理地劃分了類。
4.3定性分析
爲了分析提出的模型的有效性和植物葉片特徵提取的CNNs性能，對植物物種的分類精度如圖9所示。值得注意的是最低的分類精度大約爲0.9701.這是與在相同問題上解決的其他模型可相提並論的，或着說更優於他們。
植物病害的診斷精度如圖10所示。此外，我們看到，所有植物疾病診斷的準確性都在0.90以上，除了第七類（Cercospora zeaemaydis tehon and daniels)。值得注意的是，對10個分類的診斷準確率達到了最高的100%
如圖11所示，多個類的估計精度較低。這是因爲某些極端病害嚴重程度的植物葉片很難被正確估計，甚至對人類來說是不可能的。然而，該模型對大多數類都獲得了理想的估計性能。
4.4.比較評價
爲了比較，ResNet18、ResNet34、resnet50和resnet101幾個殘差網絡模型，作爲基本模型，並採用shuffle units作爲輔助結構。所有的訓練超參數保持不變，以評估我們的方法。植物病害的準確程度、嚴重程度的估計如表3所示。
根據參數數量和準確率的度量，最好的PD2SE模型是由SGD來優化的，基礎模型爲resNet50。SGD通常要比Adam表現好。本文提出的模型在精度上得到了顯著的提高。同時，通過參數共享層，大大減少了參數的數量。
4.5 CNN的深度特徵可視化
CNNs的深度特徵可視化可以幫助我們理解從十億個圖像傳感器中快速提取圖像的過程，這有助於在訓練過程中調整最優超參數。爲了進一步研究所提出的PD2SE模型的學習能力，我們將原始葉片圖像的特徵如圖12所示，其中(b)和(c)分別顯示了經過訓練和未經訓練後輸出的特徵。注意，與訓練相對應的特徵映射更關注感興趣的區域，而過濾了大部分背景。
圖13是對max pooling層的特徵可視化。從可視化上可以看出，maxpooling層得到的feature map在突出重要feature的同時，減少了更多的冗餘信息。因此，最大max pooling層可以減輕過度擬合的影響，因爲它忽略了相關信息。
爲了表示特徵提取的變換，如圖14展示了第1層、第2層、第3層和第4層得到的不同特徵圖的比較。值得注意的是，所提出的PD2SE模型對植物葉片病害進行了優化學習。特別是，特徵圖裏每一個點是一個經過修正的激活，它越亮，所代表的激活值就越大。
事實上，前三層主要關注的是植物葉子的變化，這可能會對疾病區域的四種模式產生特別的影響。如圖15所示，植物葉片病害的區域受到了特別的關注，這更好地解釋了我們的模型實際瞭解到的情況。
5 結論
本文提出了一個新的網絡PD2SE-Net爲了植物病害識別和嚴重性估計。介紹了該系統的殘差結構和shuffle單元，實現了一套實用實用的植物物種識別、植物病害診斷和嚴重程度估計系統，與現有技術相比，具有較大的可比性。此外，本論文的系統展示了更強的植物種類分類性能和更廣的範圍以及更低的計算成本的疾病。結果:我們的網絡架構產生了最先進的性能。其中，對病害嚴重程度估計、植物物種識別和植物病害分類的總體準確率分別爲0.91、0.99和0.98。這使得該系統成爲一種潛在的候選系統，可以用於一種便攜式設備，並對植物病害進行實時診斷。此外，本文還對神經網絡的數據增強和可視化進行了說明，有助於提高模型的性能。此外，我們的方法能夠通過替換基本模型移植其他優秀的模型。
接下來的研究將集中於開發一個有前景的應用程序，並在智能終端設備上使用該方法。我們希望我們提出的系統將得到優化，爲農業研究領域做出重大貢獻。
附錄A
