基於計算機視覺的水果分級技術研究進展
林開顏、吳軍輝 時間:2009年07月09日
摘 要：從水果尺寸、形狀、顏色、缺陷等幾個方面的檢測技術及特徵分類方法，介紹了國內外計算機視覺技術在水果分級中的研究進展，重點介紹了水果的缺陷檢測技術，並認爲具有啓發式、智能化特點的彩色圖像處理技術將會成爲計算機視覺技術應用於水果分級領域的研究熱點。關鍵詞：計算機視覺；圖像處理；水果分級
我國是一個農業大國，水果產量居世界前列，但水果分選比例很低，而發達國家水果產後處理比例高達80%～90％。水果的大小、形狀、顏色對其在市場上的銷售有着重要影響。
根據水果的外部品質進行分級的主要指標是大小、形狀、顏色和表面缺陷。目前我國水果的分級主要由人工完成，國內現有的水果分選設備也只是基於機械工程技術，按照水果的大小和重量進行分選，而形狀、顏色、表面缺陷的檢測仍由人工完成。人工分選的主要缺點是：(l)需要大量勞動力，勞動強度大，效率低，分檢成本高；(2)分級標準人工難以實現，分級精度不穩定，因爲僅憑人的視覺很難實現量化指標的檢測，而且工人長時間用眼和進行單調的操作，會造成身心疲勞和情緒的波動，這會使分級誤差隨着人的情緒發生波動。
計算機視覺技術爲水果的外部品質檢測提供了一種自動、無損、高效、客觀的方法，食品工業已成爲使用計算機視覺技術最多的十大工業之一。當前，世界上已有幾個大廠家可以生產出對水果的大小、顏色、重量進行分級的機器，而現有的基於機器視覺的分檢機器只解決了要求計算時間少的問題，如大小或顏色分類。然而，市場上對產品分檢的要求越來越高，要求分檢裝置具有更強的視覺檢測系統，能夠確定水果形狀、果莖位置、果皮的主次色調、缺陷面積等。
1 尺寸檢測
大小是質量分級的第一個性能指標，可以利用機器視覺檢測面積、直徑、周長等水果外部參數來確定。馮斌等[1]通過計算機視覺技術獲取水果的圖像，對該圖像進行邊緣檢測等處理後，以其自然對稱形態特徵爲依據，確定水果的檢測方向，進一步檢測水果的大小。試驗表明，該方法檢測速度快、準確率高。
2 形狀分級
形狀或不規則度的分類可以根據水果最大直徑和最小直徑的相關性來估計，更復雜的方法可以利用傅立葉展開的方法來計算。傅立葉變換中，有用信息集中在最前面的分量中，Tao[2]用傅立葉變換的前10項分量描述邊界信息，並定義了馬鈴薯形狀的不規則度指標；Paulus[3]等將蘋果半徑序列進行傅立葉展開，分別取前12項餘弦係數和前12項正弦係數進行主分量變換PCT (Principal Component Transform)，取最大的2個主分量(分別表示長寬比、錐度)作爲特徵值對蘋果進行分類。Morimoto等[4]提出了一種神經網絡和混沌理論相結合識別水果形狀的方法，利用吸引子和分形維數來描述水果的不規則度，使得水果形狀規則度的表示更爲精確。林開顏等[5]利用梯度法檢測出彩色水果圖像的邊緣，再用邊界跟蹤算法獲取水果的輪廓半徑序列，然後將其進行離散傅立葉變換，最後利用傅立葉係數定義分類器，根據給定的分類閾值對水果形狀進行分類，對不同水果形狀的實驗證明了這種方法的有效性。
3 顏色分級
顏色是另外一個重要的、且已被廣泛研究的質量因子。一些水果只有一個主顏色，即只有一種顏色在果皮表面均勻分佈，這樣果皮表面的平均顏色可以作爲這些水果外部品種的一個重要指標。然而，一些水果如蘋果、桃子等有第二種顏色可以作爲成熟度的另一個指標，這樣，就不能用一個全局的顏色作爲質量參數。Nakano[6]利用神經元網絡對紅富士蘋果進行分類。第一步，根據顏色、位置、平均顏色對蘋果表面像素進行分類；第二步，根據水果平均顏色、顏色偏差、缺陷像素、正常紅色像素比例等參數對蘋果進行顏色等級的分類，正確分級率約爲70％。
4 缺陷檢測
4.1 國外情況
在圖像分析中，缺陷檢測本質上是一個圖像分割問題，也是一個難題，因爲水果表面可能出現不同大小和程度不同的缺陷。灰度圖像用於缺陷檢測，常用的方法是把水果的平均灰度級作爲水果的顏色，與平均灰度級差別較大的點作爲缺陷點。但平均灰度是局部變化的，這是因爲受水果曲面的影響，由中心點到邊界點的灰度級會呈遞減趨勢；再者，受植物皮孔的影響，會存在噪聲點。缺陷的顏色通常比水果的其它表面顏色更深，但是正常組織和缺陷組織間的對比度會因不同的缺陷組織而發生變化，而且其大小和麪積也有很大差別。正因如此，簡單的閾值化、背景減除或模板匹配無法獲得滿意的結果。Yang[7]的研究結果稱，利用全局參數進行分割的方法適於大的且分散的缺陷，而紋理方法適合於斑塊狀的缺陷分割；Yang利用“洪水”算法(即分水嶺分割方法)，來分割片狀的缺陷，如褐色斑塊、擦傷、萼凹區等，這種方法能消除光反射變化帶來的影響，但由於使用了平滑算法導致所檢測的缺陷偏大。在缺陷分類標準中，缺陷的大小是一個重要參數，因此對缺陷進行精確分割是非常必要的。後來，由Yang和Marchant[8]進行改進，在利用“洪水”算法初始分割後，利用活動輪廓模型(或稱“蛇形”算法)進行精確分割以提高缺陷位置和大小的精度。Snake模型的能量函數採用積分運算，具有較好的抗噪性，對目標的局部模糊也不敏感，但容易收斂到局部最優，要求初始輪廓儘可能靠近真實輪廓，而且收斂速度慢。在兩者的方法中，需要利用中值濾波或高斯濾波器來消除噪聲，所產生的小的錯誤缺陷可以用閾值法來消除。
Heinemann等[9]利用蘋果的平均色調H(Hue)來區分褐色蘋果，這也是一種使用全局參數的方法，它利用一個判別函數來分類，分類精度達82.5％。 Miller[10]利用HIS彩色模型對柑橘進行分類，方法是對於蘋果的每個顏色參數，計算其與標準顏色模型的均差和均方差，這些值再進行歸一化處理，然後利用神經元網絡、貝葉斯—高斯分類、無參數分離器等3種方法來進行分類，最大成功率達68.9%～85.8%。兩者的分類精度與歐洲標準差距比較大。Leemans等[11]對每個像素與水果圖像全局顏色進行比較，差別較大時(如大於某個閾值)，認爲是一個缺陷組織的像素點；反之，則屬於正常組織。由於水果像素點在3個顏色分量上均呈高斯分別，因此以正常水果圖像的顏色向量的平均值作爲標準顏色，採用Mahalanobis距離進行比較。這種方法在缺陷組織與正常組織的對比度明顯時，檢測效果較好。Molto等[12]利用機器視覺對水果的外部品質如大小、顏色、形狀、缺陷、最大缺陷、莖杆、萼等進行分類，分割採用基於貝葉斯定理的分類算法。Shahin 等[13]利用線掃描的X-射線成像設備來檢測蘋果的碰傷，以空間邊緣特徵和離散餘弦變換系數爲特徵，利用神經網絡進行分類，對舊的碰傷(1個月)分類精度爲90％以上，而對於新的碰傷(24小時)，精度僅有60%左右。Leeman等[14]以蘋果的缺陷顏色、形狀、紋理、位置等信息爲特徵，利用K-均值聚類和主分量分析相結合的方法對蘋果進行分類，其中主分量分析和代表蘋果97％信息的前Ncp個主分量用於進行最後分類的二次判別式的計算，成功率爲73％， 而錯誤發生的50%是良性的，而另外50%則由於缺陷是曬傷，或者是撞傷或者缺陷太靠近果梗和花萼很難被檢測到，同時水果分級的整個過程都會對最近的缺陷檢測結果造成影響。
4.2 國內情況
國內，何東健、楊青等[15]以提高球形果實表面缺陷面積的測定精度爲目的，分析了利用投影圖像直接測定球形果實表面缺陷存在的問題，提出並建立了從投影圖像恢復球形果實表面幾何特徵的像素點變換法和邊界變換法，通過試驗結果表明，這2種方法可使測定相對誤差減少35%左右。劉禾等[16]利用計算機圖像技術進行了蘋果壞損自動檢測的研究，根據蘋果光學反射特性建立了一套適於蘋果壞損自動檢測的計算機圖像系統，並分析了蘋果圖像中有壞損或噪聲，無壞損和有花萼或果梗時蘋果圖像灰度值的特徵變化，鑑於缺陷出現位置、大小等因素的不可預測性，提出了一種基於缺陷的單調檢測方法以及缺陷區域判別方法。王江楓等[17]探討了應用計算機視覺技術進行芒果表面壞損檢測的方法，結果表明Krisch算子及以Krisch算子爲正像的反銳化掩摸法效果較好，能夠檢測出完整清晰的整果及損壞區域邊緣芒果，損壞檢測可直接通過求壞損區域與整果區域比值的方法。應義斌等[18]利用R分量與G分量在缺陷區域與非缺陷區域交界處的突變點爲可疑點，再經區域增長，求出了整個受損區域的面積。鄧繼忠、張泰嶺等[19]依據所研究的梨蘋果等品種水果的外形，以及碰壓傷特徵，提出了一個簡單的計算碰壓傷面積的數學模型，該數學模型根據計算機水果分級檢測時通常將水果外形作爲球體或類球體看待這一原則，把水果碰壓傷的缺損表面也看似接近於圓形，用球面上一個任意大小的圓形區域代替水果及果面上的碰壓傷，由此推導出計算碰壓傷面積的數學模型，並給出了碰壓傷處於非邊緣位置和邊緣位置時碰壓傷的直徑和麪積計算公式，實驗結果表明與統計像素的方法相比用該模型可大大提高測量精度。何東健、耿楠等[20]研究了用活動邊界模型(ACM)檢測果實表面缺陷，探討了活動邊界模型(ACM)的原理和求解方法，改進了活動邊界模型，使ACM在開始收縮時位於目標輪廓外側，使公式能記憶邊界的方向。當存在兩個相距較近的缺陷時，ACM會收斂於正確的邊界，提出插值算法，對得到的不連續邊界進行插值，從而得到封閉的缺陷邊界能夠準確地檢測果實表面的缺陷邊界。馮斌、汪懋華[21]利用計算機視覺技術識別水果表面缺陷，提出了分割缺陷和識別缺陷的新方法，該方法考慮了水果的形狀特點，使不同灰度級的缺陷一次性分割成功。在圖像分割時，沒有采用傳統的單閾值和多閾值分割方法，而是採用標準件球面的灰度和水果灰度進行比較，從而進行圖像的分割。在識別過程中，利用水果的三維空間特徵採用了傅氏變換，實現了缺陷與果梗花尊的區分。王亞琴等[22]用2r-g-b彩色分量對水果進行直方圖分割，然後利用二值形態學方法和隨機圓HOUGH變換檢測果實，取得了較好效果。
對用於缺陷檢測的不同的技術的分析表明，灰度圖像需要更復雜的算法，因爲不同水果之間或同一水果內部的不同地方，其亮度都會發生變化。對於不同水果間的亮度變化，意味着分割算法必需是自適應的，不能利用先驗信息或者背景圖像信息；對於同一水果內部的兩點差異問題，意味着要利用基於區域的分割算法，同時也對光源系統提出了更高的要求。當然，所有這些問題同樣存在於彩色圖像處理中，但可以通過研究彩色圖像3個顏色分量間的關係來克服。例如，對照明問題，HSI與人眼的色彩感知相吻合，其在一些照明不均的場合特別有用，因色調與高亮、陰影無關，不受光源亮度強弱的影響，色調對區分不同顏色的物體非常有效。在現有的利用彩色圖像進行缺陷檢測的大部分方法中，色彩信息並未得到有效利用，研究人員爲了獲得較高的處理速度，往往只利用1個或2個分量信息，或從中計算出一個單獨的參數，這樣無法獲得滿意的分割效果，並且失去了大部分的空間信息如形狀、局部紋理等。
5 莖杆和萼檢測
在桔子、桃子、蘋果等水果中，長的莖杆可能會損害到其他水果；再者，在進行缺陷檢測時，莖杆和萼通常會和缺陷一起被分割出來，必須將其與缺陷分開。因此，確定長的莖杆位置也引起了人們的興趣，杆莖和萼在灰度圖像中均表現爲比較暗的斑塊，Yang[8]先利用“洪水”算法分割比較暗的斑塊，爲了將其與其他的片狀缺陷分開，利用結構光法獲得蘋果的三維幾何形狀，對於每個斑塊在正常散射光和結構光下分別提前的特徵，再利用BP算法對這些特徵進行分類，進而可以獲得莖杆、萼和缺陷。在缺陷處於輪廓邊緣或缺陷處有凹陷時，這種方法不是很有效。Ruiz等[23]分別用彩色圖像分割、邊界跟蹤、細化算法等3種方法來確定莖杆和萼，其中彩色圖像分割是利用線性的判別函數來識別待分割區域；而邊界跟蹤是在對二值圖像提取邊界後，利用邊界點與質心的距離來確定莖杆和萼的位置；細化算法是通過反覆的細化迭代，直到獲得莖杆的骨架，以確定莖杆的位置。結果顯示，以水果的任意視角來識別圖像，總有效率超過90％，當葉片和分枝同時出現時，將會影響前兩種方法的效率，而細化算法要求從莖杆的側面採集圖像，即視圖中莖杆要凸出來。水果表面反射光的模式表現爲光條紋，其形狀由水果的形狀和方向確定，Penman等[24]通過對這些光條紋的分析來確定莖和萼的位置，這種方法的分類性能與萼凹區域的表面形狀有很大關係，當萼凹處形狀複雜時，算法難以獲得滿意結果。
6 特徵分類
水果的外部特徵如大小、顏色、形狀、缺陷等提取後，就要對其綜合分類。不管分類算法是參數的還是非參數的，其分類精度總是依賴於分類數據。當特徵多的時候，帶參數的分類器分類精度會下降。而輸入輸出之間的非線性會導致特徵數目的增加。然而，在特徵數目減少時，基於參數估計的分類器與非參數的分類器有着同樣的分類性能。在許多識別問題中，由於模式類別是多模的，因此傳統的方法如貝葉斯分類器難以獲得應用，而非參數估計的分類器如BP網絡、K最近鄰、決策樹等常受到青睞，無參數分類器通過樣本數據的訓練，可以把特徵空間進行恰當分類，無須先驗信息。Kavdir等[25]取蘋果圖像的二階矩、對比度、互相關等紋理特徵，比較了BP網絡和無參數分類器貝葉斯分類器、K最近鄰、決策樹等的對缺陷的分類性能，結果顯示正常組織與缺陷組織間的對比度比較高時，無參數分類器效果較好，而BP網絡即使在兩者間的對比度比較差時也能很好地進行區分。文中還比較了BP網絡對直方圖特徵和紋理特徵的分類情況，結果顯示，直方圖特徵只在缺陷組織與正常組織間的對比度比較高時纔有效，這是因爲直方圖只反映不同顏色像素出現的頻率，不能提供有關強度或顏色特徵分佈的信息，而紋理特徵更能反映某個像素四周的相關信息，能更好的表徵水果表面的局部顏色變化。因此，在通過簡單的閾值化技術無法檢測缺陷時，應該考慮採用紋理特徵，因爲一些缺陷不一定會改變顏色分量的特性，但是會呈現出一些特殊的結構形式。Blasco等[26]研製了1套水果自動分級系統，先由有經驗的操作人員進行離線訓練，把水果表面分爲背景、主色調、缺陷區域、莖等幾個區域，利用貝葉斯定理確定每種顏色的屬於各個類的概率分佈，再通過算法確定查找表，在線分類時根據這張表來確定每個像素的分類。
綜上，在國內研究和開發基於計算機視覺技術的水果實時分級系統，選出規格一致的高品質水果，以提高市場競爭力，具有重要的經濟價值。此外，隨着農業經濟結構調整的加速，農業勞動力將向其他產業轉移，並呈急劇下降趨勢，依靠智能化、視覺化的機器系統，把人們從繁重的、單調的勞動中解放出來，這是進入新世紀農業發展的一個趨勢。在生產過程中採用計算機視覺技術，圖像數據量大、處理和傳輸速度慢，一直成爲視覺信息技術進入生產應用的障礙，因此研究和開發新型、快速、有效的計算機視覺信息獲取與實時處理和模式識別技術，具有重要的理論技術價值和廣闊的應用前景。傳統的基於灰度圖像的算法已難以勝任複雜圖像處理的需要，模糊邏輯、人工元神經元網絡以及遺傳進化計算等智能算法已在計算機視覺領域獲得廣泛應用。由於人眼只能識別幾十個灰度級，但卻可以辨別成千上萬種顏色，而且彩色圖像可以提供更爲豐富的信息，故以智能理論與技術爲手段，快速處理複雜圖像的、具有啓發式的、高效的彩色圖像處理技術將會成爲計算機視覺技術應用於水果分級領域的研究熱點。
參考文獻
[1] 馮斌，汪懋華. 基於計算機視覺的水果大小檢測方法[J]. 農業機械學報，2003(1):73-75.
[2] Tao Y， Morrow C T,et al. Fourier-based separation technique for shape grading of potatoes using machine vision[J]. Transactions of The ASAE， 1995，38(3)， 949-957.
[3] Paulus I， Schrevens E . Shape characterization of new apple cultivars by fourier expansion of digitized images. J. Agric. Engng. Res. ，1999,72：113-118.
[4] Morimoto T， Takeuchi T， Miyata H，et al. Pattern recognition of fruit shape based on the concept of chaos and neural networks[J]. Computers and Electronics in Agriculture，2000，（26）：171-186.
[5] 林開顏，吳軍輝，徐立鴻. 基於計算機視覺技術的水果形狀分級方法[J]. 農業機械學報，2005(6):71-74.
[6] Nakano K . Application of neural networks to the color grading of apples[J]. Computers and Electronics in Agriculture，1997(18): 105-116.
[7] Yang Q. An approach to apple surface feature detection by machine vision[J]. Computers and Electronics in Agriculture， 1994,(11):249-264.
[8] Yang Q， Marchant J A . Accurate blemish detection with active contour models[J]. Computers and Electronics in Agriculture，1996,(14):77-89.
[9] Heinemann P H， Varghese Z A， Morrow C T， et al . Machine vision inspection of golden delicious apples[J]. Appl. Eng. Agric. ASAE ，1995，11 (6)， 90-906.
[10] Miller WM.Optical clefect anasis of florida citrus[J].Appl.Eng.agric.ASAE,1995,11(6):855-860.
[11] Leemans V， Magein H， Destain M F . Defects segmentation on ‘Golden Delicious’ apples by using colour machine vision.Computers and Electronics in Agriculture， 1998，20：117-130.
[12] Molto E， Blasco J， Benlloch J V. Computer vision for automatic inspection of agricultural produces. In SPIE Symposium on Precision Agriculture and Biological Quality. 1－6 November，1998， Boston， MA， USA.
[13] Shahin M A， Tollner E W， McClendon R W . Apple classification based on surface bruises using image processing and neural networks[J]. Transactions of the ASAE， 2002,45(5)，1619-1627.
[14] Leemans V， Destain M F . A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering， 2004(61)：83-89.
[15] 何東健，楊 青. 果實缺陷面積的計算機視覺測定研究[J]. 農業工程學報，1997(12)：156-160.
[16] 劉 禾，汪懋華. 用計算機圖像技術進行蘋果壞損自動檢測的研究[J]. 農業機械學報，1998(12)：81-86.
[17] 王江楓，羅錫文. 計算機視覺技術在芒果重量及果面壞損檢測中的應用. 農業工程學報，1998(12)：186-189.
[18] 應義斌，景寒鬆，馬俊福，等. 機器視覺技術在黃花梨尺寸和果面缺陷檢測中的應用. 農業工程學報，1999(1).
[19] 鄧繼忠，張泰嶺. 應用計算機視覺技術對梨碰壓傷的檢測[J]. 農業工程學報，1999(3)：205-209.
[20] 何東健，耿 楠. 用活動邊界模型精確檢測果實表面缺陷[J]. 農業工程學報，2001(9)：159-162.
[21] 馮斌，汪懋華. 計算機視覺技術識別水果缺陷的一種新方法[J]. 中國農業大學學報，2002(4)：73.
[22] 王亞琴，高華,自然環境下水果分割與定位研究[J].計算機工程，2004(7):583-586.
[23] Ruiz L A， Molto E， Juste F et al . Location and characterization of the stem calyx area on oranges by computer vision[J]. Journal of Agricultural Engineering Research， 1996,(64): 165-172.
[24] Penman D W. Determination of stem and calyx location on apples using automatic visual inspection[J]. Computers and Electronics in Agriculture， 2002,(33): 7-18.
[25] Kavdir I B， Guyer D E . Comparison of artificial neural networks and statistical classifiers in apple sorting using textural features[J]. Biosystems Engineering， 2004，89 (3)， 331-344.
[26] Blasco J， Aleixos N， Molto E . Machine vision system for Automatic quality grading of fruit[J]. Biosystems Engineering， 2003，85 (4)， 415-423.