新技術浪潮正推動着工業製造行業飛速革新，並以人工智能技術爲代表，引領着第四次工業革命的進程，“AI+工業”正逐漸成爲第四次工業革命的主力軍。9月23日，英特爾舉辦了“智能製造，‘芯’向未來——智能技術助力工業製造勾畫未來藍圖”爲主題的圓桌論壇，邀請其客戶和合作夥伴分享工業智能化升級的實際案例。
本案例中，英特爾聯合美的，推出工業視覺檢測雲平臺。利用英特爾的至強可擴展處理器平臺、OpenVINO 工具套件英特爾發行版（以下簡稱 “OpenVINO 工具套件”）、Analytics Zoo “大數據分析 +AI” 平臺等一系列產品與技術，爲智能方案成功實施和運行提供了堅實基礎。通過這些高性能硬件基礎設施和軟件框架，企業的生產和運營可以實現從自動化向智能化的轉變。
項目背景
美的集團（以下簡稱 “美的”）希望通過完整、可複製的產品缺陷檢測方案，來完善其智能製造 產業鏈中的關鍵環節。如前面提到的，由工業相機、工控機以 及機器人組成的傳統視覺方案存在諸多問題，例如定製化方案 開發週期長、成本高，檢測內容多樣化造成參數標定繁瑣、工 人使用困難，佔用產線空間大，對工藝流程有影響。 因此，美的希望通過新的技術方法來優化和升級檢測方案，打造以下能力：
- 對單個檢測項目形成通用的推理算法，並可推廣至不同 產線；
- 可在任何產線上做到無縫部署，不干擾現有生產和工藝 流程；
- 在無人工干預情況下做到高魯棒性，並在全天候高頻次下， 保證準確率和延遲的穩定；
- 整個檢測過程在 100 毫秒以內完成，識別率達到 98% 以上。
來自生產一線的海量數據資源，讓美的具備了利用 AI 技術， 特別是深度學習方法，來解決上述問題的基礎，並通過與英特爾 展開深入的技術合作，提升了算法和算力。如圖 2-1-5 所示， 美的通過前端高清圖像採集、後端訓練推理的架構，構建了基 於深度學習的工業視覺檢測雲平臺，爲旗下各產線提供瑕疵檢 測、工件標定、圖像定位等一系列輔助檢測能力。
在這一過程中，英特爾不僅爲新方案提供了 Analytics Zoo 大數據分析和 AI 平臺，來構建從前端數據預處理到模型訓練、推理， 再到數據預測、特徵提取的全流程，還針對美的各生產線的實際檢測需求，爲新方案選擇了輕銳的 SSDLite + MobileNet V2 算法模型並實施優化，令新方案進一步提升了效果。
基於 Analytics Zoo 的端到端解決方案
如前所述，美的設計的機器視覺檢測雲平臺架構主要由前、後 端兩部分組成，由工業相機、工控機等設備構成圖像採集前端， 部署在工廠產線上，經雲化部署的英特爾 架構服務器集羣則 組成雲平臺的後端系統。
在前端，執行圖像採集的機器人通常裝有多個工業相機，或進 行遠距離拍攝，用於檢測有無和定位；或進行近距離拍攝，用 於光學字符識別（Optical Character Recognition，OCR）。 以微波爐劃痕檢測爲例，如圖 2-1-6 所示，當系統開始工作時， 通過機器人與旋轉臺的聯動，先使用遠距離相機拍攝微波爐待 檢測面的全局圖像，並檢測計算出需要進行 OCR 識別的位置， 再驅動近距離相機進行局部拍攝。相機採集到的不同圖像，先由搭載英特爾酷睿處理器的工控機進行預處理，根據檢測需求確定需要傳輸到雲端後，再將數據傳送到後端雲服務器， 實施深度學習訓練和推理。
雖然這一架構並不複雜，但新方案要達到美的希望的靈活、敏捷和高通用性卻並非易事。尤其是以端到端方式構建從數據採集、模型訓練、算法部署的全流程，如果中間每個環節都由美的自行建設，勢必會耗費大量的時間和開發成本，且容易造成軟硬件緊耦合和擴展性差的問題。
Analytics Zoo 融合了 Apache Spark、TensorFlow、BigDL 等多種技術框架，可直接運行在英特爾 架構服務器構建的 大數據集羣上，並可通過對英特爾 至強 可擴展處理器進 行深度優化，充分釋放強大的性能潛力。同時，Analytics Zoo 所集成的英特爾 數學核心函數庫（Intel Math Kernel Library，英特爾 MKL）與多線程技術，也幫助美的工業視 覺檢測雲平臺大幅提升特徵訓練、圖片預測以及數據批處理等 效率。
通過雙方的緊密合作，英特爾幫助美的在其新方案後端的雲服務器中，基於 Analytics Zoo 構建了端到端數據分析流水線方案。整個方案流程如圖 2-1-7 所示，包括以下幾個主要步驟：
-
通過 Spark，方案以分佈式方式處理來自各產線工業 相 機 獲 取 的 大 量 視 頻 和 圖 像。 其 中，Analytics Zoo 使 用 PySpark 從磁盤中讀取視頻或圖像數據並進行預處理，構 造 出TensorFlow Tensor 的 彈 性 分 布 式 數 據 集（Resilient Distributed DataSet，RDD）。整個訓練流程可以自動從單個 節點擴展到基於英特爾 架構服務器的大型 Hadoop / Spark 集羣，無需修改代碼或手動配置。
-
使用 TensorFlow 目標檢測 API 接口，直接構建對象檢測模 型，例如，可以採用輕量級的 SSDLite + MobileNet V2 模型。
-
直接使用在第一步中預處理的圖像 RDD，以分佈式方式在 Spark 集羣上訓練（或微調）對象檢測模型。例如，爲了以分 布式方式處理缺陷檢測流水線的訓練數據，方案使用 PySpark 將原始圖像數據讀取到 RDD 中，然後應用一些變換來解碼圖 像，並提取邊界框和類標籤。方法如下所示：
而返回的 RDD（train_rdd）中的每條記錄都包含一個 NumPy ndarray 的列表（即圖像、邊界框、類和檢測到的框的數量）， 它可以直接用於創建 TensorFlow 模型，並在 Analytics Zoo 上進行分佈式訓練。通過創建 TFDataset（如下所示），可以 實現這一功能。
-
訓練結束後，可以基於與訓練流程類似的流水線，直接使用 RDD 評估圖像數據集，使用 PySpark、TensorFlow 和 BigDL 在 Analytics Zoo 上，以分佈式方式在 Spark 集羣上執行大規 模模型評估（或推理）；
-
使用 Analytics Zoo 中 POJO 模式的 API, 將整個 Pipeline 輕鬆地部署於在線 Web 服務中，以實現低延遲的在線服務（例 如，Web 服 務、Apache Storm、Apache Flink 等）。 實 現 代碼如下：
更多有關詳細信息，請參閱：https://analytics-zoo.github.io/master/#ProgrammingGuide/ inference/
通過這樣的方法，新方案可以對預處理過的圖像進行識別， 提取出需要進行檢測的標的物，例如螺釘、銘牌標貼或型號等， 並通過不斷地迭代分佈式訓練提高對檢測物的識別率。最後， 系統會將識別結果傳遞給機械臂等自動化設備來執行下一步 動作。 值得一提的是，英特爾至強 可擴展處理器爲新方案提供了另一項關鍵要素：計算力。部署在該雲平臺中的英特爾 至強 可擴展處理器得到了充分的性能優化，其英特爾高級矢量擴 展 512（Intel Advanced Vector Extensions 512，英特爾 AVX-512）等技術以出色的並行計算能力，滿足了該雲平臺在模型訓練和模型推理時對算力的需求。
基於英特爾架構優化的目標檢測算法模型
如前文所述，提升基於機器視覺的工業輔助檢測系統的工作效 能，關鍵在於爲其選擇高效、適宜的目標檢測。美的的新方案 選擇了更適於實時目標檢測的SSDLite + MobileNet V2模型。
利用 Analytics Zoo，新方案使用 TFDataset 來表示一個分 布式存儲的記錄集合，每條記錄包含一個或多個 TensorFlow Tensor 對 象。 這 些 Tensor 被 直 接 用 作 輸 入， 來 構 建 TensorFlow 模型。 如以下代碼所示，方案通過 TensorFlow Object Detection API 構建了 SSDLite + MobileNet V2 模型：
在模型構建之後，方案首先加載預先訓練的 TensorFlow模型， 然後使用 Analytics Zoo 中的 TFOptimizer，通過以下方式對 模型進行微調訓練：
最終方案在驗證數據集上的成效可達 0.97 [email protected]。
方案成效
將深度學習的方法引入工業輔助檢測領域，不僅讓美的工業視覺檢測雲平臺可以快速、敏捷、自動地識別出待測產品可能存 在的問題，例如螺釘漏裝、銘牌漏貼、LOGO 絲印缺陷等。更重要的是，該雲平臺能夠良好適應非標準變化因素，即便檢測內容和環境發生變化，雲平臺也能很快適應，省去了冗長的新 特徵識別、驗證時間。同時，這一方案也能有效地提高檢測的 魯棒性，克服了傳統視覺檢測過於依賴圖像質量的問題。
新方案在美的產線中實際部署後，達到了很好的應用效果。從已有 9 條產線的實際部署測試數據來看，該方案對現有產線的影響幾乎爲零。同時，由 Analytics Zoo 提供統一的數據分析 + AI 平臺，大幅降低了方案進行分佈式訓練和推理以及提供低 延遲在線服務所耗費的人力物力成本。相比傳統的工業視覺方案，如圖 2-1-8 所示，項目部署週期縮短了 57%，物料成本減少 30%，人工成本減少 70% 。
同時，經英特爾優化的 SSDLite + MobileNet V2 目標檢測算 法模型也有效提升了方案的執行效率和準確率。來自一線的數 據表明，方案對諸多缺陷的識別率達到了 99.98%，推理預測 時間從原先的 2 秒縮減到現在的 124 毫秒。
更多示例以及優化細節，請參閱 Github 相關代碼： https://github.com/intel-analytics/analytics-zoo/blob/master/pyzoo/zoo/examples/tfnet/train_lenet.py