MLOps——企業AI戰略中缺失的關鍵一環

企業的首席體驗官們日益重視機器學習(ML)和人工智能(AI)。機器學習在企業內部的大數據和BI團隊中發揮着日益重要的作用。

根據Forrester[1]的報告,超過50%的企業技術決策者已經採用或正在推動ML和AI落地。

撇開領導團隊的投入和口號,許多組織還沒有充分認識到AI的潛力。在Algorithima發佈的《2020年企業機器學習狀況[2]》報告中,55%的受訪企業尚未部署模型,22%的企業的模型已經在生產中運行了1-2年,只有大約8%的企業在生產環境中運行復雜的模型。

部署機器學習模型的障礙之一是部署過程複雜且耗時漫長。各業務條線只有在部署的模型與現有業務流程充分整合後,才能從機器學習中獲得價值。

根據Algorithima的調查,22%的受訪者需要1到3個月的時間將新的ML模型部署到生產中。相比之下,18%的受訪者提到需要三個月以上的部署時間。

部署緩慢導致企業中機器學習項目的頻頻受挫。IDC在2020年6月進行的一項調查[3]顯示,企業中28%的機器學習項目以失敗告終。

對這一趨勢進行更深入的分析,可以發現更多問題:碎片化的工具鏈,專業知識不足,ML就緒數據匱乏,集成開發環境缺失,以及開發人員、數據科學家和DevOps團隊之間的缺乏協作。

這些挑戰與在過去十年中開發人員和系統運維人員所面臨的挑戰非常相似。開發人員和運維人員之間缺乏協作,導致開發和部署脫節,這對組織來說代價高昂。DevOps模式通過引入新的工具和流程來解決這一問題。通過有效的DevOps策略,各業務條線可以加快速度向終端用戶提供新功能和服務。

機器學習生態系統需要一個強大的類似DevOps的框架、工具鏈和流程,使得開發人員、數據科學家和運維人員能夠緊密協作。MLOps是ML與DevOps的結合,旨在將敏捷軟件工程的一些成熟能力帶到機器學習和人工智能中。

與軟件開發類似,構建機器學習模型涉及到各種工具和框架。團隊中的每個數據科學家都有其偏愛的工具來進行數據預處理、探索性分析和特徵提取。ML工程師使用自己選擇的語言和框架來訓練模型。運維團隊則對模型進行打包、部署和擴展,以便現有業務應用進行推理。

在典型的軟件開發環境中,開發人員使用IDE來構建和測試代碼。同時,運維團隊依靠容器和容器編排引擎來部署和擴展應用。與此同時,數據科學家使用Jupyter Lab作爲開發環境來訓練模型。Kubernetes已經成爲業務應用和機器學習模型的主流的部署平臺。

機器學習模型的精確性可能會隨着時間的推移而降低。不斷變化的業務環境和外部因素是影響模型精度和準確性的關鍵因素。通過將軟件開發和部署的敏捷性和速度賦能ML,自動訓練和部署新模型,而無需人工干預。

MLOps包括對模型漂移的檢測,這個術語用來描述預測和預期結果之間不斷擴大的差距,它可以觸發模型的自動訓練、評估和部署過程。這種工作流程可與現代軟件開發的持續集成(CI)和持續部署(CD)流水線相媲美。MLOps增加了持續訓練,通過不斷比較模型預測的準確性,由持續評估過程觸發持續訓練。

ML平臺即服務(PaaS)產品,如Amazon SageMaker、Azure ML、Google Cloud AI都集成了流水線和MLOps功能。但這些工具與底層平臺組件緊密耦合,如數據提取服務、對象存儲、數據湖、分佈式訓練環境、容器編排、模型倉庫和模型服務。

尋求一套統一標準的工具和平臺的客戶,可以嘗試使用Kubeflow、MLflow和Seldon等開源項目,這些項目可以在企業內部和雲環境中工作。

有了成熟的DevOps框架,企業可以快速部署軟件。SaaS和移動應用的興起導致了一種非破壞性的交付模式,用戶無需任何干預就能獲得新版本的軟件。MLOps承諾採用類似的方法來管理機器學習模型的生命週期。

現在是企業關注MLOps,並將其作爲實施機器學習項目的框架的時候了。

MLOps帶來了訓練機器學習模型所涉及到的最好的迭代開發、可擴展和可管理的模型部署流程。它是目前企業AI戰略中缺失的一塊重要拼圖。

相關鏈接:

  1. https://www.forrester.com/report/Research+Overview+Artificial+Intelligence/-/E-RES160761?objectid=RES160761#reference1

  2. https://info.algorithmia.com/hubfs/2019/Whitepapers/The-State-of-Enterprise-ML-2020/Algorithmia_2020_State_of_Enterprise_ML.pdf

  3. https://www.idc.com/getdoc.jsp?containerId=prUS46534820

原文鏈接:https://www.forbes.com/sites/janakirammsv/2021/01/05/mlopsthe-missing-piece-in-the-enterprise-ai-puzzle/?sh=7139a03924ad

Kubernetes管理員認證(CKA)培訓

本次CKA培訓在北京開班,基於最新考綱,通過線下授課、考題解讀、模擬演練等方式,幫助學員快速掌握Kubernetes的理論知識和專業技能,並針對考試做特別強化訓練,讓學員能從容面對CKA認證考試,使學員既能掌握Kubernetes相關知識,又能通過CKA認證考試,學員可多次參加培訓,直到通過認證。點擊下方圖片或者閱讀原文鏈接查看詳情。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章