來源：雷鋒網
作者：包永剛
雷鋒網按，新推出的AI芯片因架構的獨特性和軟件的易用性增加了客戶嘗試和遷移的成本，因此，軟件成爲了能否快速、低成本遷移的關鍵。現在普遍的做法是在TensorFlow寫一些後端集成新硬件，這給社區和AI芯片公司都帶來了負擔，增加了遷移的難度和成本。
目前，有不少項目都希望從AI編譯的角度避免重複性的工作，比如微軟亞洲研究院的NNFusion以及阿里雲的HALO開源項目，降低從GPU向其它AI加速器遷移的成本。
有一個值得關注的開源框架TVM，開發者通過這個框架就可以將已有的模型部署到不同的硬件上，這是打開AI芯片的萬能鑰匙嗎？
對於處於AI硬件和軟件領域的芯片公司和開發人員而言，開源Apache TVM的努力已經衆所周知。這是一個機器學習的編譯器框架，無論是何種類型的芯片，它都可以通過優化配置滿足從數據中心到邊緣設備的需求。
如果AMD、高通、Arm、賽靈思、亞馬遜和許多其他公司還未支持它，那麼它可能會散發出“神奇編譯器”的魔力，一些AI芯片初創公司幾年前就開始相關工作。
TVM的想法是不需要將機器學習模型專門針對某個硬件進行手動定製，進而發揮傳統芯片巨頭以及初創公司芯片的潛力。現在是時候爲新AI芯片的生產確定標準，讓用戶無需爲採用特定於體系結構揹負沉重負擔。畢竟，有很多機器學習的芯片可供選擇。
“硬件越來越多樣，圍繞這些硬件的軟件生態系統也是如此。再加上TensorFlow、Keras、PyTorch等深度學習框架，還有各種深度學習模型，它們之間的相互作用日益複雜。”華盛頓大學教授，TVM OctoML的聯合創始人兼聯合首席執行官Luis Ceze說。
“這些軟件堆棧現在是用於特定用例或特定硬件（如cuDNN，ROCm等），這些都是通過初級工程師手工優化，這些工程師優化了線性代數代碼，將模型中的機器學習運算符連接到帶有經過調整的硬件庫的硬件。這對於芯片提供商來說效果很好，但是就使用硬件設備公司而言，效果是有限的。”
本質上，TVM是一個編譯器加一個Runtime（運行時）堆棧，帶有一組中間表示，這些中間表示將高級框架（如TensorFlow，PyTorch等）中的機器學習模型轉換爲可以被不同硬件體系結構理解的代碼，從服務器級GPU到低端移動CPU甚至MIPS或RISC-V芯片。
對於希望在新硬件上運行機器學習模型的芯片公司來說，這是個好消息，尤其是考慮到開發深度優化的軟件堆棧的時間和成本。這也意味着，只要一次建模型，就可以將其部署在幾乎所有TVM支持的硬件上。
目前，支持TVM的列表包括幾乎所有主要的硬件供應商以及多家初創公司。
Ceze表示，從深度學習模型到更小的可部署模塊的編譯流程，以及在具有更好性能的更多架構上自動生成和優化模型，TVM的速度平均比手工優化快2-10倍
Codeplay首席執行官安德魯·理查茲（Andrew Richards）也致力於跨越AI硬件與軟件鴻溝。他補充說：“這類技術面臨的挑戰是如何將其應用於不同AI加速器並實現不同的應用。AI是一個非常活躍的研究領域，每天都會有新的進展。在新硬件上快速運行舊的神經網絡模型並不是真正的挑戰，我們需要在新硬件上運行新的神經網絡。”
“太多的AI芯片公司都在努力運行最新的基準（Benchmark）。爲了推動AI芯片和AI軟件領域的發展，我們需要將硬件設計人員需要的圖編譯器（例如TVM）的自動調整功能與AI研究人員需要的C ++或Python這樣的編程語言的常規編程能力相結合。這個挑戰使這個領域令人興奮。” Richard繼續說道。
Ceze和他的OctoML團隊正在這麼做，將TVM商業化。“讓新硬件運行新的模型對平臺是一個機會。例如，在視頻存儲庫中的雲中大規模運行計算機視覺來進行內容審覈的應用，通過我們的優化程序，能夠有10倍的性能提升。”
Ceze表示，對於機器學習工程師來說，他們代表着越來越多的用戶，厭倦了擔心部署模型的麻煩。如果必須在模型創建過程中考慮硬件部署的效率低下，那數據科學足夠困難。這就是人們選擇TVM和我們的原因，他們只需要專注於想要運行的模型，而不是關注如何在特定硬件中運行它們。”
正如我們多年來所看到的，如果在正確的時間做正確事，將開源商業化將有利可圖。儘管TVM獲得了廣泛的支持（大約三分之二來自行業/硬件製造商），但Ceze認爲他們有足夠的能力來獲取有關模型的類型和數量，硬件目標、複雜程度和數量的信息。作爲一個非常普遍的問題，一箇中型計算機視覺的雲計算模型每月的費用約爲1-1.5萬美元。
“我們提供的價值是，讓用戶獲得更易於使用的體驗，並基於我們對所有主要芯片和模型的異構的集合，獲得成本優勢，並不斷進行優化。” Ceze表示。
到目前爲止，該公司已經籌集了1900萬美元的種子基金和A輪融資，儘管其一些最大的（經過驗證的）客戶都因保密協議不能公佈，但考慮到大多數主要的芯片製造商（英特爾和英偉達等幾個著名的例外，特別是英偉達和其cuDNN），以及擁有自己的ASIC和一些行業巨頭雲提供商。
未來是否有足夠大的業務來支持TVM還有待觀察，但對於AI芯片生態系統軟件之外的人，應該認識到的是，軟件是造成這個行業差異化的因素。特別是隨着時間的流逝，可以開始降低成本。
隨着開源的發展，我們可以期望TVM對更多設備的更廣泛支持，讓開發人員嘗試不同架構。
原文鏈接：
https://www.nextplatform.com/2021/01/15/a-skeleton-key-for-ai-hardware-experimentation/
未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）雲腦研究計劃，構建互聯網（城市）雲腦技術和企業圖譜，爲提升企業，行業與城市的智能水平服務。
如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”
