同時兼具跨平臺和高性能的 AI 框架,可能嗎?

在人工智能領域下,前有谷歌的 TensorFlow 與 Facebook 的 PyTorch 在深度學習開源框架下的龍爭虎鬥,後有 BAT 的 MNN、NCNN 緊跟前者腳步,整個 AI 技術領域的發展看起來似乎一片坦途。

但在開源之後,大家逐漸發現一個問題,縱然現階段人工智能領域下的開源框架種類和質量都在不斷完善,但卻很難形成統一的格局。因此在 AI 產品研發體系下產生開源代碼難以全平臺共用的的問題,而這個問題的根源就在於全球人工智能領域的開發資源並未實現模塊化和標準化。

如果不實現 AI 開發資源的模塊化和標準化,對於開發者來說會增加大量成本。首先當一個業務涉及到不同平臺時,需要使用不同的框架,整合時又需要不斷的進行模型轉換,耗費過多的精力,嚴重阻礙了產品研發進度;其次缺乏模塊化,會導致 AI 能力即便得到了開源,對於存在不同場景需求的開發者而言,也沒有實現真正的 “開箱即用”。

而現在,騰訊優圖即將分享一個自研的推理組件,直面能力分散、多平臺不兼容等問題,該框架可開發註冊包括 ARM、METAL、OPENCL、NPU、CUDA 等主流平臺在內的多種推理平臺,爲開發人員提供統一的模型描述文件和調用接口,讓企業一套流程就能部署到位,簡單易用、省時省力。

這會引起 AI 開源框架的新一輪革命嗎?  

答案是顯而易見的,在新的突破出現後,其對業內的影響是不可估量的。那在實現了跨平臺統一之後,其在業務中實際產生的效果是怎麼樣的呢?

騰訊這款自研的推理組件 TNN 源自內部 16 年就開始研發的 Rapidnet 框架,後續借鑑了 ncnn、MNN、MACE 等開源框架高性能和易擴展的優點,並進一步提升。TNN 的優秀已在手 Q、微視、天天 P 圖等 APP 中的美顏、美妝、魔法天空、光感染髮、手勢紅包等功能的處理速度上得到了證實,其處理速度比當前業界開源框架平均快 20% 以上;同時,在騰訊雲 GPU 服務器落地中,能夠實現性能較業界主流框架提升 50% 以上。

其實早在今年 3 月,這款推理組件就已經在騰訊內部進行了開源,主要支持移動端平臺開展 CV 相關的 AI 推理。在手 Q 的換臉特效中,通過其性能優化,使速度顯著提升了 4 倍以上。

如果這款推理組件正好能解決你目前遇到的問題,或者你對它有着極大的興趣,那麼我強烈推薦你參加此次由騰訊優圖主辦的 6 月 15 日的線上直播,屆時騰訊優圖實驗室資深研究員 Darren 將爲大家解讀【多場景適配:深度學習模型部署優化之道】的主題分享。幫助大家全面瞭解這個深度學習推斷框架的前世今生,輔助大家快速上手在不同場景下的模型部署優化能力。

掃描下圖二維碼,免費報名參加

掃描下圖二維碼,添加小助手「文文醬」

回覆關鍵字 “優圖”,入直播羣

點擊閱讀原文即可免費預約觀看直播,6 月 15 日晚 7 點 - 8 點,我們不見不散~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章