Tengine-自主知識產權的邊緣AI計算框架: 廣受國內AI開發者歡迎的輕量化嵌入式推理框架 | 百萬人學AI評選活動

2020 無疑是特殊的一年,而 AI 在開年的這場”戰疫“中表現出了驚人的力量。站在“新十年”的起點上,CSDN【百萬人學AI】評選活動正式啓動。本屆評選活動在前兩屆的基礎上再度升級,設立了「AI優秀案例獎Top 30」、「AI新銳公司獎Top 10」、「AI開源貢獻獎Top 5」三大獎項。我們相信,榜樣的力量將成爲促進AI行業不斷髮展的重要基石,而CSDN將與這些榜樣一起,助力AI時代的”新基建“。

活動官網:https://bss.csdn.net/m/topic/ai_selection/index

申報地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司簡介

OPEN AI LAB(開放智能)於2016年成立,公司專注邊緣智能計算及應用,致力於推動芯片級算力、算法、產品工程化、行業應用等完整產業鏈的深度協作,加速人工智能產業化部署和場景的邊界拓展,賦能場景化細分行業快速實現+AI。爲AIoT產業上下游合作伙伴提供端、邊、雲一體化人工智能基礎軟硬件開發平臺及應用級解決方案。

自主知識產權的商用級AIoT智能開發平臺Tengine、一站式AI端到端平臺解決方案Tengine2、嵌入式語音識別解決方案VoxTrend、以及軟硬一體化智能開發平臺EAIDK,已向數十家細分行業大客戶提供基於場景(行業+AI)的智能視覺、智能語音等人工智能綜合解決方案,爲上百個產業合作伙伴提供平臺以及解決方案服務,覆蓋智能製造、智能車載、公共安全、智能零售、智慧農牧、消費電子、智能家居等領域。

公司發展歷程:

2017年落戶於上海市徐彙區,當前在深圳、南京及北京開設分公司及辦事處;

目前覆蓋數十個細分行業場景:包括智慧教育、智能車載、公共安全、智能零售、智慧農牧業、消費電子/可穿戴、智能家居、智慧工廠、機器人等;產業鏈合作伙伴超100個,覆蓋芯片公司、算法公司、IDH公司、OEM/ODM公司、行業解決方案商等;爲超100個AI項目落地提供加速動力;且在2017-2019年持續三年,年度複合增長率超200%;

2019年公司榮獲高新技術企業資質,併成功獲批上海市經信委人工智能重點專項;

2019年獲得紅杉資本、寬帶(晨山)資本A輪投資,金額過億;

目前已擁有相關技術專利及計算機軟件著作權70+,研發人數佔比超過70%;

未來,公司將繼續以實際應用場景爲出發點,以解決實際問題爲目標,爲產業夥伴及行業用戶提供智能解決方案、以及技術賦能服務,加速人工智能技術在細分行業快速、高效、普惠的應用落地,助力賦能萬物,萬物智能。

二、開源項目簡介

Tengine-自主知識產權的邊緣AI計算框架

Tengine是一個嵌入式的AI推理框架,幫助算法開發者解決在AI快速產業化落地中遇到的各個瓶頸難題。相比業內系列框架,Tengine有兩個特點,一是物理位置層面,其所關注的重點是嵌入式設備,也就是海量的AIoT應用設備,而非服務器集羣;二是業務模式層面,重點在於推理,並非訓練。

Tengine 面對的是一個 AIoT 的萬億級市場,它比早期的PC 時代、移動互聯網時代,要更具規模,各種互聯設備越來越多將是大勢所趨。隨着SoC等芯片的種類會越來越多且具有不同的架構(如 Arm、X86等),同時每種芯片本身的計算的模式也是一種異構計算,即多種計算單元混合在一起(如CPU、GPU、DSP、NPU等多種計算單元),如何將其做統一支持與應用,Tengine在設計之初就充分考慮到了IoT場景中所需要應用到的特性。

Tengine是一款採用輕量級模塊化的高性能神經網絡推理引擎,便於擴展和裁剪,Tengine最小體積程序可以做到 300KB,在MCU上最小體積可以做到20KB。而且它專門針對Arm嵌入式設備優化,無需依賴第三方庫,可跨平臺使用支持Android、Linux、RTOS。

除此之外,Tengine一方面可以通過異構計算技術能夠同時調用CPU、GPU、DSP、NPU 等不同計算單元來完成AI網絡計算。另一方面,它和TensorFlow、Caffe、MXNet 等訓練框架相互配合,還通過ONNX模型實現了對 Pytorch、PaddlePaddle 的支持,完成了對業內主流框架的整體支持。不過以上的這些框架中,每一種算法模型之間並非相互兼容。因此Tengine對下需要覆蓋各種各樣的芯片,對上要兼容各種各樣的訓練框架。

2020 年, 將是Tengine開發者年

2017 年,Tengine 在 GitHub(https://github.com/OAID/Tengine)上開源。過去的三年Tengine產品重心是服務行業,結合客戶的 AI 落地場景需求進行快速迭代演進。

如今的Tengine在已經趟平很多的實際應用的坑後以產品化的質量奉獻給開發者,並以開源的方式開放給開發者參與、爲產業貢獻。

日前,Tengine 也與 OpenCV 社區進行了深度的合作,在最新發布的 OpenCV 4.3.0 版本中,基於ARM 的CPU,Tengine憑藉嵌入式端的高性能,攜手爲OpenCV的深度學習模塊DNN 在Arm CPU上帶來了性能顯著提升。

2020年4月,據 CSDN 發佈的《中國 AI 應用開發者報告》顯示,OPEN AI LAB 推出的邊緣 AI 計算框架 Tengine 成爲開發者最喜愛的本土 AI 框架工具。

三、開源影響力介紹

Tengine與衆多國內芯片建立深度合作關係,致力於打造AIoT底層生態圈,爲AIoT應用開發打通在各類硬件平臺部署算法的工作流,加速面向場景的AI算法在嵌入式終端/邊緣上快速遷移

Tengine開源版本通過如圖優化、對arm硬件後端性能深度優化、低精度推理、異構計算調度等技術打造端測最高效的AI計算框架,廣泛受到開源社區開發者歡迎;

據IT開發者社區CSDN彙總國內外AI工具框架關鍵詞,並基於實際數據梳理的《中國 AI 應用開發者報告》,目前在國內的AI開發者中,Tengine成爲最受AI開發者歡迎的本土AI工具框架。

目前Tengine與諸多知名開源項目達成深度合作:

2020.3月Tengine與知名模型可視化工具開源社區Netron合作,Netron 4.0版本開始集成Tengine模型格式;

2020.4月Tengine成爲ONNX官方認證合作伙伴;

2020.4月,OpenCV 4.3.0發佈,OPEN AI LAB AIoT智能開發平臺Tengine與OpenCV合作共同加速邊緣智能。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章