騰訊開源推理框架TNN學習筆記（進行中）

6月10日之前期待

1、推理框架TNN

2、騰訊開源新一代

3、和NCNN有什麼不同

4、模型轉化是否方便

5、優化性能

6月10日

https://github.com/Tencent/TNN

TNN：由騰訊優圖實驗室打造，移動端高性能、輕量級推理框架，同時擁有跨平臺、高性能、模型壓縮、代碼裁剪等衆多突出優勢。TNN框架在原有Rapidnet、ncnn框架的基礎上進一步加強了移動端設備的支持以及性能優化，同時也借鑑了業界主流開源框架高性能和良好拓展性的優點。目前TNN已經在手Q、微視、P圖等應用中落地，歡迎大家參與協同共建，促進TNN推理框架進一步完善。

使用 TNN 非常簡單，如果你有一個已經訓練好的模型, 那麼一般而言通過以下三個步驟就能完成模型在目標平臺上的部署。

1. 第一步是把訓練好的模型轉換成TNN的模型，爲此我們提供了豐富的工具來幫助你完成這一步，無論你使用的是 TensorFlow、PyTorch、或者 Caffe，都可以輕鬆完成轉換。 詳細的手把手教程可以參見這裏如何轉換模型。

2. 當你完成了模型的轉換，第二步就是編譯目標平臺的 TNN 引擎了，你可以根據自己的目標平臺的硬件支持情況，選擇 CPU/ARM/OpenCL/Metal 等加速方案。 對於這些平臺，TNN 都提供了一鍵編譯的腳本，使用非常方便。詳細步驟可以參考這裏如何編譯TNN。

3. 最後一步就是使用編譯好的 TNN 引擎進行推理，你可以在自己的應用程序中嵌入對 TNN 的調用，這方面我們提供了豐富而詳實的 demo 來幫助你完成。

   • 從0開始跑通一個iOS Demo
   • 從0開始跑通一個Android Demo

摘自：https://github.com/Tencent/TNN

進行中......