原创 TensorRT5.1入門 introductory_parser_samples

.   這個demo是在c++上運行的一個onnx轉tensorRT的示例,跑的是mnist,本來覺得小demo不填坑了,但是直接用python+pytorch生成的.onnx文件在自己寫的onnx轉tensorRT中,結果不太對

原创 TensorRT5.1.5.0入門 TensorRT頭文件學習

目錄結構1. NvInfer.hITensorILayerIConvolutionLayerIFullyConnectedLayerIActivationLayerIPoolingLayerILRNLayerIScaleLayer

原创 TensorRT5.1入門 Object Detection With The ONNX TensorRT Backend In Python(python)

這是官方開發者手冊少數幾個onnx相關的demo之一。 環境: ubuntu 16.04 python 3.5 torch 1.0.1 GTX1080 torchvision0.2.2 藉助這個demo體會一下onnx的自定義層的

原创 Pytorch1.1.0 入門 自定義op(python)

因爲需求,需要調研tensorRT與ONNX關於自定義層的方法。經過之前的調研,首先,關於onnx,開發者手冊中的介紹有限,在已知的demo中沒有關於onnx自定義層的,詳情見TensorRT 5.1.5.0入門 Pytorch

原创 TensorRT5.1實踐 自定義的FC層的方法

因爲FC層的具體實現,在官方的實例samplePlugin中已經給出了,所以主要看一下核心enqueue函數的實現。(學習階段) enqueue FC的enqueue在頭文件中是這麼定義的 virtual int enqueue

原创 Onnx EfficientNet網絡轉onnx格式出現的問題記錄

環境: ubuntu 16.04 python 3.5 torch 1.0.1 GTX1080 torchvision0.2.2 拿到同事訓練好的torch模型,想要保存爲onnx格式,爲以後轉TensorRT做準備。 代碼就幾行

原创 TensorRT5.1入門 trtexec

文章結構IntroductionRelated Work基礎篇: 在trtexec.cpp中直接導入IPlugin和IPluginFactory記得給涉及到的函數加參數serialized問題modelFile的默認參數問題理解篇

原创 Ubuntu16.04配置Caffe——Opencv3.1安裝及Bug解決

環境:Ubuntu16.06 ,GTX 1080,CUDA 9.0,Cudnn 7.5.1 ,OPENCV 3.1.0(Deb) 爲了配置Caffe,爲了以後着想,就一定要安裝OpenCv。 這是一個Caffe完整安裝教程:傳送門

原创 tensorRT5.1.5.0實踐 EfficientNet+Pytorch的轉換嘗試即準確度測試

更新到2019.8.5 參考EfficientNet-Pytorch. 文章結構efficientnet_pytorch模塊總結內容About EfficientNetAbout EfficientNet PyTorchUsage

原创 TensorRT5.1入門 samplePlugin

環境: Ubuntu16.04 , gcc5.4.0 , TensorRT 5.1.5.0 . 1. Introduction 爲了儘早做好準確的網絡優化測試,我開始學習如何使用自定義層.但因爲絕大多數的實踐博文都是如何在Tens