原创 triton inference server翻譯之Optimization

link Optimization Triton Inference Server具有許多功能，可用於減少模型的延遲和增加吞吐量。 本節討論了這些功能並演示瞭如何使用它們來改善模型的性能。 作爲先決條件，您應該遵循快速入門，以使服

2020-07-04 01:49:36 63

原创 triton inference server翻譯之Quickstart

link Quickstart Triton Inference Server兩種獲取途徑： NVIDIA GPU Cloud (NGC)，預編譯好的container； GitHub上源碼，可用cmake自行編譯contain

2020-07-04 01:49:36 24

原创 triton inference server翻譯之Models And Schedulers

link 通過整合多個框架和自定義後端，Triton Inference Server支持多種模型。 同時，推理服務器還支持多種調度和批處理配置，從而進一步擴展了推理服務器可以處理的模型類別。 本節描述模型的無狀態，有狀態和組合模

2020-07-04 01:49:36 20

原创 triton inference server翻譯之user guide

link NVIDIA Triton Inference Server提供了針對NVIDIA GPU優化的雲推理解決方案。 服務器通過HTTP或GRPC端點提供推理服務，從而允許遠程客戶端爲服務器管理的任何模型請求推理。 對於邊緣

2020-07-04 01:49:36 27

原创 triton inference server翻譯之Model Configuration

link Model Configuration 模型庫中的每個模型都必須包括一個模型配置，該配置提供有關該模型的必需和可選信息。 通常，此配置在指定爲ModelConfig protobuf的config.pbtxt文件中提供。

2020-07-04 01:49:36 179

原创 triton inference server翻譯之Metrics

link Metrics Triton Inference服務器提供Prometheus度量標準，指示GPU和請求統計信息。 默認情況下，這些指標可從http://localhost:8002/metrics獲得。 度量標準僅可通

2020-07-04 01:49:36 2

原创 triton inference server翻譯之model managment

link Model Management 推理服務器以以下三種模型控制模式之一進行操作：NONE，POLL或EXPLICIT。 Model Control Mode NONE 服務器嘗試在啓動時加載模型存儲庫中的所有模型。 服務

2020-07-04 01:49:36 18

原创 triton inference server翻譯之Model Repository

link Triton Inference Server訪問模型文件的方式可以是本地可訪問文件路徑，Google Cloud Storage和Amazon S3，用–model-repository選項啓動服務器時，將指定這些路徑

2020-07-04 01:49:36 1

原创 翻譯自NVIDIA Triton Inference Server

NVIDIA Triton Inference Server NVIDIA Triton Inference Server provides a cloud inferencing solution optimized for N

2020-06-16 10:27:06 7

原创 翻譯trt triton inference server

Models And Schedulers By incorporating multiple frameworks and also custom backends, the TensorRT Inference Server

2020-06-16 10:27:06 2

原创 docker-compose開啓kafka服務器

更新中......version1.0 version1.0 version: '3.8' services: zookeeper: image: wurstmeister/zookeeper ports:

2020-06-11 16:11:15

原创 trt is perf_client

perf_client A critical part of optimizing the inference performance of your model is being able to measure changes

2020-04-24 07:04:37

原创 centernet的demo.py運行

報錯：demo.py ctdet RuntimeError: invalid hash value solution: It’s OK to change pose_dla_dcn.py get_pose_net function

2020-02-21 05:42:11

原创 Use Custom Dataloaders

github鏈接 現有的數據讀取器是怎麼工作的呢？ Detectron2包含一個建好的數據讀取管道，很容易明白其工作原理，也方便自己重寫一個數據讀取器。 Detectron2提供兩個函數，build_detection_{trai

2019-10-26 17:23:04 2

原创 detectron2教程

教程 install getting_started extend datasets 中文博客 github地址 data_loading 中文博客 github鏈接 write-models 中文博客 g

2019-10-26 17:23:04 4