Python神经网络集成技术Guide指南
本指南将介绍如何加载一个神经网络集成系统并从Python运行推断。
提示
所有框架的神经网络集成系统运行时接口都是相同的，因此本指南适用于所有受支持框架（包括TensorFlow、PyTorch、Keras和TorchScript）中的模型。
打包神经网络集成系统
有关如何在所有支持的框架中创建Neuropod模型的示例，请参见基本介绍指南。
打包一个神经网络集成系统
from neuropod.loader import load_neuropod
neuropod = load_neuropod(PATH_TO_MY_MODEL)
还可以使用load_ernood作为上下文管理器：
from neuropod.loader import load_neuropod
with load_neuropod(PATH_TO_MY_MODEL) as neuropod:
# Do something here
Pass
选项
还可以在加载模型时提供运行时选项。
要选择在哪个设备上运行模型，可以提供一个visible_gpu参数。
这是这个神经网络集成系统应该运行的GPU的索引（如果有的话）。可以是无整数，也可以是非负整数。将此设置为“无”将尝试在CPU上运行此模型。
# Run on CPU
neuropod = load_neuropod(PATH_TO_MY_MODEL, visible_gpu=None)
# Run on the second GPU
neuropod = load_neuropod(PATH_TO_MY_MODEL, visible_gpu=1)
获取模型的输入和输出
模型的输入和输出通过输入和输出属性可用。
with load_neuropod(PATH_TO_MY_MODEL) as neuropod:
# This is a list of dicts containing the "name", "dtype", and "shape"
# of the input
print(neuropod.inputs, neuropod.outputs)
推论
模型的推理方法用于运行推理。此方法的输入是将输入名称映射到值的dict。这必须与加载模型的neuropod配置中的输入规范匹配。
提示
这个dict中的所有键必须是字符串，所有值必须是numpy数组。
infer的输出是将输出名称映射到值的dict。对其进行检查，以确保其与已加载模型的neuropod配置中的规范匹配。这个dict中的所有键都是字符串，所有值都是numpy数组。
x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])
with load_neuropod(ADDITION_MODEL_PATH) as neuropod:
results = neuropod.infer({“x”: x, “y”: y})
# array([6, 8, 10, 12])
print results[“out”]
序列化
import numpy as np from neuropod import neuropod_native
# An array to serialize
tensor = np.arange(5)
# Convert a numpy array to a NeuropodTensor and serialize it
serialized_bytes = neuropod_native.serialize(tensor)
# Deserialize a string of bytes to a NeuropodTensor
# (and return it as a numpy array)
deserialized = neuropod_native.deserialize(serialized_bytes)
# array([0, 1, 2, 3, 4])
print(deserialized)
序列化代码在NUMPY数组和C++ NoopPotoStor对****象之间转换（以零拷贝方式）。然后，使用C++序列化功能来序列化/反序列化。
提示
序列化和反序列化工作在Python和C++之间。这意味着可以在C++中序列化张量，在Python中反序列化，反之亦然。
Warning
这个API的目标是支持临时序列化。不能保证向后兼容，因此此API不应用于数据的长期存储。