前言
本章节介绍基于HanGuangAI软件运行时(RunTime)的开发。这些运行时编程接口既可以整合到框架中,也可以用来实现推理引擎,或者直接被AI应用程序使用。现阶段,他们是运行时控制使用含光NPU的唯一编程接口。
当前AI计算芯片的架构各异,表现在软件接口上,就是没有一套标准的编程接口。Nvidia的领头羊地位,由其通用计算拓展到AI计算领域,但由于芯片架构之间差别太大,它的编程接口并不适合其他架构。况且就是Nvidia自己,也有不同层次,不同目的的编程接口:从底层的CUDA驱动接口,到CUDA运行库,TensorRT,以及其他的运算库。
我们在设计自己的编程接口的时候,尽量使用一些被普遍使用的名词和组织方式,以方便开发者能快速了解和掌握含光NPU的编程。因此,如果你熟悉CUDA/TensorRT,会有一些熟悉的感觉。但是,由于