PyTorch学习总结(二)

ImportError: torch.utils.ffi is deprecated. Please use cpp extensions instead.

这就是说明pytorch的版本不兼容,这时候就需要修改setup.py文件。但是,cpp_extension是对c++文件进行拓展,需要将c语言文件转化为c++文件。而且使用ffi的时候会生成_ext文件,这个文件比较麻烦,在该文件夹下需要__init.py__文件。

在pytorch0.4中,结合c语言和cuda进行拓展,使用torch.utils.ffi模块,但在pytoch1.0之后,这个模块就用不了了,用torch.utils.cpp_extension来进行代替

setuptools

不论是ffi模块或是cpp_extension模块,它们的构建都使用了setuptools,它是python distutils增强版的集合,可以帮助我们更简单的创建和分发Python包,尤其是拥有依赖关系的包。他还提供了自动包查询程序,用来自动获取包之间的依赖关系,并完成这些包的安装,大大降低了安装各种包的难度,使之更加方便。所以使用pytorch的这些模块的主要目的是用来找到c文件或者是c++文件,定义编译方式,具体的创建和安装操作都是setuptools来完成。比如在一个文件夹下有如下文件:

__init__.py文件是必须要有的,setup.py是将correlation_cuda进行打包和安装的文件,里面的具体内容为:

 

可以看到,setup里面包含了要编译的文件(不用包含头文件),运行python setup.py install之后会生成3个文件夹,dist文件夹下的压缩包就是目标文件,build文件夹下会有.so文件的生成,另一个文件夹是以 .egg-info为结尾的文件。在这里我们主要是用到build文件夹下生成的共享文件,通过correlation.py来进行调用,自定义层,之后外部如果要用到这个correlation,只需要调用*.py文件就可以啦,这就相当于定义了一个新的模块。

PyTorch学习总结(二)——基于torch.utils.ffi的自定义C扩展:https://blog.csdn.net/manong_wxd/article/details/78720182

pytorch学习笔记(十八):C 语言扩展 pytorch:https://blog.csdn.net/u012436149/article/details/78851174

Pytorch拓展进阶(一):Pytorch结合C以及Cuda语言:https://oldpan.me/archives/pytorch-combine-c-and-cuda

Pytorch拓展进阶(二):Pytorch结合C++以及Cuda拓展:https://oldpan.me/archives/pytorch-cuda-c-plus-plus

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章