ImportError: torch.utils.ffi is deprecated. Please use cpp extensions instead.
这就是说明pytorch的版本不兼容,这时候就需要修改setup.py文件。但是,cpp_extension是对c++文件进行拓展,需要将c语言文件转化为c++文件。而且使用ffi的时候会生成_ext文件,这个文件比较麻烦,在该文件夹下需要__init.py__
文件。
在pytorch0.4中,结合c语言和cuda进行拓展,使用torch.utils.ffi模块,但在pytoch1.0之后,这个模块就用不了了,用torch.utils.cpp_extension来进行代替
setuptools
不论是ffi模块或是cpp_extension模块,它们的构建都使用了setuptools,它是python distutils增强版的集合,可以帮助我们更简单的创建和分发Python包,尤其是拥有依赖关系的包。他还提供了自动包查询程序,用来自动获取包之间的依赖关系,并完成这些包的安装,大大降低了安装各种包的难度,使之更加方便。所以使用pytorch的这些模块的主要目的是用来找到c文件或者是c++文件,定义编译方式,具体的创建和安装操作都是setuptools来完成。比如在一个文件夹下有如下文件:
__init__.py
文件是必须要有的,setup.py
是将correlation_cuda进行打包和安装的文件,里面的具体内容为:
可以看到,setup里面包含了要编译的文件(不用包含头文件),运行python setup.py install之后会生成3个文件夹,dist
文件夹下的压缩包就是目标文件,build
文件夹下会有.so文件的生成,另一个文件夹是以 .egg-info
为结尾的文件。在这里我们主要是用到build文件夹下生成的共享文件,通过correlation.py
来进行调用,自定义层,之后外部如果要用到这个correlation,只需要调用*.py文件就可以啦,这就相当于定义了一个新的模块。
PyTorch学习总结(二)——基于torch.utils.ffi的自定义C扩展:https://blog.csdn.net/manong_wxd/article/details/78720182
pytorch学习笔记(十八):C 语言扩展 pytorch:https://blog.csdn.net/u012436149/article/details/78851174
Pytorch拓展进阶(一):Pytorch结合C以及Cuda语言:https://oldpan.me/archives/pytorch-combine-c-and-cuda
Pytorch拓展进阶(二):Pytorch结合C++以及Cuda拓展:https://oldpan.me/archives/pytorch-cuda-c-plus-plus