本文98%內容轉載自博客:https://www.jianshu.com/p/1b4235c90567
除了可以使用 SWIG 包裝 C/C++ 之外,還可以使用 C++ 的 boost.Python 庫包裝 C/C++ MPI 程序以供 mpi4py 調用。
話不多說下面我們以包裝 C++ MPI 程序爲例對此進行介紹。
Boost.Python 是 C++ 的 Boost 庫的一部分,用來在 C++ 代碼中調用 Python 代碼以及在 Python 代碼中調用 C++ 代碼,並且避免用戶直接操作指針。Boost.Python 庫可以讓 C++ 和 Python 幾乎無縫結合。這裏不介紹 Boost.Python 的詳細使用方法,感興趣的讀者可以參考其文檔。我們只會以簡單的例子展示如何使用 Boost.Python 庫包裝 C/C++ MPI 程序以供 mpi4py 調用。
假設我們有以下使用了 Boost.Python 的 C++ 程序文件 helloworld.cxx,其中定義了函數 sayhello,其接受一個 MPI 通信子作爲參數。
// helloworld.cxx
#include <mpi.h>
#include <iostream>
static void sayhello(MPI_Comm comm)
{
if (comm == MPI_COMM_NULL) {
std::cout << "You passed MPI_COMM_NULL !!!" << std::endl;
return;
}
int size;
MPI_Comm_size(comm, &size);
int rank;
MPI_Comm_rank(comm, &rank);
int plen; char pname[MPI_MAX_PROCESSOR_NAME];
MPI_Get_processor_name(pname, &plen);
std::cout <<
"Hello, World! " <<
"I am process " << rank <<
" of " << size <<
" on " << pname <<
"." << std::endl;
}
#include <boost/python.hpp>
#include <mpi4py/mpi4py.h>
using namespace boost::python;
static void hw_sayhello(object py_comm)
{
PyObject* py_obj = py_comm.ptr();
MPI_Comm *comm_p = PyMPIComm_Get(py_obj);
if (comm_p == NULL) throw_error_already_set();
sayhello(*comm_p);
}
BOOST_PYTHON_MODULE(helloworld)
{
if (import_mpi4py() < 0) return; /* Python 2.X */
def("sayhello", hw_sayhello);
}
/*
* Local Variables:
* mode: C++
* End:
*/
我們要將其編譯成擴展模塊 helloworld.so 以供 mpi4py 程序調用,可以使用類似於以下的編譯命令(注意將其中的頭文件路徑改成你的系統中實際的路徑):
$ mpicxx -I/path/to/python/include/python2.7 -I/path/to/python/lib/python2.7/site-packages/mpi4py/include -o helloworld.so helloworld.cxx -fPIC -shared -lpthread -ldl -lutil -lm -lpython2.7 -lboost_python -lboost_python-mt
這編譯命令與前兩篇中使用的編譯命令非常類似,不同的是,對 C++ 程序,這裏使用的是 mpicxx 編譯器,另外除了指定 Python.h 和 mpi4py.h 的頭文件路徑及鏈接 python2.7 等庫文件外,還需額外鏈接 boost_python 和 boost_python-mt 庫文件,因爲這裏我們是使用 Boost.Python 庫來包裝的。
編譯成功後會生成擴展模塊 helloworld.so,然後就可以在我們的 mpi4py 程序中像使用其它 Python 模塊一樣導入該模塊並調用該模塊中定義的 sayhello 函數,可以向此函數傳遞一個 mpi4py 中定義的通信子,如 MPI.COMM_WORLD 或者其它通信子對象。例如使用以下的 test 例程:
# test.py
from mpi4py import MPI
import helloworld as hw
null = MPI.COMM_NULL
hw.sayhello(null)
comm = MPI.COMM_WORLD
hw.sayhello(comm)
try:
hw.sayhello(list())
except:
pass
else:
assert 0, "exception not raised"
執行結果如下:
$ mpiexec -n 4 python test.py
You passed MPI_COMM_NULL !!!
Hello, World! I am process 1 of 4 on node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 2 of 4 on node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 3 of 4 on node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 0 of 4 on node2.
爲了方便,我們也可以編寫如下 Makefile 以簡化上述操作(注意其中使用了在上一篇中介紹的 python-config 文件):
# Makefile
.PHONY: default
default: build test clean
PYTHON = python
PYTHON_CONFIG = ${PYTHON} ./python-config
MPI4PY_INCLUDE = ${shell ${PYTHON} -c 'import mpi4py; print( mpi4py.get_include() )'}
BOOST_INCS =
BOOST_LIBS = -lboost_python -lboost_python-mt
MPICXX = mpicxx
CXXFLAGS = -fPIC ${shell ${PYTHON_CONFIG} --includes} ${BOOST_INCS}
LDFLAGS = -shared ${shell ${PYTHON_CONFIG} --libs} ${BOOST_LIBS}
SO = ${shell ${PYTHON_CONFIG} --extension-suffix}
.PHONY: build
build: helloworld${SO}
helloworld${SO}: helloworld.cxx
${MPICXX} ${CXXFLAGS} -I${MPI4PY_INCLUDE} -o $@ $< ${LDFLAGS}
MPIEXEC = mpiexec
NP_FLAG = -n
NP = 5
.PHONY: test
test: build
${MPIEXEC} ${NP_FLAG} ${NP} ${PYTHON} test.py
.PHONY: clean
clean:
${RM} helloworld${SO}
編譯擴展庫,執行程序及清理可以分別使用如下命令:
$ make build
$ make test
$ make clean
ps:雖然boost.Python據說擴展性不錯,但是鑑於我目前的水平,還是最終選擇swig來實現吧,我看openmm其實也使用了swig,畢竟以後跟它一起走,那就和(tou)諧(lan)一點哈哈哈。
感謝原文博主!