C++擴展python(三)boost.Python實現(附swig比較)

本文98%內容轉載自博客:https://www.jianshu.com/p/1b4235c90567

除了可以使用 SWIG 包裝 C/C++ 之外,還可以使用 C++ 的 boost.Python 庫包裝 C/C++ MPI 程序以供 mpi4py 調用。

關於各種包裝方式的優缺點可以看這一篇博客,或者這一篇

 

話不多說下面我們以包裝 C++ MPI 程序爲例對此進行介紹。

Boost.Python 是 C++ 的 Boost 庫的一部分,用來在 C++ 代碼中調用 Python 代碼以及在 Python 代碼中調用 C++ 代碼,並且避免用戶直接操作指針。Boost.Python 庫可以讓 C++ 和 Python 幾乎無縫結合。這裏不介紹 Boost.Python 的詳細使用方法,感興趣的讀者可以參考其文檔。我們只會以簡單的例子展示如何使用 Boost.Python 庫包裝 C/C++ MPI 程序以供 mpi4py 調用。

假設我們有以下使用了 Boost.Python 的 C++ 程序文件 helloworld.cxx,其中定義了函數 sayhello,其接受一個 MPI 通信子作爲參數。

// helloworld.cxx

#include <mpi.h>
#include <iostream>

static void sayhello(MPI_Comm comm)
{
  if (comm == MPI_COMM_NULL) {
    std::cout << "You passed MPI_COMM_NULL !!!" << std::endl;
    return;
  }
  int size;
  MPI_Comm_size(comm, &size);
  int rank;
  MPI_Comm_rank(comm, &rank);
  int plen; char pname[MPI_MAX_PROCESSOR_NAME];
  MPI_Get_processor_name(pname, &plen);
  std::cout <<
    "Hello, World! " <<
    "I am process "  << rank  <<
    " of "           << size  <<
    " on  "          << pname <<
    "."              << std::endl;
}


#include <boost/python.hpp>
#include <mpi4py/mpi4py.h>
using namespace boost::python;

static void hw_sayhello(object py_comm)
{
  PyObject* py_obj = py_comm.ptr();
  MPI_Comm *comm_p = PyMPIComm_Get(py_obj);
  if (comm_p == NULL) throw_error_already_set();
  sayhello(*comm_p);
}

BOOST_PYTHON_MODULE(helloworld)
{
  if (import_mpi4py() < 0) return; /* Python 2.X */

  def("sayhello", hw_sayhello);
}


/*
 * Local Variables:
 * mode: C++
 * End:
 */

我們要將其編譯成擴展模塊 helloworld.so 以供 mpi4py 程序調用,可以使用類似於以下的編譯命令(注意將其中的頭文件路徑改成你的系統中實際的路徑):

$ mpicxx -I/path/to/python/include/python2.7  -I/path/to/python/lib/python2.7/site-packages/mpi4py/include -o helloworld.so helloworld.cxx -fPIC -shared -lpthread -ldl -lutil -lm -lpython2.7 -lboost_python -lboost_python-mt

這編譯命令與前兩篇中使用的編譯命令非常類似,不同的是,對 C++ 程序,這裏使用的是 mpicxx 編譯器,另外除了指定 Python.h 和 mpi4py.h 的頭文件路徑及鏈接 python2.7 等庫文件外,還需額外鏈接 boost_python 和 boost_python-mt 庫文件,因爲這裏我們是使用 Boost.Python 庫來包裝的。

編譯成功後會生成擴展模塊 helloworld.so,然後就可以在我們的 mpi4py 程序中像使用其它 Python 模塊一樣導入該模塊並調用該模塊中定義的 sayhello 函數,可以向此函數傳遞一個 mpi4py 中定義的通信子,如 MPI.COMM_WORLD 或者其它通信子對象。例如使用以下的 test 例程:

# test.py

from mpi4py import MPI
import helloworld as hw

null = MPI.COMM_NULL
hw.sayhello(null)

comm = MPI.COMM_WORLD
hw.sayhello(comm)

try:
    hw.sayhello(list())
except:
    pass
else:
    assert 0, "exception not raised"

執行結果如下:

 

$ mpiexec -n 4 python test.py
You passed MPI_COMM_NULL !!!
Hello, World! I am process 1 of 4 on  node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 2 of 4 on  node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 3 of 4 on  node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 0 of 4 on  node2.

爲了方便,我們也可以編寫如下 Makefile 以簡化上述操作(注意其中使用了在上一篇中介紹的 python-config 文件):

 

# Makefile

.PHONY: default
default: build test clean

PYTHON = python
PYTHON_CONFIG = ${PYTHON} ./python-config
MPI4PY_INCLUDE = ${shell ${PYTHON} -c 'import mpi4py; print( mpi4py.get_include() )'}
BOOST_INCS =
BOOST_LIBS = -lboost_python -lboost_python-mt


MPICXX = mpicxx
CXXFLAGS = -fPIC ${shell ${PYTHON_CONFIG} --includes} ${BOOST_INCS}
LDFLAGS = -shared ${shell ${PYTHON_CONFIG} --libs} ${BOOST_LIBS}
SO = ${shell ${PYTHON_CONFIG} --extension-suffix}
.PHONY: build
build: helloworld${SO}
helloworld${SO}: helloworld.cxx
    ${MPICXX} ${CXXFLAGS} -I${MPI4PY_INCLUDE} -o $@ $< ${LDFLAGS}


MPIEXEC = mpiexec
NP_FLAG = -n
NP = 5
.PHONY: test
test: build
    ${MPIEXEC} ${NP_FLAG} ${NP} ${PYTHON} test.py


.PHONY: clean
clean:
    ${RM} helloworld${SO}

編譯擴展庫,執行程序及清理可以分別使用如下命令:

 

$ make build
$ make test
$ make clean

 

ps:雖然boost.Python據說擴展性不錯,但是鑑於我目前的水平,還是最終選擇swig來實現吧,我看openmm其實也使用了swig,畢竟以後跟它一起走,那就和(tou)諧(lan)一點哈哈哈。

 

感謝原文博主!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章