更新2017.12.04
本人用此方法實現了一個CUDA加速的暗通道先驗去霧算法:
https://github.com/TomHeaven/Dark-Channel-Haze-Removal-with-CUDA
項目中附帶了Windows, Linux,Mac三平臺的配置文件,在三大桌面平臺上都可用。
最近有使用Matlab通過mex調用CUDA加速視頻處理的需求,於是折騰了一下,網上的說法可謂千奇百怪衆說紛紜,卻沒有能用的。經過六個多小時的反覆搜索和嘗試,本人終於成功編譯運動了了matlab的mexCUDA例程:mexGPUExample.cu。
1.軟件環境
這個過程涉及三個環境:Visual Studio、Cuda Toolkit和Matlab。其中Cuda依賴Visual Studio、Matlab依賴Cuda和Visual Studio。官方正式支持的版本關係如下表:
Matlab版本 | CUDA版本 | Visual Studio版本 |
---|---|---|
2014a | 5.5 | 2008,2010 |
2014b | 6.5 | 2008,2010,2012 |
本人用的Win10系統(64位),Matlab2014b、Cuda 7.5和VS2013。如果使用官方支持的版本,需要降級Cuda驅動和VS版本,要命的是,低版本的Cuda驅動在Win10上會崩潰(本人遇到過一次)。通過修改mex配置文件,可以使以上軟件版本也用Cuda。
2.步驟
- Matlab通過mex使用CUDA可以分爲三步:
- 1 首先準備好cuda kernel文件(Matlab 自帶,我的在下面的位置):
“D:\Program Files\MATLAB\R2014b\toolbox\distcomp\gpu\extern\src\mex\mexGPUExample.cu” - 2 編寫一個testMexCuda.m文件,內容如下:
#設置環境變量
setenv('CUDA_PATH', 'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v7.5');
setenv('CUDA_BIN_PATH','C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v7.5\bin');
setenv('CUDA_LIB_PATH', 'C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v7.5\lib');
#編譯(-v爲顯示詳細信息,利於查錯)
mex -v mexGPUExample.cu
#運行測試程序
x = ones(4,4,'gpuArray');
y = mexGPUExample(x)
- 注意如果你使用的CUDA版本不是7.5,請將7.5改爲你的版本號(如8.0,6.5,6.0等)。
-
3 將mex_CUDA_win64.xml文件複製到testMexCuda.m文件所在的目錄,並修改爲內容如下
(”D:\Program Files\MATLAB\R2014b\toolbox\distcomp\gpu\extern\src\mex\win64\mex_CUDA_win64.xml”)
<?xml version="1.0" encoding="UTF-8" ?>
<!-- Copyright 2013-2014 The MathWorks, Inc. -->
<config
Name="NVIDIA CUDA Compiler"
ShortName="nvcc"
Manufacturer="NVIDIA"
Version="7.5"
Language="CUDA"
Priority="A"
Location="$NVCC" >
<Details
CompilerExecutable="$COMPILER"
CompilerDefines="$COMPDEFINES"
CompilerFlags="$COMPFLAGS"
OptimizationFlags="$OPTIMFLAGS"
DebugFlags="$DEBUGFLAGS"
IncludeFlags="$INCLUDE"
LinkerExecutable="$LINKER"
LinkerFlags="$LINKFLAGS"
LinkerLibraries="$LINKLIBS"
LinkerOptimizationFlags="$LINKOPTIMFLAGS"
LinkerDebugFlags="$LINKDEBUGFLAGS"
CommandLineShell="$VCVARSALLDIR\VCVARSALL.BAT "
CommandLineShellArg=" amd64 "
CompilerDefineFormatter="--compiler-options=/D%s"
LinkerLibrarySwitchFormatter="lib%s.lib;%s.lib"
LinkerPathFormatter="/LIBPATH:%s"
LibrarySearchPath="$$LIB;$$LIBPATH;$$PATH;$$INCLUDE;$MATLABROOT\extern\lib\$ARCH\microsoft"
/>
<!-- Switch guide: http://msdn.microsoft.com/en-us/library/fwkeyyhe(v=vs.71).aspx -->
<vars
CMDLINE100="$COMPILER -c $COMPFLAGS $OPTIM $COMPDEFINES $INCLUDE $SRC -o $OBJ"
CMDLINE200="$LINKER $LINKFLAGS $LINKTYPE $LINKOPTIM $LINKEXPORT $LINKLIBS $OBJS /out:$EXE"
CMDLINE250="mt -outputresource:$EXE;2 -manifest $MANIFEST"
CMDLINE300="del $OBJ $EXP $LIB $MANIFEST $ILK"
COMPILER="nvcc"
COMPFLAGS="-gencode=arch=compute_20,code=sm_20 -gencode=arch=compute_30,code=sm_30 -gencode=arch=compute_50,code=\"sm_50,compute_50\" --compiler-options=/c,/GR,/W3,/EHs,/nologo,/MD"
COMPDEFINES="--compiler-options=/D_CRT_SECURE_NO_DEPRECATE,/D_SCL_SECURE_NO_DEPRECATE,/D_SECURE_SCL=0,$MATLABMEX"
MATLABMEX="/DMATLAB_MEX_FILE"
OPTIMFLAGS="--compiler-options=/O2,/Oy-,/DNDEBUG"
INCLUDE="-I"$MATLABROOT\extern\include" -I"$MATLABROOT\simulink\include""
DEBUGFLAGS="--compiler-options=/Z7"
LINKER="link"
LINKFLAGS="/nologo /manifest"
LINKTYPE="/DLL "
LINKEXPORT="/EXPORT:mexFunction"
LINKLIBS="/LIBPATH:"$MATLABROOT\extern\lib\$ARCH\microsoft" libmx.lib libmex.lib libmat.lib gpu.lib cudart.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib advapi32.lib shell32.lib ole32.lib oleaut32.lib uuid.lib odbc32.lib odbccp32.lib"
LINKDEBUGFLAGS="/debug /PDB:"$TEMPNAME$LDEXT.pdb""
LINKOPTIMFLAGS=""
OBJEXT=".obj"
LDEXT=".mexw64"
SETENV="set COMPILER=$COMPILER
set COMPFLAGS=$COMPFLAGS $COMPDEFINES
set OPTIMFLAGS=$OPTIMFLAGS
set DEBUGFLAGS=$DEBUGFLAGS
set LINKER=$LINKER
set LINKFLAGS=$LINKFLAGS /export:%ENTRYPOINT% $LINKTYPE $LINKLIBS $LINKEXPORT
set LINKDEBUGFLAGS=/debug /PDB:"%OUTDIR%%MEX_NAME%$LDEXT.pdb"
set NAME_OUTPUT=/out:"%OUTDIR%%MEX_NAME%%MEX_EXT%""
/>
<locationFinder>
<VSROOT>
<and>
<envVarExists name="VS120COMNTOOLS" />
<fileExists name="$$\..\..\VC\bin\amd64\cl.exe" />
<dirExists name="$$\..\..\.." />
</and>
</VSROOT>
<SDKROOT>
<or>
<hklmExists path="SOFTWARE\Microsoft\Microsoft SDKs\Windows\v7.1A" name="InstallationFolder" />
<hkcuExists path="SOFTWARE\Microsoft\Microsoft SDKs\Windows\v7.1A" name="InstallationFolder" />
</or>
</SDKROOT>
<PROF_ENV>
<and>
<envVarExists name="VS120COMNTOOLS" />
<fileExists name="$$\..\IDE\devenv.exe" />
<not>
<fileExists name="$$\..\IDE\VCExpress.exe" />
</not>
</and>
</PROF_ENV>
<VCVARSALLDIR>
<and>
<envVarExists name="VS120COMNTOOLS" />
<fileExists name="$$\..\..\VC\vcvarsall.bat" />
<dirExists name="$$"/>
</and>
</VCVARSALLDIR>
<CUDA_LIB_PATH>
<or>
<and>
<envVarExists name="CUDA_LIB_PATH"/>
<fileExists name="$$\cudart.lib" />
<dirExists name="$$" />
</and>
<and>
<envVarExists name="CUDA_PATH"/>
<fileExists name="$$\lib\x64\cudart.lib" />
<dirExists name="$$" />
</and>
</or>
</CUDA_LIB_PATH>
<CUDA_BIN_PATH>
<or>
<and>
<envVarExists name="CUDA_BIN_PATH"/>
<fileExists name="$$\nvcc.exe" />
<dirExists name="$$" />
</and>
<and>
<envVarExists name="CUDA_PATH"/>
<fileExists name="$$\bin\nvcc.exe" />
<dirExists name="$$" />
</and>
<and>
<envVarExists name="MW_NVCC_PATH"/>
<fileExists name="$$\nvcc.exe" />
<dirExists name="$$" />
</and>
<and>
<fileExists name="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v7.5\bin\nvcc.exe" />
<dirExists name="$$" />
</and>
</or>
</CUDA_BIN_PATH>
</locationFinder>
<env
PATH="$CUDA_BIN_PATH;$VSROOT\VC\Bin\amd64;$VSROOT\VC\Bin\VCPackages;$VSROOT\Common7\IDE;$VSROOT\Common7\Tools;$VSROOT\Common7\Tools\bin;$SDKROOT\Bin\x64;$SDKROOT\Bin\win64\x64;$SDKROOT\Bin;$PATH"
INCLUDE="$VSROOT\VC\ATLMFC\INCLUDE;$VSROOT\VC\INCLUDE;$SDKROOT\include;$MATLABROOT\extern\include;$MATLABROOT\toolbox\distcomp\gpu\extern\include"
LIB="$VSROOT\VC\ATLMFC\LIB\amd64;$VSROOT\VC\Lib\amd64;$SDKROOT\Lib\X64;$MATLABROOT\lib\$ARCH;$CUDA_LIB_PATH;C:\Program Files (x86)\Microsoft SDKs\Windows\v7.1A\Lib\x64"
LIBPATH="$VSROOT\VC\Lib\amd64;"
/>
</config>
- 具體修改方式:
- (1)VS環境變量: VS100COMNTOOLS=>VS120COMNTOOLS (141是VS2017,140是VS2015,120是VS2013,110是VS2012,100是VS2010)
- (2)兩個註冊表值: “SOFTWARE\Microsoft\Microsoft SDKs\Windows\v6.0A” => “…\Windows\v7.1A”;如果用與本文不同的VS版本,請用註冊表編輯器展開相應的註冊表路徑查看正確的版本號。
- (3)兩個變量值:最後的LIB和LIBPATH直接更改爲上面文件中的值。
(4)CUDA版本號:將所有7.5修改爲你的CUDA版本號,如8.0,6.5,6.0。
(5)CUDA計算能力兼容性:CUDA 8.0以上的nvcc編譯器需要刪掉-gencode=arch=compute_20,code=sm_20
;另外,GTX 980Ti可以添加-gencode=arch=compute_52,code=sm_52
,GTX 1080Ti可以添加-gencode=arch=compute_61,code=sm_61
以獲得更好的性能。具體需要自己查詢你的顯卡計算能力兼容性(CUDA Compute Compability)。
以上的第三點修改很重要,如果不修改,編譯時會出現如下錯誤:
錯誤使用 mex
nvcc fatal : Could not set up the environment for Microsoft Visual Studio using 'D:/Program Files (x86)/Microsoft Visual Studio
12.0/VC/Bin/amd64/../../../VC/bin/amd64/vcvars64.bat'
如果你編譯的時候還有錯,注意具體問題具體分析了,一般是版本號的問題。
運行成功後的結果如下:
>> testMexCuda
>> y
y =
2 2 2 2
2 2 2 2
2 2 2 2
2 2 2 2
3.總結
- 用mex調用CUDA是Matlab利用CUDA最簡單的方式。在探索過程中,本人也看到了網上所說的用VS生成lib或dll的方法,經試驗沒有一個是成功的。自己做lib依賴項很難控制,mex的時候還是會產生一大堆LNK2001錯誤。
- mex調用CUDA的關鍵在於配置文件mex_CUDA_win64.xml。每次用mex編譯時將修改好的xml文件放在當前目錄下,那麼編譯.cu文件與編譯.cpp文件操作完全相同。還有一種方法,將修改好的mex_CUDA_win64.xml複製到D:\Program Files\MATLAB\R2014b\bin\win64\mexopts,這樣一勞永逸,每次mex編譯時不必再將xml文件帶着了。
- 解決了編譯問題,剩下的就是如何利用好CUDA加速你的程序了。