話說之前公司裏面一直用到的是 PocketSphinx , 但是在新的項目中有一個應用的場景,這時候發現噪聲影響以及識別的精確度方面都不是很理想。於是在 Telegram Channel 裏面諮詢了下,@nshmyrev 回覆建議可以利用 Kaldi DNN 模型,應該會有顯著提升。於是考慮轉向研究 Kaldi。
首先碰到的一個問題是跨平臺編譯。網上搜索後發現,被引用最多的一篇文章(下文簡稱“編譯指南”)是 compile-kaldi-android,但它是基於 Ubuntu 環境來編譯的,也看到了編譯 Kaldi 可用的 docker file。但是在Mac環境下又可以怎樣成功編譯呢?讓我們分解來看:
1. 配置Android NDK 以及 獨立的編譯 toolchain
這部分和編譯指南中的大體一致,對不同的平臺,沒有NDK的需要相應的下載,並且配置ANDROID_NDK 路徑。
安裝 toolchain :
$ANDROID_NDK/build/tools/make_standalone_toolchain.py --arch arm --api 21 --stl=libc++ --install-dir /tmp/my-android-toolchain
以上命令創建 /tmp/my-android-toolchain/
文件目錄,並且已經包含了 android-21/arch-arm sysroot,以及32位 ARM 架構的工具鏈可執行文件等。
將 toolchain 加入到系統 PATH中:
export ANDROID_TOOLCHAIN_PATH=/tmp/my-android-toolchain
export PATH=${ANDROID_TOOLCHAIN_PATH}/bin:$PATH
2. 編譯 Android 版本的 OpenBLAS
注:考慮到 gfortran 已經是GCC的一部分了,可以選擇性安裝 gfortran。
下載源碼:
git clone https://github.com/xianyi/OpenBLAS
選擇 ARMV7 進行編譯:
make \
TARGET=ARMV7 \
ONLY_CBLAS=1 \
CC=$ANDROID_TOOLCHAIN_PATH/bin/arm-linux-androideabi-clang \
AR=$ANDROID_TOOLCHAIN_PATH/bin/arm-linux-androideabi-ar \
HOSTCC=gcc \
ARM_SOFTFP_ABI=1 \
-j4
此處與編譯指南中有所不同,如果按它上面的操作,會報出 找不到"crtbegin_so"之類的錯誤。
安裝庫文件
make install NO_SHARED=1 PREFIX=`pwd`/install
3. 編譯 CLAPACK
git clone https://github.com/simonlynen/android_libs.git
cd android_libs/lapack
打開 jni/Android.mk, 註釋掉測試相關的編譯指令
# remove some compile instructions related to tests
# LOCAL_MODULE:= testlapack
# LOCAL_SRC_FILES:= testclapack.cpp
# LOCAL_STATIC_LIBRARIES := lapack
# include $(BUILD_SHARED_LIBRARY)
打開 jni/Application.mk
將 APP_STL := gnustl_static
替換爲 APP_STL := c++_shared
將 APP_ABI := armeabi armeabi-v7a
替換爲 APP_ABI := armeabi-v7a
。armeabi 已經不再支持了。
文件最後增加 NDK_TOOLCHAIN_VERSION := clang
編譯
$ANDROID_NDK/ndk-build
編譯完成後會在 obj/local/armeabi-v7a/
生成庫文件。將生成的庫文件拷貝到前面你安裝OpenBLAS庫文件的目錄下(e.g: OpenBlas/install/lib)。Kaldi 將會在這個目錄下查找相關的依賴項。
4. 編譯 Kaldi
下載源碼
git clone https://github.com/kaldi-asr/kaldi.git
編譯 OpenFST
查看當前的kaldi tools/Makefile
後發現使用的版本是OpenFST-1.6.7。
cd kaldi/tools
wget -T 10 -t 1 http://www.openfst.org/twiki/pub/FST/FstDownload/openfst-1.6.7.tar.gz
tar -zxvf openfst-1.6.7.tar.gz
cd openfst-1.6.7/
CXX=clang++ ./configure --prefix=`pwd` --enable-static --enable-shared --enable-far --enable-ngram-fsts --host=arm-linux-androideabi LIBS="-ldl"
make -j 4
make install
cd ..
ln -s openfst-1.6.5 openfst
編譯源碼
cd ../src
打開 matrix/Makefile
文件,將其中的測試文件註釋掉(似乎與Clang8.0有關的bug)。
#TESTFILES = matrix-lib-test sparse-matrix-test #matrix-lib-speed-tes
CXX=clang++ ./configure --static --android-incdir=/tmp/my-android-toolchain/sysroot/usr/include/ --host=arm-linux-androideabi --openblas-root=/path/to/OpenBLAS/install
make clean -j
make depend -j
make -j 4
按上述配置已經可以生成所有的靜態鏈接庫 .a 文件了,它們分別位於 src 下的各個子目錄中:
.//tree/kaldi-tree.a
.//gmm/kaldi-gmm.a
.//online2/kaldi-online2.a
.//util/kaldi-util.a
.//feat/kaldi-feat.a
.//lm/kaldi-lm.a
.//sgmm2/kaldi-sgmm2.a
.//rnnlm/kaldi-rnnlm.a
.//nnet/kaldi-nnet.a
.//decoder/kaldi-decoder.a
.//nnet2/kaldi-nnet2.a
.//chain/kaldi-chain.a
.//nnet3/kaldi-nnet3.a
.//cudamatrix/kaldi-cudamatrix.a
.//ivector/kaldi-ivector.a
.//kws/kaldi-kws.a
.//hmm/kaldi-hmm.a
.//lat/kaldi-lat.a
.//fstext/kaldi-fstext.a
.//transform/kaldi-transform.a
.//matrix/kaldi-matrix.a
.//base/kaldi-base.a
等等,說好的.so
文件在哪呢 ?
P.S.
- 打開 kaldi/src/configure 文件,將
--android-incdir=*)
android=true;
threaded_math=false;
static_math=true;
static_fst=true;
dynamic_kaldi=false;
MATHLIB='OPENBLAS';
其中的 dynamic_kaldi=false
改爲 dynamic_kaldi=true
。
- 更新 configure,指明庫類型爲
--shared
:
CXX=clang++ ./configure --shared --android-incdir=/tmp/my-android-toolchain/sysroot/usr/include/ --host=arm-linux-androideabi --openblas-root=/path/to/OpenBLAS/install
- 編譯kaldi過程中除去 debugging symbols, 打開
src/kaldi.mk
修改其中的CXXFLAGS
爲:
CXXFLAGS = -std=c++11 -I.. -I$(OPENFSTINC) -O1 $(EXTRA_CXXFLAGS) \
-Wall -Wno-sign-compare -Wno-unused-local-typedefs \
-Wno-deprecated-declarations -Winit-self -Wno-mismatched-tags \
-DKALDI_DOUBLEPRECISION=$(DOUBLE_PRECISION) \
-DHAVE_CXXABI_H -DHAVE_OPENBLAS -DANDROID_BUILD \
-I$(OPENBLASINC) -I$(ANDROIDINC) -ftree-vectorize -mfloat-abi=softfp \
-mfpu=neon -pthread \
-O3 -DNDEBUG
# -g # -O0 -DKALDI_PARANOID
- (已提交PR,最新源碼已修復) 打開
src/makefiles/default_rules.mk
,將第4行起按平臺類型進行配置的部分替換爲:
ifeq ($(KALDI_FLAVOR), dynamic)
ifdef LIBNAME
LIBFILE = lib$(LIBNAME).so
endif
LDFLAGS += -Wl,-rpath -Wl,$(KALDILIBDIR)
EXTRA_LDLIBS += $(foreach dep,$(ADDLIBS), $(dir $(dep))$(notdir $(basename $(dep))).a)
XDEPENDS =
else
ifdef LIBNAME
LIBFILE = $(LIBNAME).a
endif
XDEPENDS = $(ADDLIBS)
endif
具體原因在於,src下各個部分編譯動態鏈接庫時需要區分不同的平臺類型,而 Makefile 中直接根據 shell 環境下 uname
返回的值來判定的。而這在跨平臺編譯時是不夠充分的,此時的 host=arm-linux-androideabi
,不能以Mac下的動態鏈接庫的條件直接判定,否則會出現動態鏈接庫不匹配的問題 :
clang80++: error: linker command failed with exit code 1 (use -v to see invocation)
make[1]: *** [libkaldi-matrix.dylib] Error 1
- 重新編譯即可,生成的so文件可在
src/lib/
下找到。
make -j clean depend; make -j 4
5. 後記
這次解決跨平臺的編譯問題將近花了4天的時間,故記錄整個過程,希望對後來嘗試編譯的人有所啓示。在這期間非常感謝 compile-kaldi-android的指引, @funcwj 在微信上的交流, google group kaldi-help
論壇上面大家的熱心回覆。
6. 引用
- compile-kaldi-android
- Doesn't compile on mac os x 64 bit
- dynamic_kaldi
- Compile OpenBLAS
- compile-kaldi.sh - Error: FAILED matrix-lib-test