Mac 下編譯 Kaldi Android (arm) .so 庫

話說之前公司裏面一直用到的是 PocketSphinx , 但是在新的項目中有一個應用的場景,這時候發現噪聲影響以及識別的精確度方面都不是很理想。於是在 Telegram Channel 裏面諮詢了下,@nshmyrev 回覆建議可以利用 Kaldi DNN 模型,應該會有顯著提升。於是考慮轉向研究 Kaldi

首先碰到的一個問題是跨平臺編譯。網上搜索後發現,被引用最多的一篇文章(下文簡稱“編譯指南”)是 compile-kaldi-android,但它是基於 Ubuntu 環境來編譯的,也看到了編譯 Kaldi 可用的 docker file。但是在Mac環境下又可以怎樣成功編譯呢?讓我們分解來看:

1. 配置Android NDK 以及 獨立的編譯 toolchain

這部分和編譯指南中的大體一致,對不同的平臺,沒有NDK的需要相應的下載,並且配置ANDROID_NDK 路徑。

安裝 toolchain :

 

$ANDROID_NDK/build/tools/make_standalone_toolchain.py --arch arm --api 21 --stl=libc++ --install-dir /tmp/my-android-toolchain

以上命令創建 /tmp/my-android-toolchain/ 文件目錄,並且已經包含了 android-21/arch-arm sysroot,以及32位 ARM 架構的工具鏈可執行文件等。

將 toolchain 加入到系統 PATH中:

 

export ANDROID_TOOLCHAIN_PATH=/tmp/my-android-toolchain
export PATH=${ANDROID_TOOLCHAIN_PATH}/bin:$PATH

2. 編譯 Android 版本的 OpenBLAS

注:考慮到 gfortran 已經是GCC的一部分了,可以選擇性安裝 gfortran。

下載源碼:

 

git clone https://github.com/xianyi/OpenBLAS

選擇 ARMV7 進行編譯:

 

make \
    TARGET=ARMV7 \
    ONLY_CBLAS=1 \
    CC=$ANDROID_TOOLCHAIN_PATH/bin/arm-linux-androideabi-clang \
    AR=$ANDROID_TOOLCHAIN_PATH/bin/arm-linux-androideabi-ar \
    HOSTCC=gcc \
    ARM_SOFTFP_ABI=1 \
    -j4

此處與編譯指南中有所不同,如果按它上面的操作,會報出 找不到"crtbegin_so"之類的錯誤。

安裝庫文件

 

make install NO_SHARED=1 PREFIX=`pwd`/install

3. 編譯 CLAPACK

 

git clone https://github.com/simonlynen/android_libs.git

cd android_libs/lapack

打開 jni/Android.mk, 註釋掉測試相關的編譯指令

 

# remove some compile instructions related to tests

# LOCAL_MODULE:= testlapack
# LOCAL_SRC_FILES:= testclapack.cpp
# LOCAL_STATIC_LIBRARIES := lapack
# include $(BUILD_SHARED_LIBRARY)

打開 jni/Application.mk

APP_STL := gnustl_static 替換爲 APP_STL := c++_shared
APP_ABI := armeabi armeabi-v7a 替換爲 APP_ABI := armeabi-v7a。armeabi 已經不再支持了。
文件最後增加 NDK_TOOLCHAIN_VERSION := clang

編譯

 

$ANDROID_NDK/ndk-build

編譯完成後會在 obj/local/armeabi-v7a/生成庫文件。將生成的庫文件拷貝到前面你安裝OpenBLAS庫文件的目錄下(e.g: OpenBlas/install/lib)。Kaldi 將會在這個目錄下查找相關的依賴項。

4. 編譯 Kaldi

下載源碼

 

git clone https://github.com/kaldi-asr/kaldi.git

編譯 OpenFST
查看當前的kaldi tools/Makefile 後發現使用的版本是OpenFST-1.6.7。

 

cd kaldi/tools
wget -T 10 -t 1 http://www.openfst.org/twiki/pub/FST/FstDownload/openfst-1.6.7.tar.gz
tar -zxvf openfst-1.6.7.tar.gz

cd openfst-1.6.7/

CXX=clang++ ./configure --prefix=`pwd` --enable-static --enable-shared --enable-far --enable-ngram-fsts --host=arm-linux-androideabi LIBS="-ldl"

make -j 4

make install

cd ..

ln -s openfst-1.6.5 openfst

編譯源碼

 

cd ../src

打開 matrix/Makefile 文件,將其中的測試文件註釋掉(似乎與Clang8.0有關的bug)。

 

#TESTFILES = matrix-lib-test sparse-matrix-test #matrix-lib-speed-tes

 

CXX=clang++ ./configure --static --android-incdir=/tmp/my-android-toolchain/sysroot/usr/include/ --host=arm-linux-androideabi --openblas-root=/path/to/OpenBLAS/install

make clean -j

make depend -j

make -j 4

按上述配置已經可以生成所有的靜態鏈接庫 .a 文件了,它們分別位於 src 下的各個子目錄中:

 

.//tree/kaldi-tree.a
.//gmm/kaldi-gmm.a
.//online2/kaldi-online2.a
.//util/kaldi-util.a
.//feat/kaldi-feat.a
.//lm/kaldi-lm.a
.//sgmm2/kaldi-sgmm2.a
.//rnnlm/kaldi-rnnlm.a
.//nnet/kaldi-nnet.a
.//decoder/kaldi-decoder.a
.//nnet2/kaldi-nnet2.a
.//chain/kaldi-chain.a
.//nnet3/kaldi-nnet3.a
.//cudamatrix/kaldi-cudamatrix.a
.//ivector/kaldi-ivector.a
.//kws/kaldi-kws.a
.//hmm/kaldi-hmm.a
.//lat/kaldi-lat.a
.//fstext/kaldi-fstext.a
.//transform/kaldi-transform.a
.//matrix/kaldi-matrix.a
.//base/kaldi-base.a

等等,說好的.so文件在哪呢 ?

P.S.

  • 打開 kaldi/src/configure 文件,將

 

--android-incdir=*)
    android=true;
    threaded_math=false;
    static_math=true;
    static_fst=true;
    dynamic_kaldi=false;
    MATHLIB='OPENBLAS';

其中的 dynamic_kaldi=false 改爲 dynamic_kaldi=true

  • 更新 configure,指明庫類型爲 --shared:

 

CXX=clang++ ./configure --shared --android-incdir=/tmp/my-android-toolchain/sysroot/usr/include/ --host=arm-linux-androideabi --openblas-root=/path/to/OpenBLAS/install
  • 編譯kaldi過程中除去 debugging symbols, 打開 src/kaldi.mk 修改其中的CXXFLAGS 爲:

 

CXXFLAGS = -std=c++11 -I.. -I$(OPENFSTINC) -O1 $(EXTRA_CXXFLAGS) \
           -Wall -Wno-sign-compare -Wno-unused-local-typedefs \
           -Wno-deprecated-declarations -Winit-self -Wno-mismatched-tags \
           -DKALDI_DOUBLEPRECISION=$(DOUBLE_PRECISION) \
           -DHAVE_CXXABI_H -DHAVE_OPENBLAS -DANDROID_BUILD \
           -I$(OPENBLASINC) -I$(ANDROIDINC) -ftree-vectorize -mfloat-abi=softfp \
           -mfpu=neon -pthread \
           -O3 -DNDEBUG
        #    -g # -O0 -DKALDI_PARANOID
  • (已提交PR,最新源碼已修復) 打開 src/makefiles/default_rules.mk,將第4行起按平臺類型進行配置的部分替換爲:

 

ifeq ($(KALDI_FLAVOR), dynamic)
  ifdef LIBNAME
      LIBFILE = lib$(LIBNAME).so
  endif
  LDFLAGS += -Wl,-rpath -Wl,$(KALDILIBDIR)
  EXTRA_LDLIBS += $(foreach dep,$(ADDLIBS), $(dir $(dep))$(notdir $(basename $(dep))).a)

  XDEPENDS =
else
  ifdef LIBNAME
    LIBFILE = $(LIBNAME).a
  endif
  XDEPENDS = $(ADDLIBS)
endif

具體原因在於,src下各個部分編譯動態鏈接庫時需要區分不同的平臺類型,而 Makefile 中直接根據 shell 環境下 uname 返回的值來判定的。而這在跨平臺編譯時是不夠充分的,此時的 host=arm-linux-androideabi不能以Mac下的動態鏈接庫的條件直接判定,否則會出現動態鏈接庫不匹配的問題 :

 

clang80++: error: linker command failed with exit code 1 (use -v to see invocation)
make[1]: *** [libkaldi-matrix.dylib] Error 1
  • 重新編譯即可,生成的so文件可在 src/lib/下找到。

 

make -j clean depend; make -j 4

5. 後記

這次解決跨平臺的編譯問題將近花了4天的時間,故記錄整個過程,希望對後來嘗試編譯的人有所啓示。在這期間非常感謝 compile-kaldi-android的指引, @funcwj 在微信上的交流, google group kaldi-help論壇上面大家的熱心回覆。

6. 引用


 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章