Ubuntu上Kaldi跑librispeech數據集步驟

Kaldi跑librispeech步驟

步驟分爲數據準備跟訓練模型。

kaldi環境默認是安裝好的,這裏不詳細說明kaldi的安裝步驟。
這裏的實驗是在Ubuntu16.04上跑的。

一、數據準備

數據準備分爲兩種:手動下載跟腳本下載。

1.手動下載
1.1下載訓練數據:

從http://www.openslr.org/12/網址下載librispeech數據
下載train-clean-100.tar.gz、train-clean-360.tar.gz、train-other-500.tar.gz 、test-clean.tar.gz、test-other.tar.gz 、dev-clean.tar.gz、dev-other.tar.gz
放置磁盤目錄下(如/data/aiwork/librispeech/data)。

1.2.下載語言模型:

從http://www.openslr.org/11/網址下載language models, vocabulary and G2P models
下載3-gram.arpa.gz、3-gram.pruned.1e-7.arpa.gz 、
3-gram.pruned.3e-7.arpa.gz 、4-gram.arpa.gz、g2p-model-5、librispeech-vocab.txt 、librispeech-lexicon.txt、librispeech-lm-corpus.tgz

在kaldi/egs/librispeech/s5/data目錄下,新建data/local/lm/目錄
將下載的語言模型複製到
kaldi/egs/librispeech/s5/data/local/lm/目錄下
lm目錄下執行命令
ln -sf 3-gram.pruned.1e-7.arpa.gz lm_tgmed.arpa.gz
ln -sf 3-gram.pruned.3e-7.arpa.gz lm_tgsmall.arpa.gz
ln -sf 3-gram.arpa.gz lm_tglarge.arpa.gz
ln -sf 4-gram.arpa.gz lm_fglarge.arpa.gz
至此,數據準備完成。

2.腳本執行下載數據
訓練模型run.sh腳本會包含下載數據跟語言模型(這裏無需單獨執行處理)。

二.訓練模型

2.1修改run.sh文件

手動下載數據:
切換到kaldi/egs/librispeech/s5下打開run.sh文件。
將data=/export/a15/vpanayotov/data修改爲librispeech存放數據的路徑(如/data/aiwork/librispeech/data).
stage=1 修改爲stage=2 ,表示執行本地的下載好的數據。
腳本執行下載數據:
無需修改。

2.2修改cmd.sh文件

單個一臺服務器kaldi訓練
切換到kaldi/egs/librispeech/s5/cmd.sh
將以下配置
export train_cmd=“queue.pl --mem 2G”
export decode_cmd=“queue.pl --mem 4G”
export mkgraph_cmd=“queue.pl --mem 8G”
修改爲
export train_cmd=run.pl.
export decode_cmd=run.pl
export mkgraph_cmd=run.pl
2.3 執行run.sh訓練模型
執行sudo apt-get install flac 安裝flac。

注意:根據GPU實際情況修改,若只有一個GPU都設爲1。
kaldi/egs/librispeech/s5/local/chain/run_tdnn.sh腳本配置。

–trainer.optimization.num-jobs-initial 3
–trainer.optimization.num-jobs-final 16
修改爲
–trainer.optimization.num-jobs-initial 1
–trainer.optimization.num-jobs-final 1

切換到kaldi/egs/librispeech/s5/目錄下
執行sh run.sh訓練模型,等待訓練結果。

跑960個小時的librispeech數據集最好要在好點的GPU上跑,
我原來在自己的電腦檯式機GTX1070 GPU 上跑了將近一個月才跑完,比較坑爹哈,後來在公司的大型GPU上跑2天就跑完了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章