kaldi中sge集羣的使用

kaldi訓練的並行化需要配置cmd.sh
如果是local machine,只需要設置

export train_cmd=”utils/run.pl”
export decode_cmd=”utils/run.pl”
export mkgraph_cmd=”utils/run.pl”
export cuda_cmd=”utils/run.pl”

如果使用sge集羣,則需要制定所使用的sge集羣的queue。如:

export train_cmd=”queue.pl -q $queue”

使用qconf -sql 可以查看當前sge所包含的queue

qconf -sql:
all.q(一般all.q 會包含所有的主機)
c.q
gpu.q

若使用all.q,cmd 可設置爲export train_cmd=”queue.pl -q all.q”.

如果想在當前的sge中再新建一個queue,包含若干主機。可使用以下的命令進行相關的操作:

qconf -aq [ 隊列名]
添加隊列, 此命令啓動一個編輯器,其中顯示隊列配置模板。如果提供可選參數隊列名,則此隊列的配置將用作模板。可通過更改模板並將其保存至磁盤來配置隊列。
qconf -Aq 文件名
添加隊列,用文件文件名來定義一個隊列。
qconf -cq 隊列名[,…]
清除隊列?? 清除指定隊列的狀態,使之閒置,停止運行作業。狀態復位,且不考慮當前狀態。該選項對於排除錯誤情形很有用,但不宜在常規操作模式下使用。
配置隊列
qconf -dq 隊列名[,…]
刪除隊列, 從可用隊列列表中刪除自變量列表中指定的隊列。
qconf -mq 隊列名
修改隊列, 修改指定的隊列。啓動一個編輯器環境變量對應的編輯器),其中顯示欲更改的隊列的配置。
qconf -Mq 文件名
修改隊列, 用文件文件名來定義已修改的隊列配置。
qconf -sq [ 隊列名[,…]]
顯示隊列, 顯示缺省模板隊列配置(若不帶自變量)或以逗號分隔的自變量列表中所列隊列的當前配置。

安裝SGE的參考:
http://www.softpanorama.org/HPC/Grid_engine/Installation/installation_of_execution_host.shtml

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章