高通量計算框架HTCondor(二)——環境配置

1. 概述

HTCondor是開源跨平臺的分佈式計算框架,在其官網上直接提供了源代碼和Windows、Linux以及MacOS的安裝包。因爲平臺限制的原因,在Windows下的功能是有所限制的,但其使用也是最直觀方便的。爲了更加便於瞭解使用情況,這裏我還是採用Windows,建議後期有更多的需求或者基礎足夠好,可以直接上Linux。

2. 安裝

在HTCondor官網上下載Windows安裝包,直接打開運行:

HTCondor安裝步驟

點擊"Next",顯示用戶協議界面:

HTCondor安裝步驟

勾選"I accept terms in the License Agreement",點擊"Next",進入“創建/加入HTCondor Pool”界面:

HTCondor安裝步驟

對於一組HTCondor Pool,只能有一箇中央管理主機(Central Manager),一般要在這個管理中心主機上創建HTCondor Pool,這個機器是集羣/網絡內計算資源的集中信息庫,所有的任務調度工作都會與這臺主機相關聯,所以中央管理主機應該選擇比較穩定的機器。如上圖所示,在中央管理主機上創建HTCondor Pool,並將其命名爲“HTC_Host”。

但是對於想要連接到HTCondor Pool機器,應該勾選“Join an existing HTCondor Pool”,在"Hostname of Central Manager"中填入中央管理主機的IP地址。

點擊"Next",進入“配置執行和提交表現”頁面:

HTCondor安裝步驟

這個頁面主要用來配置是否允許該機器提交任務,以及採取何種方式提交任務。勾選"Submit jobs to HTCondor Pool"表示允許該機器提交任務,勾選"Always run jobs and never suspend them"表示隨時可以運行任務,並且該機器的任何主動操作都不會打斷它。當然也可以根據實際情況選擇其他的任務策略。

接下來三個配置頁,因爲暫時沒有用到,都可以保持默認:

HTCondor安裝步驟
HTCondor安裝步驟
HTCondor安裝步驟

之後是“主機權限設置”頁面,理論上這個配置項也可以保持默認即可。但之前入坑過一個問題,在連接一臺XP系統的分機時,主機的寫權限的默認設置會造成無法連入的問題。但那個問題已經挺古老了,新的版本也沒有具體去求證,我這裏把主機的寫權限直接設置爲所有,應該可以覆蓋之前的設置,可以保證正常使用:

HTCondor安裝步驟

點擊"Next",保持默認設置:

HTCondor安裝步驟

最後是設置HTCondor的安裝目錄,這個目錄是任務程序的運行環境,可以設置成你認爲合適的目錄。由於任務運行是可能會附帶傳送過來的數據,注意安裝目錄的磁盤要留下足夠的空間。

HTCondor安裝步驟

接下來點擊"Install",等待程序自動安裝:

HTCondor安裝步驟

安裝完成後,點擊"Finish"並重啓,HTCondor的環境就搭建完成了。

HTCondor安裝步驟

3. 結果

分別在兩臺機器上安裝HTCondor環境,一臺作爲HTCondor Pool的中央管理主機,一臺作爲普通任務機。分別在兩臺機器的CMD上運行condor_status命令,可以看到如下所示的結果:

HTCondor安裝步驟

這裏面連入了兩臺機器,DESKTOP-OVH是一臺12核的主機,charlee-PC是一臺4核主機,它們都是形如slot@name的名稱。

在集羣/網絡所有的機器上都能互相看到計算機資源,就說明HTCondor的環境搭建是正確的。

4. 相關

上一篇
目錄
下一篇

發佈了73 篇原創文章 · 獲贊 10 · 訪問量 3萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章