FME Server工程任務運維方案部署

 

衆所周知,FME Server中工程任務的運行可以通過B/S端運行,也可以通過接口服務的方式被其他應用所調用。在實際應用中,通過B/S端運行工程任務,可以直接查看到相關的日誌信息。但通過接口服務的方式調用,無法實時查看到相關的日誌信息,從而無法“快速”“精準”的從日誌中發現問題,不利於運維工作的開展。同時,對於管理單位而言,無法及時查看工程任務的使用情況。本文介紹如何在FME Server中部署工程任務運維方案,提升運維效率的同時爲用戶提供相應的統計數據。

首先,不管是通過FME Server的B/S端運行工程任務還是通過第三方應用調用接口服務方式運行工程任務,最終FME Server中的工程任務執行完成後都將在JOBS/COMPLETED選項卡下,在這裏,只要沒有被刪除的任務,你都可以在這裏找到。

       在JOBS/COMPLETED選項卡下的任務列表中,記錄着任務ID、工程名稱、任務狀態(成功/失敗)、任務時間等信息。單擊一個任務後即可進入任務詳情信息,包含參數信息、日誌信息。那麼如何快速的將JOBS/COMPLETED選項卡下的任務列表進行彙總統計分析呢?

REST API服務

       FME Server REST API服務中提供了相應的服務。地址:http://<ip:port>/fmerest/apidoc/v3/,ip爲FME Server的IP地址,port爲FME Server的IP端口。如http://172.0.0.1:8008/fmerest/apidoc/v3/

通過API選項卡下的transformations 項目,可以找到獲取JOBS/COMPLETED任務列表的接口。具體爲:/transformations/jobs/completed      Retrieve all completed jobs

頁面中提供了接口參數的詳細信息,我們可以通過該接口信息在FME中製作模板來調用。

令牌的獲取

在調用REST API服務的時候,需要提供有效的令牌,否則無法正常調用。我們可以通過FME Server中獲取令牌,具體如下:

登陸FMEServer中,在頁面右上方個人中心中選擇“Manage Tokens”,新建一個Token,並填寫token信息,如名稱、描述、期限、權限等。

REST API服務調用

我們可以通過FME Desktop來調用以上接口信息獲取任務列表信息,在FME Workbench中可使用HTTPCaller 轉換器來進行接口的調用,如下圖:

在轉換器中“Request URL”填寫接口地址,如:http://<ip>:<port>/fmerest/v3/transformations/jobs/completed根據提供的接口參數進行設置,其中主要有以下參數:

參數名稱

參數示例

說明

completedState

空或Failed或success

如果指定,則僅返回指定完成狀態的作業,否則返回所有完成的作業。如果爲“成功”,則返回狀態爲“成功”的作業。如果爲“失敗”,則返回狀態爲“已暫停”,“ FME_FAILURE”或“ JOB_FAILURE”的作業

limit

默認爲“-1”

指定要返回的最大結果數,這對於迭代結果分頁很有用。如果指定,還必須指定“偏移”

offset

默認爲“-1”

指定開始結果的偏移量,這對於迭代結果分頁很有用。如果指定,則還必須指定“限制”

repository

TEST

如果指定,則僅返回指定在repository值TEST目錄下的工程文件。

workspace

CAD_CHECK.fmw

指定工作空間,如果與存儲庫repository一起指定,則僅返回指定存儲庫和工作空間中的任務

將上表中的參數在HTTPCaller轉換器中的Query String Parameters中進行設置,如下:

將token信息作爲HTTPCaller轉換器中的Headers進行設置,具體如下圖:

解析結果

在調用了接口後,將返回結果存儲在指定屬性項中(本文以“_response_body”爲例),如下:

返回的結果通常爲json格式,可通過JSONFlattener等轉換器提取數據中有效內容。

可以通過FMEServerLogFileRetriever轉換器提取對應JobID對應的詳細日誌信息。

數據存儲

數據提取完成後存儲到指定格式中,如csv等。

自動化運行

將製作好的工程文件上傳到FME Server中,並在FME Server中進行自動化運行設置,確保運維工程文件定期執行。

關於在FME Server中進行自動化運行的相關資料請參考博客“次世代:FME Server 2019中的企業級自動化”博客地址:https://blog.csdn.net/fmechina/article/details/88059605

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章