手把手系列:常用數據交換方案之RESTful接口處理 一.整體流程 二.功能設計

隨着技術的發展與互聯網的普及,除了傳統的庫表、文件方式之外,API接口也成爲一種常用的交換方式。於是乎,越來越多的項目存在這樣的接口數據處理需求,而接口形式千差萬別常常需要定製開發,項目進度難以保證。有了億信華辰EsDataExchange數據交換管理平臺你就不怕了,它有一套完整的HTTP組件來處理,既支持自定義輸入參數形式,如:XML、JSON等格式,也支持將返回值按格式解析後落地到目標庫。

下面我們以口行外部數據管理平臺爲例,進行簡單介紹。

一.整體流程

案例整個數據處理流程爲:

1、從小微ftp服務器上獲取請求接口所需要的參數文件(下載文件保存至本地)

2、參數文件爲json格式,需要對其進行解析才能獲取到接口需要的入參

3、使用解析完的輸入參數請求接口,將接口返回數據進行解析

4、將解析結果數據入庫,同時生成對應的文件上傳至小微ftp服務器。

二.功能設計

整個處理流程分爲以下幾個步驟:

1、利用ftp下載組件從小微的ftp服務器上下載參數文件,ftp服務器相關信息可在數據源中進行配置,支持ftp和sftp兩種協議。

配置了ftp服務器信息之後,可以使用ftp下載組件下載ftp服務器上的文件,只需要選擇指定的ftp服務器,設置好源文件(夾)的路徑(ftp服務器)和目標文件夾(本地)即可

2、利用json解析組件解析分析下載的參數文件,並將數據入庫(連接表輸出)

本組件重要的設置爲父級屬性名,這個設置的是否正確會直接關係到後續結果的正確性,可根據示例進行調試理解。字段列表根據json中的屬性名來提取即可

3、有些接口可能需要對數據進行加密處理,需要用加解密組件來完成,本處理流程需要進行加密處理。組件設置較爲簡單,選擇需要加密的字段,設置算法類型和祕鑰,輸出字段列表可以拾取前置組件的字段,將其數據完整帶到後面

4、利用HTTP接口組件進行接口請求,接口相關信息可以在數據源中進行配置

HTTP接口組件支持header設置,參數設置,參數設置支持使用常量,宏和字段三種方式,同時支持無參數名的參數請求方式(此方式限定輸入參數只有一個無參數名的參數),輸出字段列表同時可以拾取前置組件字段將其數據帶到到後面

5、接口返回的參數也是進行加密的,需要進行解密處理,解密同加密處理,使用加解密組件,方式選擇解密即可,輸出字段設置同加密操作

6、對接口返回的接口進行解析入庫處理,解析使用json解析組件,入庫使用表輸出,處理操作同解析參數文件(區別在於解析參數文件的json來源是文件,此處 json來源爲字段)。

7、將接口返回接口生成指定格式文件,利用groovy腳本組件來處理,根據生成文件格式需要編寫腳本代碼,生成本地文件

8、將生成的文件上傳至小微ftp服務器,使用ftp上傳組件,組件設置同ftp下載組件,選擇指定ftp服務器,設置ftp服務器路徑和本地文件路徑

最後的整體處理流程如下:

從上述操作可以看出,對於API接口的數據接入以及加解密處理,EsDataExchange數據交換管理平臺有完整且強大的解決方案。接口處理相關組件從最初的的單個HTTP接口組件逐步擴展到現在,功能越來越全面。在之後的開發過程中,還將擴展各種API接口處理組件,功能會更加強大!

除了接口組件,EsDataExchange數據交換管理平臺還提供了各種各種的交換處理組件,多達60+種,容納多種多樣數據格式,提供豐富數據處理與交換任務設計,提供可視化數據交換監控,是一款統一、安全、高效的全局數據共享交換平臺,歡迎前去官網體驗試用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章