Hello，大家好，在這辭舊迎新的2020年初，小編又來更新啦。這次將給大家分享一款對於企業來說超級實用的數據集成工具。在實際工作中，經常需要將數據以圖表的形式來展示數據的價值，並且進一步大數據分析；然而數據處理過程中，數據整理經常就花費了80%的時間，尤其經常會碰到excel文件數據表頭格式不一致的問題，“某某部門又沒有按格式反饋數據”、“每個分公司的報表，表頭五花八門，整理起來太頭疼”……是的，excel數據彙總，每每碰到數據表頭格式不一致時，只想大聲喊到：我太“南”了！！！ 數據格式統一實在是太重要了。
今天，小編給大家分享一款數據集成工具：CEAMS集成工具，生成通用的excel表頭，快速實現數據格式標準化，節省日常數據處理人工消耗，數據變現最大化。假設，我們手頭上有幾份來自不同省份的食品監管數據excel文件，其中每份數據表頭格式是不一致的，需要將它們轉換成統一規範的格式。接下來，我們一起看看如何通過CEAMS集成工具實現數據格式標準化。以湖北省食品、甘肅省、江蘇省抽檢不合格數據爲例。
- 現有excel文件數據表頭：
①湖北省食品抽檢不合格數據部分截圖
②甘肅省食品抽檢不合格數據部分截圖
③江蘇省食品抽檢不合格數據部分截圖
問題描述：仔細看看這些表格會發現，它們的表頭都不大一致，其中一些關鍵信息的格式都差了很多，比如“不合格項目||檢驗結果||標準值”這列，湖北省、江蘇省用的是
，而甘肅省用的是
，如果直接用原格式開展大數據分析工作，出來的結果可能會出現偏差，不夠精細化。
- 經過CEAMS集成工具處理之後，標準化格式的數據表頭：
使用格式標準化的數據，確保數據的一致性，有利於開展大數據與可視化數據集成和強大的預測分析，有助於企業實時決策。
一、CEAMS集成工具的整體工作流程
二、CEAMS集成工具簡易的操作方法
1、從左邊的工具箱中選擇對應的組件，按照上圖1所示順序依次放置，並用連線將其連接好。
2、雙擊下圖所示組件，創建其屬性設置：對應的服務以及接口；點擊保存。
3、雙擊下圖所示組件，創建其屬性設置：選擇對應的服務以及接口；點擊保存。
4、雙擊下圖所示組件，在Transform Message處，將鼠標放在輸入中的某個字段，然後鼠標長按，拖動到輸出中匹配的字段，從而創建輸入和輸出字段之間的實際映射。匹配所有相同和相似的名稱，如抽樣編號匹配抽樣編號、產品名稱匹配名稱。
5、點擊右上角的“測試”按鈕，根據提示，選擇需要處理的excel源文件，點擊保存，CEAMS集成工具在線完成測試。
6、下方的Console中提示“測試成功！”，即表示數據成功轉換標準化格式，並且標準化格式數據也同步導入到數據庫中了。
拿着這些轉換好的標準數據，進一步開展大數據整合、建模、分析、管理工作，就方便多了，無需再爲了數據整理勞心勞力，實現運營的數據報表自動化，實現大數據分析可視化。
三、關於CEAMS集成工具的三大重要組件
操作步驟說完了，現在我們來看看CEAMS集成工具中三個非常重要的組件。
1、組件1
由CEAMS平臺負責，針對用戶具體需求進行定製化開發。該組件的主要功能爲將輸入的源數據解析成JSON格式輸出。以上述食品監管數據爲例，具體輸出的JSON格式內容如下（內容較多，僅展示一行數據轉換的JSON內容）：
測試 湖北省數據 組件
輸出:
{
"output":[
{
"sid":"GC19420000003335391",
"pname":"/",
"paddress":"/",
"cname":"武漢中商超市連鎖有限公司黃石延安路店",
"caddress":"黃石市延安路122號",
"name":"韭菜",
"standard":"散裝稱重",
"trademark":"/",
"pdate":"/",
"reason":"腐黴利",
"test_results":"腐黴利",
"rlimit":"腐黴利",
"result":"不合格",
"type":"食用農產品",
"notification_no":"2019年第41期",
"time":"2019-10-31",
"province":"湖北",
"level":"總局國抽",
"notifying_unit":"湖北省食品質量安全監督檢驗研究院",
"remark":"抽樣日期：2019-07-31"
}
2、組件2
由用戶自行操作，匹配數據字段；該組件的主要功能爲將組件1解析出來的JSON格式內容轉換成具有統一標準化格式的數據輸出。以上述食品監管數據爲例，具體輸出的標準化數據內容如下（內容較多，僅展示一行數據轉換的標準化格式內容）：
開始Transform數據
輸出:
[
{
"sid":"GC19420000003335391",
"pname":"/",
"paddress":"/",
"cname":"武漢中商超市連鎖有限公司黃石延安路店",
"caddress":"黃石市延安路122號",
"name":"韭菜",
"standard":"散裝稱重",
"trademark":"/",
"pdate":"/",
"reason":"腐黴利",
"test_results":"腐黴利",
"result":"不合格",
"rlimit":"腐黴利",
"type":"食用農產品",
"notifying_no":"2019年第41期",
"time":"2019-10-31",
"province":"湖北",
"level":"總局國抽",
"notifying_unit":"湖北省食品質量安全監督檢驗研究院",
"remark":"抽樣日期：2019-07-31"
}
3、組件3
，與組件1相同，由CEAMS平臺負責開發；主要功能提供數據標準化統一格式，同步將組件2輸出的數據導入到數據庫中。
四、總結
CEAMS集成工具，基於微服務的理念，將應用模塊化封裝，通過統一的API調用實現模塊間交互；爲企業提供雲端一體化的集成開發環境，無需安裝配置單獨的開發環境工具，登陸瀏覽器即可隨時隨地在線處理數據集成工作；基於node.js開發，輸入數據源，將其自動轉換成標準簡潔的JSON數據格式，對數據結構進行編排重組聚合集成；提供可視化、自動化的數據集成流程，幫助企業降本增效，最大化實現數據價值。
（完）
想了解更多關於CEAMS集成工具的信息，可以發送郵件至靈長科技郵箱：
郵箱 : [email protected] [email protected]
公司網址：
今天的分享就到這裏了，感謝各位讀者的閱讀。如您對小編分享的文章感興趣，您可以在文章下方點贊、分享或收藏；還可以通過搜索關注知乎專欄《微服務應用開發和API管理》，或者掃描下方二維碼關注靈長科技官方公衆號，點擊關注，獲取最新更新動態。
<未經同意，本文禁止轉載或摘編>