什麼是數據同步工具（ETL、ELT）
數據同步工具ETL或者ELT的作用是將業務系統的數據經過抽取、清洗轉換之後加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，爲企業的決策提供分析依據。數據同步是BI項目重要的一個環節。通常情況下，在BI項目中數據同步會花掉整個項目至少1/3的時間,數據同步工具設計的好壞直接關接到BI項目的成敗。
關於ETL與ELT的區別
ETL，是英文 Extract-Transform-Load 的縮寫，用來描述將數據從來源端經過抽取（extract）、轉換（transform）、加載（load）至目的端的過程。
ETL其實並不是一個新的概念，大家經常使用的像Informatica、Kettle、DataStage等，就是傳統的ETL數據同步工具。ETL的理念着重體現在一些數據清洗轉化功能，比如空值處理、規範化數據、數據替換、數據驗證等等。
在數據湖或數據中臺則往往會採用ELT的方式進行數據同步。
ELT是一個比較新潮的概念，相比於ETL，從功能上來說沒有差異，只是換了一個順序。差別在於，如果採用ELT的方案，首先把數據用一種高效的方式從數據源抽取出來，然後在數據倉庫中進行數據的轉換處理。這種ELT的方式相比於ETL有很大的優勢，而本文介紹的偶數數據中臺Lava中的數據同步工具，使用的就是ELT這種理念。
關於偶數數據中臺裏的數據同步工具產品設計
作爲一個數據同步工具，偶數的數據同步工具支持很多常用數據源比如DB2、Oracle、MySQL、SQLServer、Postgresql等關係型數據庫以及HDFS等。
偶數的數據同步工具符合ELT的理念，把數據的轉換處理交給目標數據倉庫來做。並且很好的利用目標數據倉庫，例如OushuDB的高效特性來進行數據同步，塊級別的併發導入效率遠遠高於JDBC的方式導入。基於OushuDB的高效性能，ELT的優勢更加明顯：
1.更快的數據同步速度
傳統的ETL需要將數據加載到臨時空間中，而且隨着數據大小的增加，轉換時間也會增加。但是在ELT過程中，速度不會數據大小的影響，而且僅需加載到目標系統一次，無需使用臨時空間。
2.更快的清洗、分析速度
在ELT的理念下，數據轉換依賴強大的目標系統，相比ETL在數據抽取過程中對數據處理的複雜性，ELT的方式更加高效。通過對目標數據倉庫的調優，ELT可獲得數倍的效率提升。
3.更好的維護性和擴展性
採用ELT模式，我們可以避免構建一個專有的數據轉換集羣，而是通過一個通用的、易於創建和維護的分佈式計算集羣來完成所有的工作。
分佈式的數據加載、強大的任務監控、簡單的操作步驟以及傻瓜式的部署方式，使得偶數數據中臺Lava中的數據同步工具可以爲構建數據倉庫或者搭建數據中臺提供強大助力。
關於偶數科技
⌈偶數科技⌋是一家領先的AI和大數據產品和解決方案提供商，致力於AI賦能全球各行業客戶。公司的願景和使命是 “讓人類只爲興趣而工作”。偶數科技的產品已在金融、電信、製造、公安、能源和互聯網等行業得到廣泛的部署和應用。目前⌈偶數科技⌋已經獲得多輪頂級VC的投資。⌈偶數科技⌋是微軟加速器成員企業，併入選美國著名商業雜誌《快公司》“中國最佳創新公司50”榜單。
如果您喜歡本文請點右下角在看或轉發到朋友圈。
更多新聞請點擊：
數據庫大PK | Postgres面對這款國產數據庫OushuDB，沒想到性能差了這麼多