大數據之路、阿里巴巴大數據實踐讀書筆記 --- 第三章、數據同步

一、數據採集

• 日誌採集

• 數據庫同步

 

二、數據同步技術更通用的含義是不同系統之間的數據流轉；

三、數據同步基礎三種方式：

• 直連同步

• 數據文件同步

• 數據庫日誌解析同步

 

• 直連同步

• • 直連同步是指通過定義好的規範接口API和基於動態鏈接庫的方式直接連接業務庫，例如JDBC/ODBC，如下圖：

 

 

優勢：簡單、實現容易、比較適合操作性業務數據；

弊端：對業務庫性能影響較大，大批量執行時易拖垮業務系統；

可以適當的採取主備策略；

 

• 數據文件同步

• • 數據文件（約定好的格式、大小、編碼等）

  • 日誌（較常見）

 

如下圖：