數據中臺技術

數據聯邦(Federation)是目前比較成熟的企業數據集成方法之一,目標就是集成企業內部各類異構數據庫,可以有一個統一訪問的入口。現在,聯邦技術能夠統一地訪問任何信息存儲中以任何格式(結構化的和非結構化的)表示的任何數字信息。現在,通過各種 IBM 產品 — 包括 DB2® UDB(和 DB2 Relational Connect)、DB2 DataJoiner® 和 IBM Enterprise Information Portal(EIP),還有最新發布的 Information Integrator — 可以使用這些聯邦技術。實現方式:

缺點:查詢速度慢,不支持頻繁查詢。

數據遷移:異構數據庫之間的數據轉移

數據歸檔:(data archiving)是將不再經常使用的數據移到一個單獨的存儲設備來進行長期保存的過程。數據備份和數據歸檔軟件之間的不同,類似於恢復(備份軟件做的工作)和檢索(歸檔軟件做的工作)之間的不同。 也就是說,歸檔做的事情側重不一樣,主要是把數據分門別類的存放好,方便檢索。現在很多互聯網應用每天產生大量的數據,但數據過一段時間可能就很少訪問了。隨着數據越來越多,需要將冷數據分離,歸檔。

數據治理:包括數據分類、集中策略引擎、數據血緣、安全和生命週期管理在內的元數據治理核心能力

數據同步一般的技術: 消息中間價、ETL、流式計算Flink分佈式同步、還有基於binlog的cannal、kettle圖形化界面數據同步、

 

postgres_fdw模塊提供外部數據封裝器的功能,PostgreSQL通過 它可以訪問存儲在外部的 PostgreSQL服務器上的數據。

wal:計算機科學中,預寫式日誌(Write-ahead logging,縮寫 WAL)是關係數據庫系統中用於提供原子性和持久性(ACID屬性中的兩個)的一系列技術。在使用WAL的系統中,所有的修改在提交之前都要先寫入log文件中。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章