Atlas 介紹

一、Atlas是什麼?

在當今大數據的應用越來越廣泛的情況下,數據治理一直是企業面臨的巨大問題。

大部分公司只是單純的對數據進行了處理,而數據的血緣,分類等等卻很難實現,市場上也急需要一個專注於數據治理的技術框架,這時Atlas應運而生。

Atlas官網地址:https://atlas.apache.org/

Atlas是Hadoop的數據治理和元數據框架。

Atlas是一組可擴展和可擴展的核心基礎治理服務,使企業能夠有效,高效地滿足Hadoop中的合規性要求,並允許與整個企業數據生態系統集成。

Apache Atlas爲組織提供了開放的元數據管理和治理功能,以建立其數據資產的目錄,對這些資產進行分類和治理,併爲數據科學家,分析師和數據治理團隊提供圍繞這些數據資產的協作功能。

file

  • Atlas支持各種Hadoop和非Hadoop元數據類型

  • 提供了豐富的REST API進行集成

  • 對數據血緣的追溯達到了字段級別,這種技術還沒有其實類似框架可以實現

  • 對權限也有很好的控制

二、架構原理

file

Atlas包括以下組件:

  • 採用Hbase存儲元數據
  • 採用Solr實現索引
  • Ingest/Export 採集導出組件 Type System類型系統 Graph Engine圖形引擎 共同構成Atlas的核心機制
  • 所有功能通過API向用戶提供,也可以通過Kafka消息系統進行集成
  • Atlas支持各種源獲取元數據:Hive,Sqoop,Storm。。。
  • 還有優秀的UI支持

三、效果圖

file

file

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章