大家好，我是獨孤風。
這幾年數據治理爆火，但遲遲沒有一個優秀的開源數據治理平臺的出現。很多公司選擇元數據管理平臺作爲基礎，再構建數據質量，數據血緣等工具。
今天爲大家推薦的開源項目，是一個一體化的數據治理平臺，一個平臺解決了大部分問題。讓我們一起來看看吧~
OpenMetadata是一個用於數據治理的一體化平臺，可以幫助我們發現，協作，並正確的獲取數據。
OpenMetadata提供了數據發現、數據血緣、數據質量、數據探查、數據治理和團隊協作的一體化平臺。它是發展最快的開源項目之一，擁有充滿活力的社區，並被各行業垂直領域的衆多公司採用。 OpenMetadata 由基於開放元數據標準和API 的集中式元數據存儲提供支持，支持各種數據服務的連接器，可實現端到端元數據管理，讓您可以自由地釋放數據資產的價值。
其UI非常美觀，其操作和使用邏輯，也符合業務人員的習慣。
該項目的Github地址爲：https://github.com/open-metadata/OpenMetadata
目前標星3.2K，最新版本爲1.2.3
主要開發語言前端爲TS，後端爲Java和Python。
可在大數據流動後臺回覆“OpenMetadata”獲取安裝包與學習資料。
什麼是OpenMetadata？
OpenMetadata 包括以下內容：
元數據模式- 使用類型、實體和實體之間關係的模式定義元數據的核心抽象和詞彙。這是開放元數據標準的基礎。還支持具有自定義屬性的實體和類型的可擴展性。
元數據存儲- 存儲連接數據資產、用戶和工具生成的元數據的元數據圖。
元數據 API - 用於生成和使用基於用戶界面模式以及工具、系統和服務集成構建的元數據。
攝取框架- 用於集成工具並將元數據攝取到元數據存儲的可插入框架，支持大約 55 個連接器。攝取框架支持衆所周知的數據倉庫，如 Google BigQuery、Snowflake、Amazon Redshift 和 Apache Hive；MySQL、Postgres、Oracle 和 MSSQL 等數據庫；Tableau、Superset 和 Metabase 等儀表板服務；消息服務，如 Kafka、Redpanda；以及 Airflow、Glue、Fivetran、Dagster 等管道服務。
OpenMetadata 用戶界面- 用戶發現所有數據並就所有數據進行協作的單一位置。
核心功能
- 數據協作- 通過活動源獲取事件通知。使用 webhook 發送警報和通知。添加公告以通知團隊即將發生的更改。添加任務以請求描述或術語表術語批准工作流程。添加用戶提及並使用對話線程進行協作。
- 數據質量和分析器- 標準化測試和數據質量元數據。將相關測試分組爲測試套件。支持自定義SQL數據質量測試。有一個交互式儀表板可以深入瞭解詳細信息。
- 數據血緣- 支持豐富的列級沿襲。有效過濾查詢以提取沿襲。根據需要手動編輯譜系，並使用無代碼編輯器連接實體。
- 全面的角色和策略- 處理複雜的訪問控制用例和分層團隊。
- 連接器- 支持連接到各種數據庫、儀表板、管道和消息傳遞服務的 55 個連接器。
- 術語表- 添加受控詞彙來描述組織內的重要概念和術語。添加詞彙表、術語、標籤、描述和審閱者。
- 數據安全- 支持 Google、Okta、自定義 OIDC、Auth0、Azure、Amazon Cognito 和 OneLogin 作爲 SSO 的身份提供商。此外，還支持 AWS SSO 和 Google 基於 SAML 的身份驗證。
功能展示
請參考大數據流動視頻號的功能演示：
如何安裝？
OpenMetadata 的安裝非常簡單，可以使用Docker進行快速的安裝，幾分鐘就可以搞定。
首先查看python版本。
python3 --version
需要python 3.7 3.8 3.9三個版本都可以。
查看docker版本。
docker --version
20.10.0或者更高的版本。
docker compose version
需要docker compose 2.1.1或者更高的版本。
建立文件夾
mkdir openmetadata-docker && cd openmetadata-docker
創建虛擬環境。
python3 -m venv env
虛擬環境生效。
source env/bin/activate
更新pip
pip3 install --upgrade pip setuptools
獲取openmetadata配置文件
wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose.yml
wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose-postgres.yml
啓動容器
docker compose -f docker-compose.yml up --detach
啓動postgre
docker compose -f docker-compose-postgres.yml up --detach
隨後訪問
