Apache Atlas 簡介
Apache Atlas是Hadoop社區爲解決Hadoop生態系統的元數據治理問題而產生的開源項目,它爲Hadoop集羣提供了包括數據分類、集中策略引擎、數據血緣、安全和生命週期管理在內的元數據治理核心能力。最新版本爲Apache Atlas 1.0
官網鏈接:http://atlas.apache.org/1.0.0/index.html
官網沒提供編譯好的二進制包,需要自己編譯,編譯參官網源教程:http://atlas.apache.org/1.0.0/InstallationSteps.html
下文記錄下編譯Apache Atlas 1.0的過程,只是其中一種編譯方式,更多詳細參見官網編譯教程。
準備
相關包
1. apache-atlas 源碼包:apache-atlas-1.0.0-sources.tar.gz
2. maven 安裝包:apache-maven-3.5.4-bin.tar.gz
3. jdk 安裝包: jdk-8u171-linux-x64.tar.gz
備註:apache-atlas-1.0.0 要求編譯的jdk 版本必須高於 jdk-8u151
安裝jdk
- 下載jdk到 /opt/jdk/jdk-8u171-linux-x64.tar.gz
- 解壓jdk:cd /opt/jdk && tar -zxvf jdk-8u171-linux-x64.tar.gz
備註:由於服務器中多個jdk版本共存,爲了不影響服務器現有jdk 版本,這裏只解壓不配置,在使用的時候直接 export 環境變量:export JAVA_HOME=/opt/jdk/jdk1.8.0_171
安裝maven
- 下載到 /opt/maven/apache-maven-3.5.4-bin.tar.gz
- 解壓maven:cd /opt/maven && tar -zxvf apache-maven-3.5.4-bin.tar.gz
- 新建軟鏈:ln -s /opt/maven/apache-maven-3.5.4/bin/mvn /usr/bin/mvn
編譯 apache atlas
- 下載源碼到:/root/apache-atlas/apache-atlas-1.0.0-sources.tar.gz
- 解壓源碼:cd /root/apache-atlas && tar -zxvf apache-atlas-1.0.0-sources.tar.gz
- 進入源碼根目錄:cd /root/apache-atlas/apache-atlas-sources-1.0.0
- export 相關變量: export MAVEN_OPTS=”-Xms2g -Xmx2g” && export JAVA_HOME=/opt/jdk/jdk1.8.0_171
- maven 編譯:mvn clean -DskipTests package -Pdist,embedded-hbase-solr 【使用內嵌sorl和hbase方式】
如果不能翻牆或者有自己的私有maven倉庫,建議配置配置maven的setting指定私服或者阿里的maven倉庫,經過漫長的等待
編譯好後目錄結構
部署apache atlas
- 複製安裝包:cp /root/apache-atlas/apache-atlas-sources-1.0.0/distro/target/apache-atlas-1.0.0-bin.tar.gz /opt/apache-atlas
- cd /opt/apache-atlas && tar -zxvf apache-atlas-1.0.0-bin.tar.gz
- 用內嵌的 hbase 和 solr 啓動,配置hbase和solr跟隨atlas啓動和停止
cd /opt/apache-atlas/apache-atlas-1.0.0
export JAVA_HOME=/opt/jdk/jdk1.8.0_171
export MANAGE_LOCAL_HBASE=true
export MANAGE_LOCAL_SOLR=true
bin/atlas_start.py
看到這個理論上是啓動成功了,若沒能訪問,參見備註,查看對應組件啓動日誌。 - 校驗apache-atlas是否啓動成功: curl -u admin:admin http://localhost:21000/api/atlas/admin/version
看到這個,恭喜你,啓動成功了。 - 添加自帶例子:bin/quick_start.py
- 管理界面登錄入口 http://localhost:21000 用戶名:admin 密碼:admin
看到這個界面恭你,安裝成功!!!盡情的享受 apache atlas 的快感吧!
備註
相關日誌目錄說明
- apache atlas 日誌目錄:/opt/apache-atlas/apache-atlas-1.0.0/logs
- 內嵌hbase日誌目錄:/opt/apache-atlas/apache-atlas-1.0.0/hbase/logs
- 內嵌solr日誌目錄:/opt/apache-atlas/apache-atlas-1.0.0/solr/server/logs