Apache Atlas 1.2.0 部署手冊

參考：http://atlas.apache.org/1.2.0/InstallationSteps.html

說明：本手冊基於集羣已有組件HBase和ElasticSearch，不使用內嵌的HBase和Solr。

依賴：

• Maven 3.0+，Maven下載地址：http://maven.apache.org/download.cgi
• JDK 1.8+
• 集羣已有組件：
  1. HBase
  2. ElasticSearch

1、下載

官網下載地址：http://atlas.apache.org/Downloads.html

2、下載Apache Atlas源碼

下載Apache Atlas源碼

tar xvfz apache-atlas-${project.version}-sources.tar.gz

cd apache-atlas-sources-${project.version}/

export MAVEN_OPTS="-Xms2g -Xmx2g"

mvn clean -DskipTests install

3、備份並修改配置文件

配置文件地址apache-atlas-sources-${project.version}/distro/target/conf/atlas-application.properties

備份並修改配置文件

1 2 3

cd apache-atlas-sources-${project.version}/distro/target/conf/ cp atlas-application.properties atlas-application.properties.bak vi atlas-application.propertie

待修改的配置項如下，其他配置項可以是默認值，這裏需要注意的是，搜索引擎使用ElasticSearch，需要將配置文件中與Solr相關的配置項都註釋掉。

待修改的配置項

#Atlas rest地址及端口，默認http://localhost:21000

atlas.rest.address=http://hadoop160:21001

#Atlas http端口，默認21000

atlas.server.http.port=21001

#指定後端存儲爲Hbase

atlas.graph.storage.backend=hbase

#zookeeper集羣地址，用於連接Hbase，如：hadoop160,hadoop161,hadoop162

atlas.graph.storage.hostname=<ZooKeeper Quorum>

#Hbase中用於存儲數據的表名

atlas.graph.storage.hbase.table=atlas

 

#指定搜索引擎爲ES，啓用ES相關配置

atlas.graph.index.search.backend=elasticsearch

#ES的地址，如：10.18.18.181,10.18.18.182,10.18.18.183

atlas.graph.index.search.hostname=<hostname(s) of the Elasticsearch master nodes comma separated>

atlas.graph.index.search.elasticsearch.client-only=true

 

#以下配置項爲Hive Hook Bridge所需，如果原配置文件沒有，可以手動添加

# whether to run the hook synchronously. false recommended to avoid delays in Hive query completion. Default: false

atlas.hook.hive.synchronous=false

# number of retries for notification failure. Default: 3

atlas.hook.hive.numRetries=3

# queue size for the threadpool. Default: 10000

atlas.hook.hive.queueSize=10000

 

# clusterName to use in qualifiedName of entities. Default: primary

atlas.cluster.name=primary

# Zookeeper connect URL for Kafka. Example: localhost:2181

atlas.kafka.zookeeper.connect=

# Zookeeper connection timeout. Default: 30000

atlas.kafka.zookeeper.connection.timeout.ms=30000

# Zookeeper session timeout. Default: 60000

atlas.kafka.zookeeper.session.timeout.ms=60000

# Zookeeper sync time. Default: 20

atlas.kafka.zookeeper.sync.time.ms=20

4、編譯

編譯Apache Atlas

mvn clean -DskipTests package -Pdist

編譯成功之後會在apache-atlas-sources-${project.version}/distro/target/路徑下看到如下文件及文件夾：

5、啓動Apache Atlas

在apache-atlas-sources-${project.version}/distro/target/路徑下已經有解壓過的apache-atlas-${project.version}-server，無需按照官網說明再次解壓。

另外，如果覺得apache-atlas-${project.version}-server路徑太深，可以構建該路徑的軟連接，但是不要將apache-atlas-${project.version}-server文件夾複製到別的地方。

啓動Apache Atlas

#構建軟連接

cd /opt

ln -s <atlas package>/distro/target/apache-atlas-${project.version}-server/apache-atlas-${project.version} atlas

#通過軟連接訪問

cd /opt/atlas/bin

./quick_start.py

  Enter username for atlas :-

  Enter password for atlas :-

默認的用戶名密碼爲：admin/admin

6、檢查啓動情況：

（1）web頁面：（我將默認端口21000改成了21001）

http://hadoop160:21001

（2）HBase

在HBase中可以看到配置文件中指定的Hbase表

（3）ElasticSearch

在ES中應該可以看到janusgraph相關的索引

（4）如果配置了Hive Hook Bridge相關配置，還可以查看Kafka中的topic

查看Kafka Topic

# /opt/cloudera/parcels/KAFKA/bin爲Cloudera中Kafka的安裝路徑

cd /opt/cloudera/parcels/KAFKA/bin

./kafka-topics --zookeeper hadoop160:2181,hadoop161:2181,hadoop162:2181 --list

Apache Atlas Hive Hook&Bridge配置方法：

https://blog.csdn.net/xueyao0201/article/details/94310583