因爲impala沒有提供tar包供我們進行安裝，只提供了rpm包，所以我們在安裝impala的時候，需要使用rpm包來進行安裝，rpm包只有cloudera公司提供了，所以我們去cloudera公司網站進行下載rpm包即可，但是另外一個問題，impala的rpm包依賴非常多的其他的rpm包，可以一個個的將依賴找出來，也可以將所有的rpm包下載下來，製作成我們本地yum源來進行安裝。我們這裏就選擇製作我們本地的yum源來進行安裝
下載依賴包
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz
掛載一塊新磁盤
df -lh
fdisk -l
開始分區
fdisk /dev/sdb 這個命令執行後依次輸 n p 1 回車 回車 w
fdisk -l
格式化我們的分區
mkfs -t ext4 -c /dev/sdb1 格式化我們的分區
mkdir /data02
將我們的分區掛載到/data02目錄下
mount -t ext4 /dev/sdb1 /data02
df -lh
將我們的掛載磁盤設置開機啓動，避免開機之後掛載的磁盤就沒了
echo "/dev/sdb1 /data02 ext4 defaults 0 0" >> /etc/fstab
掛載完成後在安裝MySQL的節點確定MySQL已經啓動。
製作本地yum源
yum -y install httpd
service httpd start
cd /etc/yum.repos.d
vim localimp.repo
# 寫入以下內容
[localimp]
name=localimp
baseurl=http://*.*.*.*/cdh5.14.0/
gpgcheck=0
enabled=1
創建Apache httpd的讀取鏈接
ln -s /data02/cdh/5.14.0 /var/www/html/cdh5.14.0
將製作好的localimp配置文件發放到所有需要安裝impala的節點上去
以3臺節點爲例，安裝規劃
| 服務名稱 | node01 | node02 | node03 |
|---|---|---|---|
| impala-catalog | 不安裝 | 不安裝 | 安裝 |
| impala-state-store | 不安裝 | 不安裝 | 安裝 |
| impala-server | 安裝 | 安裝 | 安裝 |
主節點node03執行以下命令進行安裝
yum install impala -y
yum install impala-server -y
yum install impala-state-store -y
yum install impala-catalog -y
yum install impala-shell -y
從節點node01與node02安裝以下服務
yum install impala-server -y
配置Impala
修改hive-site.xml
vim /hive-1.1.0-cdh5.14.0/conf/hive-site.xml
- 添加以下參數
<property>
<name>hive.metastore.uris</name>
<value>thrift://node03.hadoop.com:9083</value>
</property>
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>3600</value>
</property>
配置完之後分發到所有的節點之上
scp hive-site.xml node01:$PWD
scp hive-site.xml node02:$PWD
node03 啓動Hive的metadata服務
後臺啓動
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
一定要保證mysql的服務正常啓動，否則metastore的服務不能夠啓動
所有hadoop節點修改hdfs-site.xml
# 所有節點創建
mkdir -p /var/run/hdfs-sockets
- 在hdfs-site.xml添加以下內容
vim /hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hdfs-sockets/dn</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>10000</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
注意權限問題
chown -R hadoop:hadoop /var/run/hdfs-sockets/
重啓hdfs
創建hadoop與hive的配置文件的連接
所有節點執行以下命令創建鏈接到impala配置目錄下來
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml
所有節點修改impla默認配置
vim /etc/default/impala
IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03
所有節點創建mysql的驅動包的軟連接
ln -s /hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar
所有節點修改bigtop的java路徑
vim /etc/default/bigtop-utils
export JAVA_HOME=/export/servers/jdk1.8.0_141
啓動Impala服務
主節點node03啓動以下三個服務進程
service impala-state-store start
service impala-catalog start
service impala-server start
從節點啓動node01與node02啓動impala-server
service impala-server start
瀏覽器頁面訪問：
訪問impalad的管理界面
http://node03:25000/
訪問statestored的管理界面
http://node03:25010/
