各種軟件的按裝

這裏有個文章寫的挺好：https://www.yiibai.com/hive/hive_installation.html

1. JAVA10

• 安裝包下載地址：http://download.oracle.com/otn-pub/java/jdk/10.0.2+13/19aef61b38124481863b1413dce1855f/jdk-10.0.2_linux-x64_bin.tar.gz
• 解壓：tar -zxvf jdk-10.0.1_linux-x64_bin.tar.gz
• 移動到系統文件夾：sudo mv jdk-10.0.1 /usr/lib/
• 設置環境bian變量：sudo vim /etc/profile
• 添加如下：

export JAVA_HOME=/usr/lib/jdk-10.0.1
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

• 使配置生效：

source /etc/profile

• 解決sudo java zhao找不到的問題：
  • sudo vim /etc/sudoers
  • 修改Defaults secure_path：在結尾處添加：/usr/lib/Jdk-10.0.2/bin （java/bin的地址）

2. SSH免密登陸

• 安裝SSH：

sudo apt-get install ssh openssh-server

• 創建ssh-key，用rsa方式，要求輸入就一直敲回車鍵

ssh-keygen -t rsa -P ""

• 將公鑰傳入傳入authorized_key

cat ~/.ssh/id_rsa.pub >> authorized_keys

• 驗證，不需要設置密碼即標誌成功：

ssh localhost

3. Hadoop（首先建立SSH免密登陸）

• 添加Hadoop用戶組和用戶

sudo su
addgroup hadoop
adduser --ingroup hadoop hadoop            
password hadoop  //爲hadoop賬號設置密碼
adduser hadoop sudo
su hadoop

• 解壓安裝包和移動到到目標文件夾

mv ~/下載/hadoop-3.0.0.tar.gz /usr/local/hadoop
tar -xvf /usr/local/hadoop/hadoop-3.0.0.tar.gz

• 僞分佈式配置（所有的配置文件都在/usr/local/hadoop/etc/hadoop文件夾下）

core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

• hadoop-env.sh，修改JAVA_HOME

export JAVA_HOME=JAVA_HOME環境變量的值

• hdfs-site.xml

 <configuration>
            <property>
                 <name>dfs.replication</name>
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
    </configuration>

• 配置完後，運行NameNode格式化

/usr/local/hadoop/bin/hdfs namenode -format

• 驗證：運行jsp應該出現如下結果：
•    
• 最後查看網頁localhost:50070
• 運行一個程序驗證一下，會出現3.200000000的結果

cd /usr/local/hadoop/share/hadoop/mapreduce/
hadoop jar ./hadoop-mapreduce-examples-3.0.0.jar pi 10 10

• 啓動：sbin/start-all.sh 或者sbin/start-dfs.sh sbin/start-yarn.sh

4. MySql

• sudo apt-get install mysql-server
• sudo apt-get install mysql-client

5. Hive

• 下載Hive，這個地方遇到個坑，貌似2.x版本的Hadoop和0.9版本的Hive比較搭
• 下載JDBC 驅動：http://dev.mysql.com/downloads/connector/j/
• 以root身份進入MySql，創建數據庫hive和用戶hadoop

mysql -u root -p;
create database hive;
GRANT all ON hive.* TO hadoop@'localhost' IDENTIFIED BY 'hadoop';
flush privileges;

• 解壓Hive

tar –zxvf  /usr/local/hadoop/hive  hive-0.9.tar.gz

• 在/usr/local/hadoop/hive/hive-0.9/conf 下創建hive-site.xml，內容如下：

• 在/usr/local/hadoop/hive-0.9/bin 修改hive-config.sh，添加3條export語句：

• 將下載的mysql-connector-java-5.1.38中的jline-2.12.jar複製到/usr/local/hadoop/hive/hive-0.9/lib/中

  cp /home/hadoop/mysql-connector-java-5.1.38/jline-2.12.jar   /usr/local/hadoop/hive/hive-0.9/lib

  以root身份在/etc/profile文件尾添加，並用source /etc/profile使其生效

• 運行Hive，進入bin目錄運行 

  ./hive