Flink入門筆記（一）：Flink安裝部署

Flink安裝與配置

1. 安裝flink（一）

1.下載flink
1.官網
2.清華鏡像源
2.解壓

$ tar -zxvf flink-1.8.1-bin-scala_2.11.tgz 

$ mv flink-1.8.1 flink

3.啓動flink

# 啓動flink的命令
$ flink/bin/start-cluster.sh 
# 查看進程
[hadoop@192 app]$ jps
10003 StandaloneSessionClusterEntrypoint
10521 Jps
10447 TaskManagerRunner

4.webUI查看
打開瀏覽器，輸入：http://192.168.154.130:8081
5.啓動一個flink example

flink/bin/flink run flink/examples/batch/WordCount.jar --input /home/hadoop/file/test.txt --output /home/hadoop/file/output.txt

2. flink Standalone模式部署

2.1. 修改配置文件

1.修改flink-conf.yaml

$ vim conf/flink-conf.yaml 

# 指定jobmanageer的主機
jobmanager.rpc.address: hadoop-master

2.修改slaves

# 只需要修改爲主機名；單機部署，因此只有一臺機器
hadoop-master

3.域名解析
修改c:\windows\system32\drivers\etc\hosts文件
添加

192.168.193.128  hadoop-master

4.啓動集羣

$ flink/bin/start-cluster.sh 

5.webUI查看
http://hadoop-master:8081/#/overview

3. YARN模式安裝

3.1. Hadoop安裝

3.1.1. Hadoop下載與解壓

1.下載hadoop
Apache原生的hadoop在生產上幾乎不會用，開發人員一般都是部署Hadoop的發行版Cloudera Hadoop即CDH.
CDH5.4.3下載地址
[CDH5.4.3文檔]
選擇hadoop-2.6.0-cdh5.4.3/

2.解壓

$ tar -zxvf hadoop-2.6.0-cdh5.4.3.tar.gz 
$ mv hadoop-2.6.0-cdh5.4.3 hadoop

3.配置JAVA_HOME路徑
hadoop的底層是java開發的，hadoop的運行依賴於java

• 修改hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk

3.1.2. Hadoop配置文件的配置

要啓動hadoop並運行，必須要做一些配置文件的配置。主要用來配置：hdfs文件副本數、指定mr運行在yarn上、指定YARN的老大（ResourceManager）的地址、reducer獲取數據的方式等。
配置文件在目錄/home/hadoop/app/hadoop/etc/hadoop下
1.配置core-site.xml

• 首先創建臨時文件目錄
  mkdir /home/hadoop/app/hadoop/data
• 修改core-site.xml

<property>
	        <name>fs.defaultFS</name>
	        <value>hdfs://hadoop-master:8020</value>
</property>
<property>
	        <name>hadoop.tmp.dir</name>
	        <value>/home/hadoop/app/hadoop/data/tmp</value>
</property>

2.配置 hdfs-site.xml

<property>
            <!--hdfs文件副本數 -->
			<name>fs.replication</name>
			<value>1</value>
	</property>
	<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>hadoop-master:50090</value>
</property>

3.配置mapred-site.xml

• 首先要修改文件名

$ mv mapred-site.xml.template mapred-site.xml

• 其次配置mapred-site.xml

<!-- 指定mr運行在yarn上 -->
<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

4.配置yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
	<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>hadoop-master</value>
	</property>
	<!-- reducer獲取數據的方式 -->
	<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
	</property>

5.修改slaves

hadoop-master

3.1.3. 啓動hadoop

1.格式化hadoop

bin/hdfs namenode -format

2.啓動hadoop

sbin/start-all.sh

[hadoop@hadoop-master hadoop]$ jps
2721 TaskManagerRunner
3524 SecondaryNameNode
3924 NodeManager
3972 Jps
3258 NameNode
3658 ResourceManager
2285 StandaloneSessionClusterEntrypoint
3374 DataNode

3.1.4. 啓動hadoop過程中需要輸入密碼，非常繁瑣，因此需要在Linux下配置免密碼登錄。

$ ssh-keygen
$ cd .ssh
$ ls
id_rsa  id_rsa.pub
$ cat id_rsa.pub >> authorized_keys
# 賦權限：
chmod 600 authorized_keys
$ ssh localhost	

【備註】爲了避免出錯，先不要執行此命令。因爲執行後，會在.ssh/目錄下產生一個known_hosts文件。拷貝到其他主機後悔報錯出問題。

可以直接登錄到localhost
hadoop@hadoop1:~/.ssh$ ls
authorized_keys id_rsa id_rsa.pub
【備註】拷貝到其他主機
scp -r .ssh hadoop@hadoop1:/home/hadoop

3.2. flink on yarn 提交任務

啓動hadoop，先啓動hdfs,再啓動yarn
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh

【備註】hadoop的監控頁面
http://hadoop-master:8088/ – Yarn監控頁面
http://hadoop-master:50070/ – Hdfs監控頁面

再hadoop-master節點提交Yarn-Session,使用安裝目錄下bin目錄中的yarn-session.sh腳本提交。

./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar