NIFI集羣搭建
分類專欄： NIFI
版權聲明：本文爲博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
本文鏈接：https://blog.csdn.net/qq_19397397/article/details/80007806
一、Nifi配置
1) nifi基本配置
1. jdk配置：nifi新版本要求jdk版本必須1.8以上
目錄：bin/nifi.env.sh
export JAVA_HOME=/home/user/opt/jdk1.8.0_144
忽略此項配置，nifi將使用系統默認Java環境啓動。
2. nifi運行內存配置
目錄：conf/bootstarp.conf
java.arg.2=-Xms512m
java.arg.3=-Xmx20480m
根據服務器性能合理設置nifi內存
3. nifi日誌配置
目錄：conf/logback.xml
4. nifi端口配置
目錄：conf/nifi.properties
nifi.web.http.port=18083
默認爲8080端口。
5. nifi基本命令
nifi.sh start 啓動
nifi.sh stop 關閉
nifi.sh restart 重啓
nifi.sh status 狀態
以上基本配置完成，可單節點模式啓動nifi。
2) nifi集羣配置
1. 配置zookeeper
目錄：conf/zookeeper.properties
clientPort=2181 zookeeper端口
server.1=ip1:2888:3888
server.2=ip2:2888:3888
server.3=ip3:2888:3888
zookeeper服務器設置，nifi集羣有多少節點需要配置server
server.1中的數字1爲服務器的ID，需要與myid文件中的id一致，下一步將配置myid。
2. 配置myid
在nifi目錄下創建文件夾/state/zookeeper/並創建文件myid
文件內容與第一步中的server.id一致。
3. 配置state-management.xml
目錄：conf/state-management.xml
<cluster-provider>
<id>zk-provider</id>
<class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
<property name="ConnectString">ip1:2182,ip2:2182,ip3:2182</property>
<property name="RootNode">/nifi</property>
<property name="Session Timeout">10seconds</property>
<property name="AccessControl">Open</property>
</cluster-provider>
Connect String配置爲nifi節點的ip加zookeeper端口號，以逗號分隔
4. 配置nifi節點屬性
目錄：conf/ nifi.properties
nifi.state.management.embedded.zookeeper.start=true
使用內置zookeeper
nifi.zookeeper.connect.string=ip1:2182,ip2:2182,ip3:2182
與上一步中的connect string一致。
下面配置需每個節點單獨配，根據節點的IP相應配置，保持集羣中節點使用的端口一致
nifi.cluster.is.node=true
nifi.cluster.node.address=本機IP
nifi.cluster.node.protocol.port=9999
nifi.remote.input.host=本機IP
nifi.remote.input.secure=false
nifi.remote.input.socket.port=9998
nifi.web.http.host=本機IP
配置完成後即可依次啓動節點，集羣將選舉產生主節點。
二、Nifi界面
1-8爲nifi提供的組件可以拖到下方的畫布上使用。
1：processor ：nifi提供的多種處理器。
2：input port：flowfile數據進入節點。
3：output port flowfile數據輸出節點。
4：group組，可以將多種處理器放入同一個組中，組與組之間可以通過input port和output port傳輸flowfile數據。
5：Remote process group：遠程進程組，可將flowfile發送至別的節點。
6：Funnel：匯聚flowfile數據。
7：Template：可拖放導入的模板配置。
8：Leble：文字板
9-18爲nifi的基本狀態欄
9：nifi集羣節點狀態。9/9表示有集羣中有九個節點，並九個節點都在線。
10：nifi當前運行線程數。
11：nifi當前隊列中待執行的flowfile的size及大小
12：nifi啓動的遠程進程組。
13：nifi未啓動的遠程進程組。
14：nifi啓動的處理器
15：nifi未啓動的處理器。
16：nifi配置不可用的處理器
17：nifi廢棄不用的處理器。
18：nifi界面最新刷新時間。
19：nifi畫布縮略圖及操作按鈕。
20：當前位置。
1) 總覽界面
Summary 摘要包含處理器，GROUP等一系列整體摘要信息。
Counters 計數器界面，需要配合計數器處理器（UpdateCounter）使用。
Bulletin Board nifi通訊信息頁面。
Date Provenance flowfile數據總覽。
Controller Settings 設置界面，可以配置線程數等一些設置。
Flow conf History nifi配置歷史。
Cluster nifi集羣模式時，可以查看集羣狀態，管理節點。