首先說一下~~~學新東西我以前是一直找視頻看,現在的話先搜索類似文檔,有個初步的認知之後,再去看官網,然後如果有書的話更好,書是個好東西,沒有的話也沒關係,多寫,多實踐。
文檔:http://nifi.apache.org/docs.html
一,先安裝一個簡單的運行起來
部署~在95 96 97 三個節點部署
1,下載安裝:
命令:wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz
2、解壓安裝包、即可使用
命令:tar -zxvf nifi-1.8.0-bin.tar.gz
3,查看結構
命令: tree -d
4,配置文件修改
修改配置文件:
#節點UI監聽端口
nifi.web.http.port=9901
#節點是否採用集羣模式,true集羣模式,默認爲false
nifi.cluster.is.node=true
#節點的IP地址
nifi.cluster.node.address=node1.hadoop
#節點用於集羣通信的端口
nifi.cluster.node.protocol.port=9997
#連接zookeeper的地址
nifi.zookeeper.connect.string=node1.hadoop:2181
4、操作NIFI,啓動的時候,比較慢,注意機器內存是否足夠
後臺啓動命令:./bin/nifi.sh start
前端啓動命令:./bin/nifi.sh run
關閉命令:./bin/nifi.sh stop
首次啓動NiFi時,會創建以下文件和目錄:
-
content_repository
database_repository
flowfile_repository
provenance_repository
work
目錄logs
目錄- 在
conf
目錄中,將創建flow.xml.gz文件
5、啓動後,使用瀏覽器進行訪問,地址:http://ip:8080/nifi
6,簡單使用
2、配置GetFile,設置結束關係、輸入目錄、保留源文件,其他設置可以不動,輸入目錄中有文件:file.txt(內容爲abc)。
這是我們設置輸入的文件地址爲:/zywa/tmp_infos/temp_nifi_input
3、從工具欄中拖入一個Processor,在彈出面板中搜索PutFIle,然後確認,如第一步
4、配置PutFile,設置結束關係、輸出目錄,其他設置可以不動,輸出目錄爲空文件夾
這是我們設置輸出的文件地址爲:/zywa/tmp_infos/temp_nifi_input
5、將GetFIle與PutFIle關聯起來,從GetFIle中心點擊,拖拉到PutFIle上
6、右鍵啓動GetFIle與PutFIle(都要啓動喲),可以看到結果,輸入目錄中的文件同步到,輸出目錄中了
7,查看效果:
輸出一個文件
查看輸出文件:
再次輸入一個文件:
查看文件:
注意:操作過程中,注意錯誤排查
1、Processor上的警告
2、Processor上的錯誤
別忘記給連接取個名字: