使用kettle從HDFS上 下載、上傳文件
文章目錄
下載
1. 從核心對象中找到Big data，拉出 Hadoop file input 步驟，然後輸入相關信息。
![[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Q92whKf0-1570519510444)(D:\學習筆記\kettle\保存圖片\kettle從HDFS上下載數據\01拉出組件.jpg)]](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20191008152528965.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h4eWR6eXI=,size_16,color_FFFFFF,t_70)
2. 將結果輸出到excel中。
![[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-eJrIK9QJ-1570519510445)(D:\學習筆記\kettle\保存圖片\kettle從HDFS上下載數據\02結果.jpg)]](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20191008152551357.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h4eWR6eXI=,size_16,color_FFFFFF,t_70)
上傳
把之前下載下來的文件再傳上去。
1. 拉出一個excel 輸入，和一個 Hadoop file output ，連接起來。然後修改兩者。
![[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-TzHZgSaQ-1570519510447)(D:\學習筆記\kettle\保存圖片\kettle從HDFS上下載數據\03設置上傳.jpg)]](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/2019100815260238.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h4eWR6eXI=,size_16,color_FFFFFF,t_70)
2. 上傳報錯，發現是沒有權限。
使用命令：hadoop fs -chmod -R 777 / ，使得所有角色都擁有HDFS的權限。
![[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-yHssWab8-1570519510449)(D:\學習筆記\kettle\保存圖片\kettle從HDFS上下載數據\04上傳報錯.jpg)]](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20191008152612125.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h4eWR6eXI=,size_16,color_FFFFFF,t_70)
3. 最終結果
![[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-j8mgJOwB-1570519510451)(D:\學習筆記\kettle\保存圖片\kettle從HDFS上下載數據\05上傳結果.jpg)]](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20191008152620562.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h4eWR6eXI=,size_16,color_FFFFFF,t_70)