kettle配置Hadoop環境

kettle配置Hadoop環境

1. 從Hadoop集羣上下載 core-site.xml 和 hdfs-site.xml

1. 先進入Hadoop的配置文件位置，然後找到 core-site.xml 和 hdfs-site.xml，使用 sz 命令下載下來。

   cd /export/server/hadoop-2.7.4/etc/hadoop
   sz core-site.xml
   sz hdfs-site.xml
   

2. 打開kettle，在菜單欄裏選擇工具，下拉選擇Hadoop Distribution，選擇HortonWorks HDP 2.5.x，然後點擊ok。接着關閉kettle。

3. 將配置文件放置到 D:\software\kettle\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25 路徑下，即kettle的安裝目錄的plugin下的子目錄中。替換掉裏面的文件。

4. 再次打開kettle，新建一個Hadoop連接。

5. 可以發現這個Hadoop File System Connection 報錯，無法連接到hdfs。

   查詢問題，使用命令：netstat -aptn 查詢發現，8020 端口沒有開啓，然後想到之前將Hadoop的端口設成了 9000，改成 9000後ok。