- 前言
現在我們來講講kettle如何整合hive進行操作
- 準備環境
開啓hiveserver2服務
cd /export/servers/hive-1.1.0-cdh5.14.0 nohup bin/hive --service hiveserver2 &
連接hive
hive
創建並切換數據庫
create database test;
use test;
創建表
create table a(a int,b int) row format delimited fields terminated by ',' stored as TEXTFILE; show tables;
創建數據文件
vim a.txt
1,11
2,22
3,33
從文件加載數據到表
load data local inpath '/root/a.txt' into table a;
查詢表
select * from a;
修改權限，因爲下面有些操作需要權限
hadoop fs -chmod -R 777 /tmp/hadoop-yarn
- kettle與Hive整合
從虛擬機下載Hadoop的jar包
sz /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.0.jar
把jar包放置在\data-integration\lib目錄下
重啓kettle，重新加載生效
- 從hive中讀取數據到Excel
hive數據庫是通過jdbc來進行連接，可以通過表輸入控件來獲取數據，從hive數據庫的test庫的a表中獲取數據，並把數據保存到Excel中。
拖拽一個表輸入組件、一個Excel輸出組件、並按住Shift拖動鼠標連接兩個組件
配置表輸入組件
配置Excel輸出組件
點擊三角形箭頭執行
- 從Excel中讀取數據到hive
拖拽一個Excel輸入組件、一個表輸出組件、並按住Shift拖動鼠標連接兩個組件
配置Excel輸入組件
配置表輸出組件
點擊三角形箭頭執行