測試服務器
硬件信息：
[root@catdb ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
2
[root@catdb ~]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 6
[root@catdb ~]# cat /proc/cpuinfo| grep "processor"| wc -l
12
[root@catdb ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
12 Intel(R) Xeon(R) CPU E5-2603 v3 @ 1.60GHz
[root@catdb ~]# free -m
total used free shared buff/cache available
Mem: 15757 5056 938 1206 9762 9047
Swap: 32767 6765 26002
io性能：
[root@catdb bin]# time dd if=/root/ubuntu.tar of=test.file
2553093+0 records in
2553093+0 records out
1307183616 bytes (1.3 GB) copied, 7.89118 s, 166 MB/s
real 0m7.906s
user 0m0.454s
sys 0m5.539s
表信息：
size： 1.12G
num_rows：6,015,341
columns： 21
測試場景：全量抽取並加載至本庫。同時kettle跟datax均在服務器上執行。
測試過程：
kettle的log：
2019/12/20 11:02:44 - Spoon - Transformation opened.
2019/12/20 11:02:44 - Spoon - Launching transformation [rcattest01]...
2019/12/20 11:02:44 - Spoon - Started the transformation execution.
.........
2019/12/20 11:05:33 - 表輸入.0 - Finished reading query, closing connection.
2019/12/20 11:05:33 - 表輸入.0 - Finished processing (I=6015341, O=0, R=0, W=6015341, U=0, E=0)
2019/12/20 11:05:33 - 表輸出.0 - Finished processing (I=0, O=6015341, R=6015341, W=6015341, U=0, E=0)
2019/12/20 11:05:33 - Spoon - The transformation has finished!!
dataxde的log:
.........
2019-12-20 11:19:24.851 [job-0] INFO JobContainer -
任務啓動時刻 : 2019-12-20 11:17:13
任務結束時刻 : 2019-12-20 11:19:24
任務總計耗時 : 131s
任務平均流量 : 8.90MB/s
記錄寫入速度 : 46271rec/s
讀出記錄總數 : 6015341
讀寫失敗總數 : 0
測試結果：
kettle耗時167秒 VS datax耗時131秒。
600萬條總計1.12G大小的表，datax比kettle快36秒。