kettle6.1轉換內正確的併發設置姿勢

引子

網上很多教程沒搞懂“改變開始複製的數量”這個意思,將數量設置在輸入端,導致不僅沒有進行多線程併發,反而變成複製讀入多分數據導致開銷增大,而且還造成了數據重複寫入,這樣還敢說性能提升,真是有鬼了。

實際效果

單線程效果

單線程插入

所謂的“多線程”,不僅沒有提升速度,反而給我往文本文件裏寫了50W條數據,說這個多線程的,不會閱讀什麼叫“開始複製”這四個字嗎,都說了複製了!!真是蠢爆了。

複製數5

正確姿勢

複製數應當設置在輸出端!這個時候是以流中的數據,變爲5份執行。
輸出端

加速!!

如果要進一步提升怎麼辦?應當通過相應規則設置輸入步驟,比如分頁、業務時間等

分頁讀

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章