kettle對排序記錄節點集羣時,關於數據不准問題



     這兩天試驗“Kettle 集羣(cluster)在多個服務器(windows、linux)上併發執行”這篇文章提及的kettle集羣,鏈接地址:http://blog.csdn.net/lixuemei504/article/details/38271145 ,文中用kettle中的排序記錄作爲實例進行集羣講解,經過實際操作發現,每次排序的結果都不一樣。當時產生了困惑,還以爲kettle不適於對排序記錄進行集羣。

後來找了一篇老外寫的文章,如下

http://type-exit.org/adventures-with-open-source-bi/2011/10/clustering-in-kettle/

寫的很清楚,只要在排序記錄後面加一個排序合併就可以了。經測試,對於效率的影響甚微。如下圖:排序記錄。


需要注意的是排序合併裏的排序字段要和排序記錄裏的一樣,升降序也要一樣。

發佈了52 篇原創文章 · 獲贊 15 · 訪問量 36萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章