【StreamSets】 JDBC_502 - Batch size greater than maximal batch size allowed in sdc.properties

【問題描述】 

       今天在CDH集羣中使用StreamSets的時候報瞭如下的錯誤：

JDBC_502 - Batch size greater than maximal batch size allowed in sdc.properties, maxBatchSize: 1000

【問題原因】

       看錯誤很明顯，默認的maxBatchSize:爲1000，咱們從數據源中讀取的記錄數大於1000，於是會報這個錯誤。

【解決辦法】

       CDH監控界面找到StreamSets的配置頁面，搜索production.maxBatchSize，將默認值調大：

       這裏需要注意的是，這個閾值調大之後，很可能會報Java內存溢出的情況，這裏最好調大一下相關的配置：

       默認是1G，這裏小編設置爲4G。