原创 spark 算子

spark 算子

原创 linux IO 內核參數調優(路徑修正)

轉自:https://blog.csdn.net/oceansw/article/details/78271187 page cachelinux操作系統默認情況下寫都是有寫緩存的,可以使用direct IO方式繞過操作系統的寫緩存。當你

原创 spark 算子

spark 算子

原创 elasticsearch索引性能優化

bulk提交 mapping設置,不需要搜索的field不建索引 refresh間隔加長,默認一秒 flush改異步 時間段索引等方式減少一個索引的數據量 合理分配片數量 可以的話replication改爲0

原创 kafka分區

一、topic下引入partition的作用:topic是邏輯的概念,partition是物理的概念。爲了性能考慮,如果topic內的消息只存於一個broker,那這個broker會成爲瓶頸,無法做到水平擴展。kafka通過算法儘可能的把p