原创 基於flume+kafka的日誌收集架構

資源:4core/8g*2臺,最終結果:1500併發/s時,tps約9000,cpu佔用60%作用,mem佔用6g左右 1、flume 本次日誌收集採用Apache高可用的,高可靠的,分佈式的海量日誌採集、聚合和傳輸的系統flume,

原创 Spark DataFrame常用操作

Spark-SQL之DataFrame操作大全 https://blog.csdn.net/dabokele/article/details/52802150 https://blog.csdn.net/olizxq/articl

原创 基於fume+kafka的日誌收集架構

資源:4core/8g*2臺,最終結果:1500併發/s時,tps約9000,cpu佔用60%作用,mem佔用6g左右 1、flume 本次日誌收集採用Apache高可用的,高可靠的,分佈式的海量日誌採集、聚合和傳輸的系統flume,