Spark Streaming 使用

1. 常用參數
   val sparkConf = new SparkConf().setAppName("...")
   .set("spark.streaming.kafka.consumer.poll.ms", "100000")
   //基於Direct Stream方式的Kafka連接時可設置此參數
   .set("spark.streaming.kafka.maxRatePerPartition","500")
   .set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
   .set("spark.streaming.backpressure.enabled","true")
   .set("spark.speculation","true")
   val ssc=new StreamingContext(sparkConf,Seconds(10)) //batchDuration
   
   
   
   
   
   
   
   

        spark.streaming.backpressure.initialRate   啓用反壓機制時每個接收器接收第一批數據的初始最大速率。默認值沒有設置
        spark.streaming.backpressure.pid.minRate 用於控制最小處理速率，默認值100條/秒

   //控制每秒讀取Kafka每個Partition最大消息數(maxRatePerPartitionbatchDuration)，若Streaming批次爲10秒，topic最大分區爲3，則每批次最大接收消息數爲5003*10=15000

   2、日誌查看

   待續

   3、性能問題解決
   待續
   

   4、一致性問題解決

   待續