Spark Streaming 使用

1. 常用参数
   val sparkConf = new SparkConf().setAppName("...")
   .set("spark.streaming.kafka.consumer.poll.ms", "100000")
   //基于Direct Stream方式的Kafka连接时可设置此参数
   .set("spark.streaming.kafka.maxRatePerPartition","500")
   .set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
   .set("spark.streaming.backpressure.enabled","true")
   .set("spark.speculation","true")
   val ssc=new StreamingContext(sparkConf,Seconds(10)) //batchDuration
   
   
   
   
   
   
   
   

        spark.streaming.backpressure.initialRate   启用反压机制时每个接收器接收第一批数据的初始最大速率。默认值没有设置
        spark.streaming.backpressure.pid.minRate 用于控制最小处理速率，默认值100条/秒

   //控制每秒读取Kafka每个Partition最大消息数(maxRatePerPartitionbatchDuration)，若Streaming批次为10秒，topic最大分区为3，则每批次最大接收消息数为5003*10=15000

   2、日志查看

   待续

   3、性能问题解决
   待续
   

   4、一致性问题解决

   待续