FLINK CEP 網站狀態報警監控和恢復通知

flink CEP 簡介

flink CEP（Complex event processing），是在Flink之上實現的複雜事件處理庫，可以允許我們在不斷的流式數據中通過我們自己定義的模式（Pattern）檢測和獲取出我們想要的數據，然後對這些數據進行下一步的處理。 通過各種pattern的組合，我們可以定義出非常複雜的模式來匹配我們的數據。

網上講CEP原理和用法的文章很多，大家可以參考下
https://juejin.im/post/5de1f32af265da05cc3190f9#heading-9

簡單來說一下，其實我們可以把使用flink cep當做我們平時用的正則表達式，cep中的Pattern就是我們定義的正則表達式，flink中的DataStream就是正則表達式中待匹配的字符串，flink 通過DataStream 和 自定義的Pattern進行匹配，生成一個經過過濾之後的DataStream .

基於自定義的pattern，我們可以做很多工作，比如監控報警、風控、反爬等等，接下來我們基於一個簡單的報警小例子來講解一些FLINK cep的實際應用。

案例詳解

我們基於flink CEP做一個簡單的報警，首先我們簡化一下報警的需求
1.統計出來每秒鐘http狀態碼爲非200的數量所佔比例。大於0.7的時候觸發報警。
2.統計結果連續發生三大於閾值（0.7，這個數字是我自己寫的，爲了測試用，真實環境需要根據實際經驗來設置）發送報警通知。
3.統計結果小於等於閾值觸發報警恢復通知。

實際應用中我們一般會去消費kafka的數據來作爲source、這裏我們爲了簡化，通過自定義source生成一些模擬的數據。

	public static class MySource implements SourceFunction<Tuple4<String,Long,Integer,Integer>>{

		static int status[] = {200, 404, 500, 501, 301};

		@Override
		public void run(SourceContext<Tuple4<String,Long,Integer,Integer>> sourceContext) throws Exception{
			while (true){
				Thread.sleep((int) (Math.random() * 100));
				// traceid,timestamp,status,response time

				Tuple4 log = Tuple4.of(
						UUID.randomUUID().toString(),
						System.currentTimeMillis(),
						status[(int) (Math.random() * 4)],
						(int) (Math.random() * 100));

				sourceContext.collect(log);
			}
		}

		@Override
		public void cancel(){

		}
	}

接下來我們定義一個sql，用來計算我們的需求中的第一個要求。

		String sql = "select pv,errorcount,round(CAST(errorcount AS DOUBLE)/pv,2) as errorRate," +
		             "(starttime + interval '8' hour ) as stime," +
		             "(endtime + interval '8' hour ) as etime  " +
		             "from (select count(*) as pv," +
		             "sum(case when status = 200 then 0 else 1 end) as errorcount, " +
		             "TUMBLE_START(proctime,INTERVAL '1' SECOND)  as starttime," +
		             "TUMBLE_END(proctime,INTERVAL '1' SECOND)  as endtime  " +
		             "from log  group by TUMBLE(proctime,INTERVAL '1' SECOND) )";

通過執行sql，我們獲取到了一個Result對象的DataStream,

		Table table = tenv.sqlQuery(sql);
		DataStream<Result> ds1 = tenv.toAppendStream(table, Result.class);

接下來我們到了最核心的地方，我們需要定一個Pattern。

		Pattern pattern = Pattern.<Result>begin("alert").where(new IterativeCondition<Result>(){
			@Override
			public boolean filter(
					Result i, Context<Result> context) throws Exception{
				return i.getErrorRate() > 0.7D;
			}
		}).times(3).consecutive().followedBy("recovery").where(new IterativeCondition<Result>(){
			@Override
			public boolean filter(
					Result i,
					Context<Result> context) throws Exception{
				return i.getErrorRate() <= 0.7D;
			}
		}).optional();

來詳細解釋一下這個Pattern

1. 首先定義一個名爲alert的Pattern，該Pattern的作用就是過濾出錯誤率大於0.7的數據，
2. times(3) ,表示要匹配三次，也就是要三次大於0.7.
3. consecutive 表示上述的三次匹配要是連續的，比如0.75、0.8、0.78，只有類似這樣的數據才能被匹配到，中間不能有不符合的數據出現。
4. followedBy表示該alert pattern的下面要跟着一個recovery pattern，而followedBy是寬鬆匹配，也就是兩個模式之間可以有其他的數據，如果要採用嚴格匹配，是使用next.
5. 最後recovery pattern加上一個optional 是我爲了區分報警，和報警恢復想的的一個方案，這樣的話，如果是隻匹配到了alert pattern，輸出的就是報警，如果recovery pattern也匹配到了，那麼就是報警恢復。

在我們獲得了相應的報警和恢復之後，接下來就是調用報警接口進行處理了，我們這只是簡單的打印出來信息。

		DataStream<Map<String,List<Result>>> alertStream = org.apache.flink.cep.CEP.pattern(
				ds1,
				pattern).select(new PatternSelectFunction<Result,Map<String,List<Result>>>(){
			@Override
			public Map<String,List<Result>> select(Map<String,List<Result>> map) throws Exception{
				List<Result> alertList = map.get("alert");
				List<Result> recoveryList = map.get("recovery");

				if (recoveryList != null){
					System.out.print("接受到了報警恢復的信息，報警信息如下：");
					System.out.print(alertList);
					System.out.print("  對應的恢復信息：");
					System.out.println(recoveryList);
				} else {
					System.out.print("收到了報警信息 ");
					System.out.print(alertList);
				}

				return map;
			}
		});

完整的代碼請參考
https://github.com/zhangjun0x01/bigdata-examples/blob/master/flink/src/main/java/cep/WebMonitorAlert.java

歡迎關注我的公衆號，一起討論