原创 SODBASE CEP學習（六）：流式計算中的存儲和ETL
許多流式計算應用離不開存儲，也就是把數據存在硬盤上，例如歷史數據的保存。畢竟硬盤適合長期地存儲大量數據。在介紹具體方法之前，先講一個實際項目裏經常要用到的原則，那就是：存儲讀寫速度要和內存計算速度匹配。 怎麼理解呢？例如內存計算速度是10
2020-06-19 13:25:54
3
原创 SODBASE CEP學習（四）續：類SQL語言EPL與Storm或jStorm集成-使用分佈式緩存
流式計算在一些情況下會用到分佈式緩存，從而實現（1）想把統計或計算結果保存在分佈緩存中，供其它模塊或其它系統調用。（2）某一滑動時間窗口上計數，例如實時統計1小時每個Cookie的訪問量，實時統計某商品1天內的銷售數量和銷售額，實時統計某
2020-06-19 13:25:44
原创 SODBASE CEP學習進階篇（三）：自己寫輸入輸出適配器
自己寫輸入輸出適配器，只需要實現OptimizedInputAdaptorI和OptimizedInputAdaptorI就可以了。 1.輸入適配器 package com.example; import java.util.Date;
2020-06-19 13:25:44
1
原创 SODBASE CEP學習進階篇（五）：與分佈式緩存集成
對一些歷史數據的查詢，如果將數據放在存儲中如Hbase或RDBMS中，讀寫性能可能會拖累整個CEP系統的性能。CEP引擎和分佈式緩存系統集成是解決這個問題的一種方法。如果CEP Server機器的內存足夠大，直接開闢在CEP Server
2020-06-19 13:25:44
原创 SODBASE CEP學習（八）：高可用性HA
在許多領域，流式計算CEP和它的高可用性方案發揮着重要的作用。我們往往需要HA方案保證窗口數據和執行計劃不丟失。同時，有時也需要深入進程中的某個線程（任務）監測它的運行狀態。如果心跳機制只建立在Worker(JVM進程)級別，往往會存在W
2020-06-19 13:25:44
原创 SODBASE CEP學習（三）：GUI建模工具SODBASE Studio和CEP服務器
開發者社區活動，SODBASE產品的用戶現在可以領禮品啦 自己寫CEP XML模型和EPL還是有些麻煩,今天跟大家講一下SODBASE Studio的使用，SODBASE Studio用戶自配置的輔助工具，可以生成XML模型和用於部署到
2020-02-20 14:45:41
1
原创 SODBASE CEP學習進階篇（七）：SODBASE CEP與Spark streaming集成
基於內存RDD的Spark框架相比Hadoop MapReduce框架有許多獨特的優點，在越來越多項目中得到應用。Spark計算框架包括其Streaming組件，是批處理(Lamda架構中Batch Layer)的思路。若要在使用Spar
2020-02-20 14:45:41
原创 SODBASE CEP學習進階篇（六）：實現反壓和流限速
前面文章介紹過流數據輸入速率要和處理能力相匹配，短時數據爆發由內部緩衝隊列來緩衝。如果確實存在某個時間點持續數據爆發，可以考慮採取反壓限流的方法。 1. 示例操作步驟 （1）下載SODBASE Studio2.0.22（sp1）以上版本，
2020-02-20 14:45:41
原创 SODBASE CEP學習（四）：類SQL語言EPL與Storm或jStorm集成
開發者社區活動，SODBASE產品的用戶現在可以領禮品啦 Storm框架原本是設計用來做互聯網短文本處理和一些統計工作的，是一種分佈式流式計算框架。在一些場合，特別是在已經用了Storm架構以後，發現又想用EPL語句，Storm和類SQ
2020-02-20 14:45:41
原创 SODBASE CEP學習（十一）：分佈式集羣
大家裝SODBASE CEP Server的時候會發現，它本身就是一個分佈式系統，可以非常方便的快速建立分佈式運算模型。 1. 啓用集羣方法 只要修改sodbase-cep-server-webservice-1.0.1/configur
2020-02-20 14:45:40
3
原创 SODBASE CEP學習進階篇（二）：日誌採集-Flume
開發者社區活動，SODBASE產品的用戶現在可以領禮品啦 在IT系統運維和性能監控中，常常需要對日誌進行分析，得到系統的故障點或性能瓶頸。採用現成的日誌分析軟件，通常着重於監測節點和網絡狀態，幾乎都難以滿足大型應用系統對故障點或性能瓶頸
2020-02-20 14:45:40
1
原创 SODBASE CEP學習進階篇（二）續：日誌採集之外的APM探針方法
CEP因其高效的規則管理能力和卓越的定製化能力，常作爲服務監控或應用監控系統的核心。監控系統中，除了前文介紹的日誌採集方法，還有一種APM探針的方法。APM探針和日誌採集一樣不需要修改原有系統，同時能夠得到一些日誌中不方便監測的數據。 本
2020-02-20 14:45:40
1
原创 SODBASE CEP學習（五）：流式計算中的類SQL語言EPL
開發者社區活動，SODBASE產品的用戶現在可以領禮品啦 （本文中類SQL語句建模、單元測試建議使用SODBASE Studio，參考示例見視頻教程。 SODBASE CEP中，類SQL語言EPL（事件處理語言）也叫做SODSQL。其基
2020-02-20 14:45:40
原创 SODBASE CEP學習（七）：Fail retry機制、去重只執行一次機制、事件亂序處理機制
爲了保證事件能夠在分佈式系統中容錯，socket傳輸中採用了fail retry機制，保證網絡短暫斷線不引起數據丟失。 爲了保證數據只處理一次，SODBASE CEP採用了類似Google MIllWheel的Watermark技術。也類
2020-02-20 14:45:40
原创 SODBASE CEP學習（十二）：規則模板、閾值和用戶界面
對於不懂程序的普通用戶來說，類SQL的EPL（事件處理語言）還是不夠友好的。例如在算法交易系統或一些監控系統中，往往需要給用戶通過操作界面來配置修改規則和策略。本文介紹一些幫助開發者完成這樣功能的方法。通常來講，我們可以自己做一個Web界
2020-02-20 14:45:40