原创 Esper系列(三)Context和Group by

Context 把不同的事件按照框的規則框起來(規則框在partition by中定義),並且有可能有多個框,而框與框之間不會互相影響。 功能: 組合事件查詢並進行分組,類型:Hash Context、Category Context、

原创 Docker系列(二)組件介紹

鏡像 鏡像是一個只讀的模版,可以用來創建Docker容器。 容器 Docker利用容器來運行應用,容器是從鏡像創建的運行實例。它可以被啓動、開始、停止、刪除。每個容器都是互相隔離的,保證安全的平臺。可以把容器看做

原创 Storm系列(十八)事務介紹

功能:將多個tuple組合成爲一個批次,並保障每個批次的tuple被且僅被處理一次。 storm事務處理中,把一個批次的tuple的處理分爲兩個階段processing和commit階段。 processing階段運行多個批次的tuple

原创 Storm系列(十九)普通事務ITransactionalSpout及示例

普通事務API詳解 1  public interface ITransactionalSpout<T> extends IComponent { 2      public interface Coordinator<X> { 3

原创 Storm系列(十七)DRPC介紹

Storm版本0.9.5 在storm中DRPC服務應用於遠程分佈式計算,根據客戶端提交的請求參數,而返回Storm計算的結果。 DRPC服務啓動流程(遠程模式) 啓動DRPC服務,啓動命令:storm drpc 修改storm.ya

原创 Esper系列(四)Output

功能 控制Esper事件流計算結果的輸入形式、時間點及頻率; 格式 1  output [after suppression_def]  2    [[all | first | last | snapshot] every out

原创 Esper系列(五)Order by、Limit、構建事件流、Updating an Insert Stream

Order by 與SQL語法類似類似,默認爲升序排列; 注意: 如果order by的子句中出現了聚合函數,那麼該聚合函數必須出現在select的子句中。 出現在select中的expression或者在select中定義

原创 Storm系列(二十)分區事務PartitionTransaction及示例

在Storm中分區事務的處理,Spout端需要實現IPartitionedTransactionalSpout接口,用於對批次及偏移量的控制,而Bolt都必須實現IBatchBolt接口,通常繼承至BaseTransactionalBol

原创 Docker系列(四)Dockerfile

基本語法 使用 #來註釋 FROM 指令告訴Docker使用哪個鏡像作爲基礎 接着是維護者信息 RUN 開頭的指令會在創建中運行,比如安裝軟件包 FROM 格式: FROM<image>或FROM<image>:<tag> 說明:第一條

原创 Esper系列(十二)Variables and Constants

功能:變量和常量的定義及應用。 EPL配置創建 1  // 方式一EPAdministrator之後再設置變量及常量 2  EPServiceProvider epService = EPServiceProviderManage

原创 Storm系列(十六)架構分析之Executor-Bolt

準備消息循環的數據 函數原型: 1  let[executor-sampler (mk-stats-sampler (:storm-conf executor-data))] 主要功能: 定義tuple-action-fn函數,該函

原创 Docker系列(五)OVS+Docker網絡打通示例

環境說明 兩個虛擬機 操作系統Centos7 DOcker版本1.8 腳本內容: 1  # From http://goldmann.pl/blog/2014/01/21/connecting-docker-containers-o