原创 Java時間處理小結

UTC時間和GMT時間 GMT 格林威治時間,十七世紀,格林威治皇家天文臺爲了海上霸權的擴張計畫而進行天體觀測。1675年舊皇家觀測所(Old Royal Observatory) 正式成立,到了1884年決定以通過格林威治的子午

原创 VoltDB介紹

VoltDB介紹 簡介 VoltDB數據庫是一個分佈式,可擴展,shared-nothing的內存數據庫。使用JAVA 寫的存儲過程來定義事務。使用標準SQL訪問數據,使用並行的單線程處理方式確保數據一致性,同時避免了傳統數據庫

原创 Git常用命令歸檔

代碼操作命令 # clone遠程代碼 $ git clone https://github.com/HuaweiBigData/StreamCQL # 更新本地代碼到最新 $ git pull # 當前狀態查看 $ git sta

原创 2015書單

2015書單 全年共看書30本,其中技術書籍2本,思維類1本,科普類3本,歷史類7本,小說和雜記類共17本。實體書10本,電子書14本,網絡收集6本,正版意識正在加強。 2015 書單: 名稱 來源 類型 短評 St

原创 Calcite中的流式SQL

Calcite中的流式SQL Calcite中的流式SQL總體設計思路 總體語法應該兼容SQL,這個是和目前流處理SQL的發展趨勢是一致的。 如果部分功能標準SQL中沒有包含,則儘量採用業界標杆(Oracle)。比如模式匹配的功能,目

原创 Storm-Kafka源代碼解析

Storm-Kafka源代碼解析 說明:本文所有代碼基於Storm 0.10版本,本文描述內容只涉及KafkaSpout和KafkaBolt相關,不包含trident特性。 Kafka Spout KafkaSpout的構造函數如下:

原创 KafkaStreams介紹(四) –架構

  說明: 本文是Confluent Platform 3.0版本中對於Kafka Streams的翻譯。 原文地址:https://docs.confluent.io/3.0.0/streams/index.html 看了很多其他人翻譯

原创 StreamCQL源碼閱讀(2) 語法和語義解析

本文轉載自http://zqhxuyuan.github.io/ 如需轉帖,請徵得原作者同意 StreamCQL的Schema以及語法和語義解析 前戲: SemanticAnalyzer 客戶端提交的CQL

原创 StreamCQL源碼閱讀(4) 應用程序執行

本文轉載自http://zqhxuyuan.github.io/如需轉帖,請徵得原作者同意 StreamCQL應用程序執行流程 前戲: CQL代碼結構 之前我們並沒有梳理CQL部分的代碼結構

原创 流處理基本介紹

1.  什麼是流處理 一種被設計來處理無窮數據集的數據處理系統引擎 2.  流處理的幾個概念 1.     無窮數據(Unbounded data):一種持續生成,本質上是無窮盡的數據集。它經常會被稱爲“流數據”。然而,用流和批次來定義

原创 PipeLineDB總結

1、基於Postgre數據庫, 可以使用數據庫庫的函數,表達式,存儲過程等功能,自身功能就已經足夠強大了。而且還支持proxy等分表分庫插件。 2、所有的流必須以Stream開始,先創建stream然後纔可以使用view或者transfo

原创 Twitter Heron閱讀筆記

Twitter Heron閱讀筆記 說明:本文是《Twitter Heron: Stream Processing at Scale》的閱讀記錄整理,再結合網上其他資料整理而成,文中圖片主要來自Heron論文和InfoQ上的宣傳資料。 S

原创 關於時序數據庫

看了一些時序數據庫,沒有太深入,有一些大概認識,記錄下來。 1.  核心 數據存儲分爲行存儲或者列存儲,由於列存儲的高壓縮比,現在使用列存儲的比較多一些。 當前有很多時序數據庫採用了在底層KV存儲(Cadssandra, HBase,

原创 StreamCQL源碼閱讀(1) 提交任務

本文轉載自http://zqhxuyuan.github.io/ 如需轉帖,請徵得原作者同意 大數據上的流式SQL引擎—StreamCQL: http://www.csdn.net/artic

原创 數據庫事務總結

數據庫事務總結 數據庫事務 Tags: Database Transaction 鎖機制 悲觀鎖 假設更新衝突會發生,所以不管衝突是否真的發生,都使用鎖,這樣會帶來很大的性能損失 悲觀鎖是很常見的數據庫鎖方式,尤其是傳統數據庫,很多帶