strom:http://storm.apache.org/index.html
實時計算系統,持續計算,速度快,每秒百萬tuble,
tuble:元組 數據結構,使用 逗號分隔,
stream:一系列的tuble
spout:水龍頭 數據源
bolt:螺栓,邏輯處理單元,spout數據傳給bolt,bolt處理後爲新的tuble ,可以filter,MapReduce,group
topology:無環有向圖。只能kill-9
tasks:spout和bolt的執行過程就是task,
works:工作節點,storm和worker之間均衡分配任務,監聽job ,start stop進程
stream group :控制tuble如何流動。
storm 架構:
nimbus 核心組件, master node,主要運行toplogy 在work node分發數據,監控故障,指派task給worker node
supervisor :有多個處理進程,代理task給所有的work進程,work進程孵化出足夠的線程 task 接受nimbus 分發的指令,監督worker進程,完成task
storm 搭建:
sh storm nimbus &
sh storm supervisor &
sh storm ui &
netstat -ano |grep