storm學習(1)-基礎

strom:http://storm.apache.org/index.html

 實時計算系統,持續計算,速度快,每秒百萬tuble,

 

tuble:元組 數據結構,使用 逗號分隔,

stream:一系列的tuble

spout:水龍頭 數據源

bolt:螺栓,邏輯處理單元,spout數據傳給bolt,bolt處理後爲新的tuble ,可以filter,MapReduce,group

topology:無環有向圖。只能kill-9

tasks:spout和bolt的執行過程就是task,

works:工作節點,storm和worker之間均衡分配任務,監聽job ,start stop進程

stream group :控制tuble如何流動。

storm 架構:

nimbus  核心組件, master node,主要運行toplogy 在work node分發數據,監控故障,指派task給worker node

supervisor :有多個處理進程,代理task給所有的work進程,work進程孵化出足夠的線程 task 接受nimbus 分發的指令,監督worker進程,完成task

 

 

 

 

 

 

storm 搭建:

 
       sh storm nimbus &
       sh storm supervisor &
       sh storm ui &
       netstat -ano |grep 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章