storm 基础知识点

 

 

 

                                                        STROM基础知识点

1、  STROM基本概念

 

2、  构建TOPOLOGY

1)  实现目标

实现对一个句子里面的单词出现的频率进行统计

2)  设计TOPOLOGY结构

开发STROM项目的第一步

 

3)  设计数据流

4)  代码实现

5)  运行TOPOLOGY

 

 

3、  TOPOLOGY并行度

   

4、  消息TUPLE的可靠处理

以构建的TOPOLOGY为例

  • 消息被完整处理

超时值

 

  • 消息的生命周期

  • 可靠相关的API

  • 高效的实现tuple tree

  • 选择合适的可靠性级别

  • 集群的各级容错

 

  

5、  一致性任务

 

 

6、  STORM实力

 

在本地用maven

 

D\workspace\storm-starter>mvn  compile exec:java  –Dstorm.topology=

Storm.starter.LogTopology

 

红色是项目的根目录

***是包名

蓝色是要跑的那个topology

 

Storm命令简介

 

 

提交Topologies

命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

样例:storm jar /storm-starter.jarstorm.starter.WordCountTopology wordcountTop

#提交storm-starter.jar到远程集群,并启动wordcountTop拓扑。

停止Topologies

命令格式:storm kill 【拓扑名称】

样例:storm kill wordcountTop

#杀掉wordcountTop拓扑。

启动nimbus后台程序

命令格式:storm nimbus

启动supervisor后台程序

命令格式:storm supervisor

启动drpc服务

命令格式:storm drpc

启动ui服务

命令格式:storm ui

启动REPL

REPL — read-evaluate-print-loop。

虽然clojure可以作为一种脚本语言内嵌在java里面,但是它的首选编程方式是使用REPL,这是一个简单的命令行接口,使用它你可以输入你的命令,执行,然后查看结果, 你可以以下面这个命令来启动REPL:

命令格式:storm repl

打印本地配置

命令格式:storm localconfvalue 【配置参数关键字】

举例:storm localconfvalue storm.zookeeper.servers

#根据指定参数打印本地配置的值。

打印远程配置

命令格式:storm remoteconfvalue 【配置参数关键字】

举例:storm remoteconfvalue storm.zookeeper.servers

#根据指定参数打印远程配置的值。

执行Shell脚本

命令格式:storm shell resourcesdir command args

打印CLASSPATH

命令格式:storm classpath

 

 

 


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章