各個框架啓動與停止的命令

zookeeper:

三個節點上都執行: zkServer.sh start 啓動單個節點的zk服務

查看zk進程是否存在:jps ,發現一個進程 QuorumPeerMain

zkServer.sh status 查看該zk服務器是follower還是leader。

hdfs:

start-dfs.sh

stop-dfs.sh

查看hdfs進程是否存在:jps

bin/hdfs zkfc -formatZK 在node01機器上進行zookeeper的初始化,其本質工作是創建對應的zookeeper節點

journalnode:

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.sh start journalnode 三臺機器執行以下命令啓動journalNode,用於我們的元數據管理

/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hdfs namenode -initializeSharedEdits -force node01機器上準備初始化journalNode

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.sh start zkfc 在node01、node02上分別啓動zkfc進程

yarn(mr):

start-yarn.sh

stop-yarn.sh

查看yarn進程是否存在:jps

jobhistory:

mr-jobhistory-daemon.sh start historyserver

mr-jobhistory-daemon.sh stop historyserver

查看jobhistory進程是否存在:jps ,

flume:

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

啓動:flume-ng agent -n a1 -c conf -f conf/wifi.conf -Dflume.root.logger=INFO,console(已經配置flume的環境變量)

停止:以上啓動方式是前臺啓動,可以直接按ctrl+C

hive:

nohup hive --service hiveserver2 &

nohup hive --service metastore &

查看hive進程是否存在:jps 發現多了2個RunJar進程。

impala:

service impala-state-store start | stop | restart

service impala-catalog start | stop | restart

service impala-server start | stop | restart

查看impala進程是否存在:ps -ef | grep impala

hue:

cd /export/servers/hue-3.9.0-cdh5.14.0

build/env/bin/supervisor

如配置了環境變量:則直接執行:supervisor

查看hue進程是否存在:ps -ef | grep hue

oozie:

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozied.sh start | stop

如配置了環境變量,則直接執行:oozied.sh start | stop

查看oozie進程是否存在:jps 發現多了一個Bootstrap進程。

kafka: (需要三臺機器上都執行該命令)

cd /export/servers/kafka_2.11-1.0.0/

啓動:nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

停止:bin/kafka-server-stop.sh

查看kafka進程是否存在: jps 發現多了一個Kafka進程。

storm: (需要三臺機器上都執行相應的命令)

cd /export/servers/apache-storm-1.1.1

Node01 啓動相關服務

啓動 nimbus進程: nohup bin/storm nimbus >/dev/null 2>&1 &

啓動web UI: nohup bin/storm ui >/dev/null 2>&1 &

啓動logViewer: nohup bin/storm logviewer >/dev/null 2>&1 &

啓動supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &

Node02啓動相關服務

nimbus: nohup bin/storm nimbus >/dev/null 2>&1 &
logviewer: nohup bin/storm logviewer >/dev/null 2>&1 &
supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &

node03啓動相關服務

nimbus: nohup bin/storm nimbus >/dev/null 2>&1 &
logviewer: nohup bin/storm logviewer >/dev/null 2>&1 &
supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &

停止:直接kill -9 storm的進程號

啓動storm的拓撲任務:

cd /export/servers/apache-storm-1.1.1/

bin/storm jar logMonitor.jar cn.itcast.storm.logMonitor.LogMonitorMain logMonitor

停止storm的拓撲任務: bin/storm kill logMonitor (注意:對應該拓撲任務,有2個進程LogWriter, worker,直接kill -9 這2個進程的進程號,是沒用的!)

spark:(需要先啓動zk,纔可以構建高可用SPARK集羣,可以先啓動HDFS,以便於整合hdfs)

/export/servers/spark-2.1.3-bin-hadoop2.7/sbin/start-all.sh :啓動所有的master和worker。

啓動spark-shell:

spark-shell --master local[2]

指定具體的master地址:spark-shell --master spark://node01:7077

另外,還有sqoop,azkaban。

其中sqoop不需要啓動服務,用的時候直接執行sqoop export | import就行。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章