大數據部分組建相關命令

1、Hadoop集羣
(1)啓動方式切換到主節點的hadoop安裝目錄下的sbin目錄下
    a)/start-dfs.sh
    ./start-yarn.sh (建議使用)
    b)./start-all.sh
(2)關閉方式
    a)./stop-dfs.sh
        ./stop-yarn.sh (建議使用)
    b)./stop-all.sh

2、Spark集羣
切換到主節點的Spark安裝目錄下的sbin目錄下(1)啓動方式./start-all.sh(2)關閉方式./stop-all.sh


3、HBase集羣
(1)啓動方式先啓動Hadoop集羣,後啓動HBASE#cd
 $HBASE_HOME/bin#./start-hbase.sh(2)關閉方式#cd
 $HBASE_HOME/bin#./stop-hbase.sh(3)web訪問方式Masterhttp://192.168.2.12:60010/master-statusRegionServerhttp://192.168.2.12:60030/

 
 4、Hive
hadoop必須已經啓動切換到節點的Hive安裝目錄下的bin目錄(1)啓動Hive:./hive
如果配置環境變量 直接輸入hive或者./hive --service cli


5、Kafka

切換到節點的Kafka安裝目錄下的bin目錄
(1)啓動Kafka服務:./kafka-server-start.sh config/server.properties > /dev/null 2>&1 &
(2)查看Kafka狀態:./zkServer.sh status
(3)創建topic:./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic mykafka
(4)查看topic:./kafka-topics.sh --list --zookeeper localhost:2181
(5)發送消息:./kafka-console-producer.sh --broker-list localhost:9092 --topic mykafka
(6)接收消息:./kafka-console-consumer.sh --zookeeper localhost:2181 --topic mykafka --from-beginning
(7)查看topic情況:./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
(8)刪除topic:./kafka-topics.sh --zookeeper localhost:2181 --delete --topic my_topic_name
(9)關閉Kafka服務:1、jps查看pid 2、kill -9 pid

 


6、ZooKeeper
切換到節點的zookeeper安裝目錄下的bin目錄
(1)啓動ZK服務:./zkServer.sh start
(2)查看ZK服務狀態:./zkServer.sh status
(3)停止ZK服務:./zkServer.sh stop
(4)重啓ZK服務:./zkServer.sh restart


使用jps查看:
jps
結果
QuorumPeerMain

 


7、Storm
切換到節點的Storm安裝目錄下的bin目錄
(1)啓動Storm主結點:nohup ./storm nimbus > ../logs/info 2>&1 &
(2)啓動Storm從結點:./storm supervisor > ../logs/info 2>&1 &
(3)啓動Storm管理界面:./storm ui> /dev/null 2>&1 &
(4)啓動Storm日誌:nohup storm logviewer > /dev/null 2>&1 &
(5)查看任務:./storm list  
(6)殺死任務:./storm kill lifeCycle(任務名稱)
 
 
 
 
 8、Flume
切換到Flume安裝目錄下
(1)啓動服務:bin/flume-ng agent --conf conf/  --conf-fileconf/example.conf--name a1-Dflume.monitoring.type=http -Dflume.monitoring.port=34343 - Dflume.root.logger=INFO,console &
(2)停止服務:1、jps查看pid 2、kill -9 pid

 

9、Solr
進入安裝目錄下的example目錄(1)啓動服務:後臺運行solr,默認監聽8983端口nohup
 (1)啓動服務:後臺運行solr,默認監聽8983端口
        nohup java -jar start.jar >/dev/null &
(2)停止服務:java -DSTOP.PORT=8983 -DSTOP.KEY=solr -jar start.jar –stop

 

10、ElasticSearch
下載並解壓elasticsearch-servicewrapper-master把service目錄拷貝到ES_HOME/bin/目錄下面
cd ES_HOME/bin/service
 (1)啓動服務:./elasticsearch start
 (2)關閉服務:./elasticsearch stop


11.sqoop
進入安裝目錄下
首先啓動server,再打開shell
開啓服務:
./bin/sqoop2-server start
打卡shell: ./bin/sqoop2-shell
查看安裝版本: ./bin/sqoop2-tool verify

 


12.MySql
啓動mysql mysql -u root -p
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章