hadoop2.x 常用端口及定義方法


一. 常用端口號

Hadoop 集羣的各部分一般都會使用到多個端口,有些是 daemon 之間進行交互之用,有些是用於 RPC 訪問以及 HTTP 訪問。而隨着 Hadoop 周邊組件的增多,完全記不住哪個端口對應哪個應用,特收集記錄如此,以便查詢。

這裏包含我們使用到的組件:HDFS, YARN, HBase, Hive, ZooKeeper:



1.1 HDFS

組件 節點 默認端口 配置 用途說明
HDFS DataNode 50010 dfs.datanode.address datanode 服務端口,用於數據傳輸
HDFS DataNode 50075 dfs.datanode.http.address http服務的端口
HDFS DataNode 50475 dfs.datanode.https.address https服務的端口
HDFS DataNode 50020 dfs.datanode.ipc.address ipc服務的端口
HDFS NameNode 50070 dfs.namenode.http-address http服務的端口
HDFS NameNode 50470 dfs.namenode.https-address https服務的端口
HDFS NameNode 8020 fs.defaultFS 接收 Client 連接的 RPC 端口,用於獲取文件系統 metadata 信息
HDFS journalnode 8485 dfs.journalnode.rpc-address RPC服務
HDFS journalnode 8480 dfs.journalnode.http-address HTTP服務
HDFS ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController,用於NN HA

1.2 YARN

組件 節點 默認端口 配置 用途說明
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口
YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler組件的IPC端口
YARN ResourceManager 8031 yarn.resourcemanager.resource-tracker.address IPC
YARN ResourceManager 8033 yarn.resourcemanager.admin.address IPC
YARN ResourceManager 8088 yarn.resourcemanager.webapp.address http服務端口
YARN NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
YARN NodeManager 8042 yarn.nodemanager.webapp.address http服務端口
YARN NodeManager 8041 yarn.nodemanager.address NM中container manager的端口
YARN JobHistory Server 10020 mapreduce.jobhistory.address IPC
YARN JobHistory Server 19888 mapreduce.jobhistory.webapp.address http服務端口

1.3 HBase

組件 節點 默認端口 配置 用途說明
HBase Master 60000 hbase.master.port IPC
HBase Master 60010 hbase.master.info.port http服務端口
HBase RegionServer 60020 hbase.regionserver.port IPC
HBase RegionServer 60030 hbase.regionserver.info.port http服務端口
HBase HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode,使用獨立的ZooKeeper集羣則不會啓用該端口
HBase HQuorumPeer 2888 hbase.zookeeper.peerport HBase-managed ZK mode,使用獨立的ZooKeeper集羣則不會啓用該端口
HBase HQuorumPeer 3888 hbase.zookeeper.leaderport HBase-managed ZK mode,使用獨立的ZooKeeper集羣則不會啓用該端口

1.4 Hive

組件 節點 默認端口 配置 用途說明
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=來更新默認端口  
Hive HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=來更新默認端口  

1.5 ZooKeeper

組件 節點 默認端口 配置 用途說明
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort= 對客戶端提供服務的端口
ZooKeeper Server 3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分 用於leader選舉的。只在electionAlg是1,2或3(默認)時需要


所有端口協議均基於TCP,所以可以使用以下命令去查看

netstat -ntlp
  • 1

這裏寫圖片描述


二. Web UI(HTTP服務)

2.1 對於存在 Web UI(HTTP服務)的所有 hadoop daemon 有如下 url

1. /logs
日誌文件列表,用於下載和查看

這裏寫圖片描述


2. /logLevel
允許你設定 log4j 的日誌記錄級別,類似於 hadoop daemonlog

這裏寫圖片描述


3. /stacks
所有線程的 stack trace,對於 debug 很有幫助

這裏寫圖片描述


4. /jmx
服務端的 Metrics,以 JSON 格式輸出。

這裏寫圖片描述

/jmx?qry=Hadoop:* 會返回所有 hadoop 相關指標。

/jmx?get=MXBeanName::AttributeName 查詢指定 bean 指定屬性的值,例如 /jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId 會返回ClusterId。

這個請求的處理類:org.apache.hadoop.jmx.JMXJsonServlet



2.2 特定的 Daemon 又有特定的 URL 路徑特定相應信息

NameNode:http://:50070/
  • 1

1. /dfshealth.jsp
HDFS 信息頁面,其中有鏈接可以查看文件系統

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)

這裏寫圖片描述

顯示 DEAD 或 LIVE 狀態的 datanode


2. /fsck
運行 fsck 命令,不推薦在集羣繁忙時使用!

這裏寫圖片描述


DataNode:http://:50075/
  • 1

3. /blockScannerReport
每個 datanode 都會指定間隔驗證塊信息

這裏寫圖片描述



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章