Hadoop常用端口和定義方法
Hadoop集羣的各部分一般都會使用到多個端口，有些是daemon之間進行交互之用，有些是用於RPC訪問以及HTTP訪問。而隨着Hadoop周邊組件的增多，完全記不住哪個端口對應哪個應用，特收集記錄如此，以便查詢。
這裏包含我們使用到的組件：HDFS, YARN, HBase, Hive, ZooKeeper:
|
組件 |
節點 |
默認端口 |
配置 |
用途說明 |
|
HDFS |
DataNode |
50010 |
dfs.datanode.address |
datanode服務端口，用於數據傳輸 |
|
HDFS |
DataNode |
50075 |
dfs.datanode.http.address |
http服務的端口 |
|
HDFS |
DataNode |
50475 |
dfs.datanode.https.address |
https服務的端口 |
|
HDFS |
DataNode |
50020 |
dfs.datanode.ipc.address |
ipc服務的端口 |
|
HDFS |
NameNode |
50070 |
dfs.namenode.http-address |
http服務的端口 |
|
HDFS |
NameNode |
50470 |
dfs.namenode.https-address |
https服務的端口 |
|
HDFS |
NameNode |
8020 |
fs.defaultFS |
接收Client連接的RPC端口，用於獲取文件系統metadata信息。 |
|
HDFS |
journalnode |
8485 |
dfs.journalnode.rpc-address |
RPC服務 |
|
HDFS |
journalnode |
8480 |
dfs.journalnode.http-address |
HTTP服務 |
|
HDFS |
ZKFC |
8019 |
dfs.ha.zkfc.port |
ZooKeeper FailoverController，用於NN HA |
|
YARN |
ResourceManager |
8032 |
yarn.resourcemanager.address |
RM的applications manager(ASM)端口 |
|
YARN |
ResourceManager |
8030 |
yarn.resourcemanager.scheduler.address |
scheduler組件的IPC端口 |
|
YARN |
ResourceManager |
8031 |
yarn.resourcemanager.resource-tracker.address |
IPC |
|
YARN |
ResourceManager |
8033 |
yarn.resourcemanager.admin.address |
IPC |
|
YARN |
ResourceManager |
8088 |
yarn.resourcemanager.webapp.address |
http服務端口 |
|
YARN |
NodeManager |
8040 |
yarn.nodemanager.localizer.address |
localizer IPC |
|
YARN |
NodeManager |
8042 |
yarn.nodemanager.webapp.address |
http服務端口 |
|
YARN |
NodeManager |
8041 |
yarn.nodemanager.address |
NM中container manager的端口 |
|
YARN |
JobHistory Server |
10020 |
mapreduce.jobhistory.address |
IPC |
|
YARN |
JobHistory Server |
19888 |
mapreduce.jobhistory.webapp.address |
http服務端口 |
|
HBase |
Master |
60000 |
hbase.master.port |
IPC |
|
HBase |
Master |
60010 |
hbase.master.info.port |
http服務端口 |
|
HBase |
RegionServer |
60020 |
hbase.regionserver.port |
IPC |
|
HBase |
RegionServer |
60030 |
hbase.regionserver.info.port |
http服務端口 |
|
HBase |
HQuorumPeer |
2181 |
hbase.zookeeper.property.clientPort |
HBase-managed ZK mode，使用獨立的ZooKeeper集羣則不會啓用該端口。 |
|
HBase |
HQuorumPeer |
2888 |
hbase.zookeeper.peerport |
HBase-managed ZK mode，使用獨立的ZooKeeper集羣則不會啓用該端口。 |
|
HBase |
HQuorumPeer |
3888 |
hbase.zookeeper.leaderport |
HBase-managed ZK mode，使用獨立的ZooKeeper集羣則不會啓用該端口。 |
|
Hive |
Metastore |
9083 |
/etc/default/hive-metastore中export PORT=來更新默認端口 |
|
|
Hive |
HiveServer |
10000 |
/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=來更新默認端口 |
|
|
ZooKeeper |
Server |
2181 |
/etc/zookeeper/conf/zoo.cfg中clientPort= |
對客戶端提供服務的端口 |
|
ZooKeeper |
Server |
2888 |
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標藍部分 |
follower用來連接到leader，只在leader上監聽該端口。 |
|
ZooKeeper |
Server |
3888 |
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標藍部分 |
用於leader選舉的。只在electionAlg是1,2或3(默認)時需要。 |
所有端口協議均基於TCP。
對於存在Web UI（HTTP服務）的所有hadoop daemon，有如下url：
/logs
日誌文件列表，用於下載和查看
/logLevel
允許你設定log4j的日誌記錄級別，類似於hadoop daemonlog
/stacks
所有線程的stack trace，對於debug很有幫助
/jmx
服務端的Metrics，以JSON格式輸出。
/jmx?qry=Hadoop:*會返回所有hadoop相關指標。
/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值，例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。
這個請求的處理類：org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路徑特定相應信息。
NameNode:http://:50070/
/dfshealth.jsp
HDFS信息頁面，其中有鏈接可以查看文件系統
/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
顯示DEAD或LIVE狀態的datanode
/fsck
運行fsck命令，不推薦在集羣繁忙時使用！
DataNode:http://:50075/
/blockScannerReport
每個datanode都會指定間隔驗證塊信息