Hadoop-Yarn常用的調優參數

調優參數列表

1Resourcemanager相關

yarn.resourcemanager.scheduler.client.thread-count ResourceManager處理調度器請求的線程數量

yarn.resourcemanager.scheduler.class   配置調度器

2Nodemanager相關

yarn.nodemanager.resource.memory-mb                  NodeManager使用內存數

yarn.nodemanager.resource.system-reserved-memory-mb  NodeManager爲系統保留多少內存,和上一個參數二者取一即可

yarn.nodemanager.resource.cpu-vcores   NodeManager使用CPU核數

yarn.nodemanager.resource.count-logical-processors-as-cores   是否將虛擬核數當作CPU核數

yarn.nodemanager.resource.pcores-vcores-multiplier 虛擬核數和物理核數乘數,例如:4核8線程,該參數就應設爲2

yarn.nodemanager.resource.detect-hardware-capabilities 是否讓yarn自己檢測硬件進行配置

yarn.nodemanager.pmem-check-enabled    是否開啓物理內存檢查限制container

yarn.nodemanager.vmem-check-enabled    是否開啓虛擬內存檢查限制container

yarn.nodemanager.vmem-pmem-ratio        虛擬內存物理內存比例

3Container容器相關

yarn.scheduler.minimum-allocation-mb      容器最小內存

yarn.scheduler.maximum-allocation-mb      容器最大內存

yarn.scheduler.minimum-allocation-vcores    容器最小核數

yarn.scheduler.maximum-allocation-vcores    容器最大核數

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章