設置hadoop的client端的jvm參數

以此來紀念自己的解決方法:

今天遇到一個問題:怎麼設定hadoop提交程序時client的jvm大小(即hadoop jar 這個提交程序jvm的大小)。
網上兜了一大圈,都是說什麼設定map或Reduce任務的jvm的大小。可這個不是我所想要的,最後改變了收索關鍵詞後(hadoop client jvm)發現了一片文章講述了這樣一個場景,跟着其指示做了一下,發現真的可以。
下面就是設定:
首先要找到我們安裝好hadoop後我們的hadoop-env.sh文件在哪,cdh(4.2.0)的一般在/etc/hadoop/conf 下面。
其二,打開這個hadoop-env.sh文件,找到一個
# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xmx4294967296 -Xms4294967296 $HADOOP_CLIENT_OPTS"
這個export開始可能是被註釋掉了,把註釋去掉,添加自己需要的jvm參數
最後,保存這個修改即可。

  這樣我們就可以在hadoop jar時享受自己調節jvm的參數了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章