hadoop報錯 is longer than maximum configured RPC length 67108864

hadoop 2.7.3 集羣,出現錄入數據延遲高的問題,namenode日誌中有報錯信息:
is longer than maximum configured RPC length 67108864

報錯原因:
ipc實際通訊的數據包大於默認最大的數據包配置64MB

解決辦法:
提高這個參數到128MB

1、在下面3個配置中同時加上 
vi /data/usr/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
vi /data/usr/hadoop-2.7.3/etc/hadoop/core-site.xml
vi /data/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>ipc.maximum.data.length</name>
<value>134217728</value>
</property>

2、替換 protobuf-java-2.5.0-sources.jar ,解壓 jar包,其中修改 CodedInputStream.java 的 DEFAULT_SIZE_LIMIT 參數

DEFAULT_SIZE_LIMIT = 64 << 20
>>
DEFAULT_SIZE_LIMIT = 128 << 20

拷貝新的包替換到下面目錄
/data/usr/hadoop-2.7.3/share/hadoop/common/lib/
/data/usr/hadoop-2.7.3/share/hadoop/hdfs/lib/
/data/usr/hadoop-2.7.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/
/data/usr/hadoop-2.7.3/share/hadoop/kms/tomcat/webapps/kms/WEB-INF/lib/
/data/usr/hadoop-2.7.3/share/hadoop/yarn/lib/
/data/usr/hadoop-2.7.3/share/hadoop/mapreduce/lib/
/data/usr/hadoop-2.7.3/share/hadoop/tools/lib/

3、重啓整個集羣

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章