flume報錯解決

問題一：

Failed writing positionFile Java.lang.OutOfMemoryError：Java heap space

解決辦法：增大jvm初始化內存和最大可用內存

export JAVA_HOME=/usr/local/java
export JAVA_OPTS="-Xms1G -Xmx2G -Dcom.sun.management.jmxremote"

如果上述不行，就在以下設置：
flume-ng腳本中設置
JAVA_OPTS="-Xmx2048m"

問題二：

Error: DataXceiver error processing WRITE_BLOCK operation src: /x.x.x.x:50373 dest: /x.x.x.x:50010

問題原因：
linux nofile超過最大限制

解決辦法：
查看系統最大可打開的文件數

查看該進行打開的文件數量

[root@hadoop2 ~]# lsof -p 29828|wc -l 
2932

修改nfile配置文件，手工增加nofile的大小

vi /etc/security/limits.conf 
*       soft    nofile   655360
*       hard    nofile   655360

重啓flume進程，也就是進程29828，問題解決