原创 com.google.protobuf.InvalidProtocolBufferException: Message missing required fields: callId, status
造成以下的錯誤，是因爲使用的hadoop 的java api的版本與集羣上的版本不一致造成的，hadoop使用ProtocolBuffer對消息進行序列化，由於版本不同使用的Pro
2018-09-03 22:32:36
原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
錯誤如下： [DefaultQuartzScheduler_Worker-5] ERROR org.apache.hadoop.util.Shell - Failed to locate the winutils binar
2018-09-03 22:32:35
2
原创 hadoop 使用HA後java api連接獲取 FileSystem
所需要配置的參數： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://
2018-09-03 22:32:35
1
原创 hadoop HA配置文件說明
HA集羣需要使用nameservice ID區分一個HDFS集羣。另外，HA中還要使用一個詞，叫做NameNode ID。同一個集羣中的不同NameNode，使用不同的NameNode ID區分。爲了支持所有NameNode使用相同的配
2018-09-03 22:32:35
原创 tomcat啓動java.lang.UnsupportedClassVersionError
檢查一下tomcat使用的jvm版本與java編譯使用的版本是否一致。 linux下查看tomcat和jdk版本號的命令： 這個需要進入到bin目錄下面 [root@localhost bin]#
2018-09-03 22:32:35
原创 linux /etc/security/limits.conf的相關說明
linux limits.conf 配置 limits.conf 文件實際是 Linux PAM（插入式認證模塊，Pluggable Authentication Modules）中 pam_limits.so 的配置文件，而且只針對於
2018-09-03 22:32:33
原创 格式化HDFS
在HDFS的namenode啓動之前，需要初始化它存儲數據的目錄。namenode服務將會追蹤文件系統中的所有元數據。用於格式化的進程將會使用hdfs-site.xml中定義的dfs.n
2018-09-03 22:32:33
原创 ThreadPoolExecutor機制
本文轉自：http://825635381.iteye.com/blog/2184680 ThreadPoolExecutor機制 一、概述 1、ThreadPoolExecutor作爲java.util.concurrent包對外提供
2018-09-03 22:32:33