原创 基於分佈式列數據庫的時空數據庫——Geomesa

一款直接時空處理分析的開源數據庫---geomesa,可用於交通軌跡數據存儲分析等相關領域,在分佈式列數據庫的基礎上進行擴展,目前支持Accumulo, HBase, Cassandra, and Kafka等作爲底層存儲。 地址鏈接:

原创 google protobuf使用

一些開源的軟件很多依賴protobuf2.0版本,而當前github上下載的版本過新,是3.0版本,老版本不太好找,下面貼一下老版本的下載地址:https://repo1.maven.org/maven2/com/google/proto

原创 log4jConfigLocation invalid

錯誤信息如下:因爲web.xml配置了log4jConfiguration,而resource裏面缺少對應的文件,補上即可。 java.lang.IllegalArgumentException: Invalid 'log4jConfi

原创 offset (0) + length (4) exceed the capacity of the array: 2

 使用spring-for-hadoop讀取HBase,出現以下錯誤: 主要原因是:我自己定義的dto採用了Float,而從數據庫取數據的時候,採用了Bytes.toFloat方法對數據進行轉換,查看源碼,可知道Bytes.toFloat

原创 HBase RowFilter構建報錯

Caused by: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexp

原创 Maven與Nexus: Return code is: 401, ReasonPhrase: Unauthorized.

錯誤信息如下: 明顯認證失敗,但是setting.xml跟pom.xml明明配置好了,而且保證了id正確。運行mvn -X,看打印出來的錯誤信息,如下:   分別先讀取了maven的settings.xml與.m2下的settings.

原创 process finished with exit code 52

在intellij上搭建了spark源碼閱讀環境,然後分別設置master與slave的啓動參數,從而啓動master與slave進程的時候,可能會報如下錯誤: process finished with exit code 52 進入調

原创 spark on yarn提交job錯誤

java.io.IOException: Cannot run program "/etc/hadoop/conf/topology_script.py" (in directory "I:\軟件開發\zm

原创 Intellij下創建web,lib下jar包不導入

使用intellij創建spring mvc項目,並添加maven依賴,通過maven下載的jar不添加到tomcat的目錄下,解決方案:在artifact創建的頁面中通過鼠標雙擊添加到web依賴中即可。如下圖所示:

原创 spark on yarn---{{PWD}}<CPS>{{PWD}}

採用yarn-client提交job的時候,發現在application的日誌中出現以下內容,一直以爲 {{PWD}}<CPS>{{PWD}}出現錯誤,但是後來通過google發現這是正常的,在派發container的時候,會調用hado

原创 java.lang.NoSuchMethodError錯誤

Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDe

原创 hadoop jar丟失查找

在運行Hadoop與HBase常出現某些jar包沒有添加進工程,導致類找不到,下面對該問題做了一個統計分析,結果如下表所示: 報錯 相應缺失的包 java.lang.ClassNotFoundException: com.google.

原创 phoenix表操作類型錯誤

phoenix操作錯誤:Error: ERROR 201 (22000): Illegal data. Expected length of at least 8 bytes, but had 4 (state=22000,code=20

原创 org/apache/hadoop/util/ShutdownHookManager$2

關閉tomcat出現以下錯誤:Exception in thread "Thread-15" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ShutdownHookManag

原创 spring phoenix結合操作hbase

參考網址:https://www.cnblogs.com/MOBIN/p/5234816.html發生錯誤的原因:主要是url寫錯,按照推薦的url地址爲jdbc:phoenix:zookeeper安裝地址:2181,後面應該加上具體的h