原创 Windows Eclipse Spark源碼maven導入小記
Spark 學習需要，爲了瞭解Spark原理在windows端的eclipse導入Spark來看。 Spark 環境和環境變量已經搭好，同時，也必須安裝和配置GIT環境變量，親測通過Maven導入spark源碼是可行的，雖然期間有各種錯誤
2020-06-14 00:07:49
原创 Spark Stream 消費 Kafka 踩坑
在有網絡併發基礎和大數據框架算法基礎情況下，算法和理解源碼並不是最耗時的（大概），因爲如果首次自己搭建火花在卡夫卡消費應用框架，並且缺乏可執行演示情況下，總會莫名其妙出現一些奇怪問題。 很容易可以寫出一個SparkStreaming消費卡
2018-12-20 13:20:28
3
原创 NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()
Spark Java 本地運行時總是會在parallelize()方法的時候爆出異常： Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jack
2018-10-13 23:13:27
64
原创 Windows Eclipse 源碼maven導入小記
Spark 學習需要，爲了瞭解Spark原理在windows端的eclipse導入Spark來看。 Spark 環境和環境變量已經搭好，同時，也必須安裝和配置GIT環境變量，親測通過Maven導入spark源碼是可行的，雖然期間有各種錯誤
2018-09-26 05:34:55
2
原创 quorum.QuorumCnxManager: Connection broken for id 1, my id = 2, error = java.net.SocketException:
在研究hbase，所以暫時使用的HBase自帶的zookeeper + 僞分佈式，在一次網絡問題導致IP更改後，出現了不能create table 的錯誤，於是看log發現啓動hbase時出現如下error: quorum.QuorumC
2018-09-06 01:38:28