原创 dgraph 壓測報context deadline exceeded， server hang住無響應
想簡單對dgraph做一次數據入庫壓測和查詢壓測，壓測數據1Y， 一個客戶端線程每個批次提交100條。 查看入庫1y數據後的查詢性能。 結果在壓測入庫數據150W數據的過程中發生了server hang住，不響應client請求，導致cl
2020-07-02 07:18:13
4
原创 Zookeeper acl
1 Zookeeper ACL ZooKeeper的權限管理亦即ACL控制功能通過Server、Client兩端協調完成： Server端： 一個ZooKeeper的節點（znode）存儲兩部分內容：數據和狀態，狀態中包含ACL信息。創建
2020-06-01 23:01:20
原创 Spark踩坑之旅
1、Spark standalone 模式集羣，使用zk作爲服務狀態一致性協調器，當zk leader宕機，spark master也跟着掛掉 問題描述：zk leader宕機之後，spark master節點也出現宕機情況，spark
2020-06-01 23:01:20
原创 tsfresh 安裝問題收集
系統： linux redhat 環境： python2.7tsfresh官網：http://tsfresh.readthedocs.io/en/latest/text/quick_start.htmltsfresh本身官網提供的安裝過程
2020-06-01 23:01:20
3
原创 phoenix4.9 在hbase進行compaction後出現zookeeper連接泄漏問題
最近開發環境使用過程當中遇到hbase RegionServer 存在過多的zookeeper連接，出先連接泄漏問題。通過jmap命令查看內存信息發現是在zookeeper連接被HRegion當中某些對象保存起來沒有釋放掉
2020-06-01 23:01:20
原创 kafka consumer 日誌瘋狂輸出 marking the coordinator host:9092 for dead group consumer-test
最近在調試spark-streaming消費kafka消息時發現日誌瘋狂輸出 marking the coordinator host:9092 for dead group consumer-test kafka ser
2020-06-01 23:01:20
原创 Hadoop 集羣問題彙總
公司希望使用spark on yarn 模式管理spark應用，在搭建hadoop當中碰到的問題分享一下： Hadoop Version : 2.7.2 1、Report:Call from linux151 to linux152:9
2020-06-01 23:01:20
原创 sun.misc.unsafe魔術類的使用
這個帖子是關於JAVA中鮮爲人知的特性的後續更新，如果想得到下次在線討論的更新，請通過郵件訂閱，並且不要忘了在評論區留下你的意見和建議。 Java是一個安全的開發工具，它阻止開發人員犯很多低級的錯誤，而大部份的錯誤都是基於
2020-06-01 23:01:20
原创 HashMap死循環核心代碼模擬
https://www.jianshu.com/p/1e9cf0ac07f4 應用中碰到使用linkedhashmap出現了循環指向導致的線程遍歷死循環的問題，linkedhashmap繼承自hashmap，從網上查詢了一下相關的文章，大
2020-02-21 19:52:25
原创 Spark-Streaming任務消費Kafka中topic(Resource)堆積問題排查&恢復
1. 觀察該該topic消費組 Resource-group確定爲Spark-Streaming任務消費resource主題出現堆積，堆積數據20Y 2.訪問spark master web ui 查看 Resource任務，發現runn
2020-02-21 19:52:25
原创 龍芯架構&中標麒麟 驗證編譯dgraph圖數據庫
環境：公司內網， 龍芯架構（MIPS平臺） 機器， 中標麒麟系統 1. 龍芯架構上沒有現成可用的golang語言安裝介質，需要先編譯golang語言，詳細編譯步驟移步： https://www.cnblogs.com/findumars/
2020-02-21 19:52:25
1
原创 NOT_LEADER_FOR_PARTITION
現場collector生產kafka消息報： NOT_LEADER_FOR_PARTITION 錯誤，錯誤位置：org.apache.kafka.client.internal.Sender中298行 kafka server.log報
2020-02-21 19:52:25