原创 聯盟鏈選型之FISCO BCOS

算起來從去年12.31開始,到現在,已經快滿三個月了。 這三個月,閱讀了各種區塊鏈白皮書,騰訊的,華爲的,京東的,可信區塊鏈組織的,組織了一份《dfgx區塊鏈解決方案》,參加了華爲組織的區塊鏈生態,其實主要是推他自己的目錄鏈。 目前區塊鏈

原创 FISCO-PBFT流程-配合日誌展示(正常)

本文結合運行環境實際日誌對FISCO BCOS PBFT共識算法過程進行說明,此說明源自合約併發執行導致共識無法達成問題排查。 問題環境爲4節點4c16G內存500G空間環境,出現問題爲共識無法達成,初步分析原因爲併發執行導致同一個交易

原创 hbase 隊列滿導致問題解決

自從升級到了beh8.0後,3臺實體機,機器配置128G*3, hbase經常性出現隊列堆積; 出現隊列堆積後,hbase服務基本處於拒絕服務的狀態,產品對應監控服務停擺。 修復方式,首先關閉監控指標採集服務,避免造成更嚴重的後果。 此時

原创 2000節點集羣 監控系統優化

某項目主機節點數2k,基於Hbase+Phoenix監控系統經歷調優,滿足項目需求,每天採集監控指標數2億。 hbase採用2 master,8regionserver配置,主機配置 256G內存,與其他服務共用。

原创 java.net.SocketException Connection reset by peer socket write error

移動總部項目進行“配置分發滾動重啓”功能測試,節點1800+,準備測試重啓200節點,窗口設置爲50,測試發現任務創建失敗。 任務創建爲rest服務調用execute服務的接口,其中rest服務直接報錯,可以看到鏈接被reset,寫數據錯

原创 記一次百億級es數據性能優化-未完成

先說結論和todo 結論: todo:1.SSD沒發揮性能問題問題繼續測試 2.數據分片數量&大小對性能影響 3.行業對比,es最快就只能達到1億1s的性能嗎? 正好趕上一個規模比較大的項目,2000多臺機器,所有組件及任務日

原创 hyperledger cello 0.9.0 項目部署總結

花了小兩天時間來嘗試cello項目,這個項目可以解決fabric自動部署和一定程度運維管理的問題。 但結果不太好,項目最新發布版本0.9.0,正在開發1.0.0版本;   下載代碼,將版本切到0.9.0,官方攻略寫的很見到,就下載代碼,m

原创 基於hbase2.1.3編譯phoenix 5.0.0蹚坑記錄

應公司要求,組件版本升級,hadoop3.1.0,hbase2.1.3,背景見《hadoop3.0升級可研》。 因爲我們的產品監控是基於phoenix實現,hbase版本升級首先帶來的就是phoenix版本升級,目前官方最高版本爲基於

原创 某故障管理平臺架構

ELKB相關技術不再贅述。 重點說明Spark,圖數據庫相關內容。 1.故障引擎 故障引擎基於Spark Streaming進行實現,實時拉取kafka中數據進行處理,比對規則圖譜數據,對發現的問題進行告警。 告警數據存儲在圖數據庫n

原创 hadoop3.0升級可研報告及個人方案

  xx總部項目,節點數衆多,數千,甲方要求版本也極其兇殘,遂某公司大數據組件發行版需升級組件版本如下: hadoop 3.1.2 hive 3.1.0 hbase 2.1.2 spark 2.3.0   一。hadoop版本 hadoo

原创 區塊鏈調研彙總

文章背景時間 18年7月份,政策前夜。。   週六下午和lj溝通後,開始調研布洛克城和eos,由於之前聽過喜馬拉雅的一個系列,對於區塊鏈有一定了解,目前來看區塊鏈一共分三個階段,比特幣,以太坊,eos。eos號稱解決了區塊鏈性能問題,

原创 區塊鏈項目相關問題彙總

1.區塊鏈項目是否必須開源,以及開源抄襲問題 yoyow目前一直沒完全開源,有地址,但是東西不多。https://github.com/yoyow-org yoyow底層採用的是石墨烯技術。這與bts的底層是一樣的。bm開發的技術還是有點

原创 以太坊geth部署

  1 主機設備 IP HOSTNAME USERNAME 172.16.xx.170    tuijian007 tuijian 172.16.xx.153    tuijian005 tuijian

原创 公信寶Dapp白皮書

公信寶Dapp白皮書 1.摘要 在當今的互聯網社會,信息不對稱已經被逐漸消解,但絕大部分的個人數據還沒有被充分的利用起來。這些數據在相對狹隘的範圍內,被採集、加工、流轉和消費,有時甚至是在被採集對象毫不知情的情況下完成。這使得提供數據

原创 公信寶區塊鏈技術和應用白皮書

公信寶區塊鏈技術和應用白皮書(V2.0.0) I.摘要 大數據時代已經來臨,萬物互聯的時代也已不遠,人類社會生產、獲得和處理數據的能力已經遠超過去。通過對數據的合理應用,我們對世界的認識、對商業和社會活動的規劃,對需求的響應,對人與