原创 etcd源碼學習筆記

架構與實現: https://studygolang.com/articles/2058 啓動: https://yq.aliyun.com/articles/622694?spm=a2c4e.11155435.0.0.3de42452i

原创 《數據密集型應用系統設計》讀書筆記

去年讀過<<數據密集型應用系統設計》,全書是關於數據庫設計相關的一些理論知識。本人看過兩三遍,然後總結如下圖: 轉自本人頭條號,如果對你有幫助,加個關注,點個讚唄。 http://mp.toutiao.com/preview_artic

原创 怎樣把svn版本號和當前時間戳寫入打包文件

        小廠沒有專門的版本管理人員和規範的發佈流程。很多人都在發佈版本,隨意發佈版本,每次給出去的都是同一個名字的包。給運維(或者第三方對接人員 )造成困惑,到底哪個包是最新的(同樣的名字無法區分)。如果我們能把打包時間戳和對應s

原创 一個分佈式程序猿的一些存貨

近來深感職業發展進入瓶頸,想要突破卻屢屢碰壁。索性把自己的總結的一些東西以頭條圖文的方式分享給大家。發佈兩天獲得頭條推薦量2.2W、閱讀數1千有餘、收藏數百餘,另有十多位後臺私信向我索要原始思維導圖。現羅列出來: 莫煩機器學習系列視頻觀後

原创 SPARK ML筆記

SPARK ML 筆記環境搭建hadoop安裝(單節點)scala及spark安裝依賴庫安裝(以matplotlib爲例)總結(思維導圖) 環境搭建 hadoop安裝(單節點) 版本:2.7.7 https://cloud.ten

原创 關於IO面試的總結

最近行情不好,聊了幾家。本人從事分佈式(數據庫)開發工作五年有餘,前兩日面試中,談到IO的優化問題,本人竟一時語塞。IO確實涉及到很多方面,每個方面都可以做一些優化。本人從網絡、系統、應用程序、硬件、工具等層面做了一些總結。直接上圖:

原创 OTP升級(20.3到21.3)

最近兩天升級了公司的OTP版本,在升級過程中遇到的問題及解決辦法: 1. 獲取調用堆棧的方式改變,直接通過try/catch 獲取 2. erlang的啓動機制加載機制改變,在啓動腳本中設置HOME的值 3. erlang:system_

原创 filebeat+elasticsearch日誌內容提取

       我們知道elastisearch節點分五種類型:master(主節點)、data(數據存儲,CRUD)、ingest(預處理)、coordinating(協調節點)、tribe(部落節點,用於跨集羣)。有些時候我們需要對原始