原创 go slice map擴容
slice操作對象是切片對象，當擴容後，新生成一個新的底層數組，返回一個新的切片對象，與舊的切片指向不同底層數組； map操作對象是引用，當擴容後，引用地址不變，這也就是map元素不可尋址原因。
2020-07-07 10:41:22
原创 docker compose 常用命令總結
一、docker-compose命令格式 docker-compose [-f <arg>...] [options] [COMMAND] [ARGS...] 選項如下： -f，–file FILE 指定Compose模板文件
2020-06-22 00:54:51
原创 redis裏幾種主要結構
redis server進場就是一個時間循環，包括文件事件處理客戶端請求和返回；時間時間執行serverCron函數來進行過期鍵、rdb或aof重寫存儲等。 def eventLoop(): while True:
2020-06-22 00:54:51
1
原创 linux環境下非root用戶如何安裝各種軟件
linux環境下非root用戶如何安裝各種軟件呢？以cmake爲例。 1. 官網https://cmake.org/download/下載源文件：注意要下載的是source文件 2. 解壓 tar -zvxf cmake-3.14.5
2020-06-22 00:54:51
原创 kafka controller作用
controller主要依靠ZK完成對集羣broker和分區的管理如集羣broker信息、分區選舉ISR等。 ZK主要一二級節點信息如下 控制器controller作用 一 選舉Leader和ISR 控制器從ZK的/brokers/to
2020-06-22 00:54:51
1
原创 tbb::concurrent_queue 高性能的奧祕
在 如今的多線程開發的滾滾浪潮中，線程安全會是一個充滿正面色彩的廣告語，還是一個隱含性能低下令人不安的信息？衆所周知，STL庫所提供的容器均不能保證 線程安全，所有的工作都要需要開發者來承擔。最簡單的實現線程安全的手段便是使用鎖來同步對容
2020-06-22 00:54:51
原创 編寫自己的 cmake module模塊 通過find_package指定編譯自己安裝的包如opencv cuda
cmake 主要命令解釋 FIND_PATH（VAR file path1 path2）將file文件路徑賦值給變量 FIND_LIBRARY（VAR lib path）將lib文件路徑賦值被變量 install(FILES flie D
2020-06-22 00:54:51
原创 Kafka主題參數說明
producer端 batch.size 是producer批量發送的基本單位，同一個分區的多條消息會封裝進一個batch。默認是16KB，當batch滿纔會發送batch中所有消息。 linger.ms是sender線程在檢查batc
2020-06-22 00:54:40
原创 go saram 消費者調用邏輯
業務層： NewConsumer(client.mBrokers, group, topic, config) cluster-comsuer.go 構造Consumer： consumer, err := sarama.NewCo
2020-06-22 00:54:40
4
原创 KAFKA 服務端日誌LEO和HW說明
KAFKA 服務端一個日誌文件包含兩個特性：日誌末端位移（log-end-offset）和高水印（high-watermask），無論是LEADER還是follow副本均含有這兩個特性： LEO：該副本底層log文件下一條要寫入的消息的位
2020-06-22 00:54:40
原创 轉-淺析MySQL事務中的redo與undo
我們都知道事務有4種特性：原子性、一致性、隔離性和持久性，在事務中的操作，要麼全部執行，要麼全部不做，這就是事務的目的。事務的隔離性由鎖機制實現，原子性、一致性和持久性由事務的redo 日誌和undo 日誌來保證。所以本篇文章將討論關於事
2020-06-22 00:54:38
原创 KAFKA 服務端日誌LEO和HW機制帶來的問題及其解決方案
一、KAFKA 服務端日誌LEO和HW帶來的問題 KAFKA 服務端日誌LEO和HW無論是leader還是follow的HW更新都需要第二輪fetch才能完成，若在第二輪fetch中follow或leader崩潰則有可能帶來數據丟失或數據
2020-06-22 00:54:38
原创 redis的docker文件，通過docker-compose配置redis
準備環境： docker 18.06.1-ce docker-compose 1.23.0-rc3 redis如5.0.3 1 創建redis的dockerfile FROM redis:5.0.3 LABEL "maintainer"
2020-06-22 00:54:38
原创 kafka broker常見請求類型分析
請求包括頭部和請求體。請求體因請求類型不同而不同，請求頭部格式固定包括： api_key:請求類型如producer請求/fetch請求/元數據請求 api_version：給定一請求類型的具體版本 correlation_id：類似re
2020-06-22 00:54:38
原创 kafka消費者組重平衡分析
一 概念 一個consumer group 通過一定的分配算法來分配消費訂閱的topic的所有分區。具體有協調者完成重平滑流程。 二 觸發條件 組成員發送變更，如consumer增加或減少如consumer進程崩潰、consumer進程所
2020-05-24 08:54:07