分佈式中間件

一:分佈式緩存redis 單進程單線程(一個redis進程是一個redis實例)
https://blog.csdn.net/liupeng_qwert/article/details/77263187
https://www.cnblogs.com/syyong/p/6231326.html
https://help.aliyun.com/document_detail/52228.html?spm=a2c4g.11186623.6.546.3S95dr
分佈式中間件
http://www.redis.cn/topics/introduction.html
分佈式中間件

分佈式中間件
http://www.redis.cn/topics/partitioning.html
二:分佈式緩存tair
https://blog.csdn.net/farphone/article/details/53522383

三:分佈式消息kafka(文件形式存儲硬盤)
https://help.aliyun.com/document_detail/68156.html?spm=a2c4g.11186623.6.543.IG04U8
分佈式中間件
https://blog.csdn.net/qq_21989939/article/details/79452065
分佈式中間件

生產建議2個集羣【1個業務1個日誌集羣,每個集羣3臺機器(建議配置4c8g2t)】,測試可一臺、kafka默認不支持ons的tag標籤,但通過透傳已經支持,
巨量的partition不支持
集羣上部署kafka代碼一模一樣,但數據是分佈式存儲,即每臺機器上的partition存儲數據不一樣
kafka比ons性能高大概3倍,因爲從代碼上進行了優化,包括但不限於線程和nio模式、跑批處理
kafka的延遲和事務的問題
topic與partition 是一對多,一個partition 在磁盤是一個文件
Data written to Kafka is written to disk and replicated for fault-tolerance. Kafka allows producers to wait on acknowledgement so that a write isn't considered complete until it is fully replicated and guaranteed to persist even if the server written to fails.

Kafka uses ZooKeeper so you need to first start a ZooKeeper server if you don't already have one.
zookeeper註冊節點和topic信息 【http://kafka.apache.org/documentation/
Kafka的Message存儲採用了分區(partition),分段(LogSegment)和稀疏索引這幾個手段來達到了高效性

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章