原创 gossip協議介紹

背景 gossip 協議（gossip protocol）又稱 epidemic 協議（epidemic protocol），是基於流行病傳播方式的節點或者進程之間信息交換的協議，在分佈式系統中被廣泛使用，比如我們可以使用 gossip

2019-06-15 00:13:35 39

原创 ceph的 cache tier實現分析

1 基本介紹 1.1 設計思想 數據的存儲可劃分爲active和inactive兩大類，active數據是小部分，會頻繁訪問，使用更高性能的底層存儲介質進行存儲；inactive的數據是全集，使用廉價的存儲介質存儲。這種分冷熱的思想與CP

2019-06-15 00:13:35 47

原创 python多線程抽象編程模型詳解

這篇文章主要爲大家詳細介紹了python多線程抽象編程模型，具有一定的參考價值，感興趣的小夥伴們可以參考一下 最近需要完成一個多線程下載的工具，對其中的多線程下載進行了一個抽象，可以對所有需要使用到多線程編程的

2019-03-22 17:23:06 1

原创 python實現柵欄加解密 支持密鑰加密

這篇文章主要爲大家詳細介紹了python實現柵欄加解密，支持密鑰加密，具有一定的參考價值，感興趣的小夥伴們可以參考一下 柵欄加解密是對較短字符串的一種處理方式，給定行數Row，根據字符串長度計算出列數Column，

2019-03-22 17:23:06 4

原创 C++11特性維基百科總結

C++11標準發佈已有一段時間了, 維基百科上有對C++11新標準的變化和C++11新特性介紹的文章. 我是一名C++程序員,非常想了解一下C++11. 英文版的維基百科看起來非常費勁,而中文版維基百科不是知道是臺灣還是香港人翻譯的然

2018-08-22 04:20:55 3

原创 Ceph的BlueStore總體介紹

整體架構bluestore的誕生是爲了解決filestore自身維護一套journal並同時還需要基於系統文件系統的寫放大問題，並且filestore本身沒有對SSD進行優化，因此bluestore相比於filestore主要做了兩方面的

2018-08-22 04:20:52

原创 Ceph的FileStore代碼閱讀問題整理

1.bufferlist中的_memcopy_count作用是什麼？bufferlist提供了一個rebuild函數，用來將整個buffterptr鏈表的所有bufferraw都copy到一個新建的bufferptr中，然後清空鏈表並將新

2018-08-22 04:20:52

原创 Raft協議整理

複製狀態機是當前分佈式系統中最核心最基礎的組件，提供命令在多個節點之間有序複製和執行，當多個節點初始狀態一致的時候，保證節點之間狀態一致。系統只要多數節點存活就可以正常處理，它允許消息的延遲、丟棄和亂序，但是不允許消息的篡改。 Raft將

2018-08-22 04:20:52 4

原创 Linux文件存儲抽象VFS

概念VFS（Virtual Filesystem Switch）稱爲虛擬文件系統或虛擬文件系統轉換，是一個內核軟件層，在具體的文件系統之上抽象的一層，用來處理與Posix文件系統相關的所有調用，表現爲能夠給各種文件系統提供一個通用的接口，

2018-08-22 04:20:52 2

原创 Erasure Coding

1. 介紹 Erasure Code可以認爲是RAID的通式，任何RAID都可以轉換爲特定的erasure code。在傳統的RAID中，僅支持少量的磁盤分佈，當系統中存在多個分發點和多節點時，RAID將無法滿足需求。比如RAID5只支持

2018-08-22 04:20:52 32

原创 磁盤掛載信息：/etc/fstab

磁盤被手動掛載之後都必須把掛載信息寫入/etc/fstab這個文件中，否則下次開機啓動時仍然需要重新掛載。 系統開機時會主動讀取/etc/fstab這個文件中的內容，根據文件裏面的配置掛載磁盤。這樣我們只需要將磁盤的掛載信息寫入這

2018-08-22 04:20:52 2

原创 g++編譯選項

介紹 代碼編譯過程分爲： 預處理，生成.i文件編譯，轉換成彙編語言， 生成.s文件將彙編代碼轉換成機器碼，生成.o文件鏈接目標代碼，生成可執行程序 總體選項 -E 只激活預處理,這個不生成文件,你需要把它重定向到一個輸出文件裏面.

2018-08-22 04:20:50

原创 C++11類的新語法和特性

sizeof計算類成員大小 sizeof可以直接用於獲取Class::member的大小，而不用通過Class的實例獲取。 class A { public:

2018-08-22 04:20:50 2

原创 Ceph單機引擎FileStore簡介

Ceph作爲一個高可用和強一致性的軟件定義存儲實現，去使用它非常重要的就是了解其內部的IO路徑和存儲實現。這篇文章主要介紹在IO路徑中最底層的ObjectStore的實現之一FileStore。ObjectStoreObjectStore

2018-08-22 04:20:50 16

原创 模版元編程：C++11中type traits的部分實現

C++11新加入的type_traits頭文件提供了模版元編程中常用的type trait基礎設施，這些type traits基於編譯期間的運算，能夠極早提示出程序中的錯誤。這些type traits的基礎就是整形包裝器，見之前的博文總結

2018-08-22 04:20:50 5