原创 oceanbase之RootServer(三)

瑣事太多,又太懶了,好久不想動筆,進展也比較慢。 5 日誌系統 有偉大的GFS作指引,OceanBase的master也是採用redo log加checkpoint機制,以保證master的響應速度。此外root server採取

原创 Leveldb源碼分析--7

6 SSTable之1 SSTable是Leveldb的核心之一,是表數據最終在磁盤上的物理存儲。也是體量比較大的模塊。 6.1 SSTable的文件組織 作者在文檔doc/table_format.txt中描述了表的邏輯結構,如

原创 Leveldb源碼分析--6

5 操作Log 2   5.3 讀日誌 日誌讀取顯然比寫入要複雜,要檢查checksum,檢查是否有損壞等等,處理各種錯誤。 5.3.1 類層次 先來看看讀取涉及到的類圖,如圖5.3-1。 Reader主要用到了兩個接口,一個

原创 Leveldb源碼分析--3

4 Memtable之1 Memtable是leveldb很重要的一塊,leveldb的核心之一。我們肯定關注KV數據在Memtable中是如何組織的,祕密在Skip list中。 4.1 用途 在Leveldb中,所有內存中的

原创 Leveldb源碼分析--10

6 SSTable之46.6 遍歷Table6.6.1 遍歷接口Table導出了一個返回Iterator的接口,通過Iterator對象,調用者就可以遍歷Table的內容,它簡單的返回了一個TwoLevelIterator對象。見函數實現

原创 moosefs分佈式文件系統實施配置方案

原創作品,允許轉載,轉載時請務必以超鏈接形式標明文章 原始出處 、作者信息和本聲明。否則將追究法律責任。http://zyw1209.blog.51cto.com/1266169/580272   基於linux下分佈式文件系統方案

原创 Leveldb源碼分析--2

3 Int Coding 輕鬆一刻,前面約定中講過Leveldb使用了很多VarInt型編碼,典型的如後面將涉及到的各種key。其中的編碼、解碼函數分爲VarInt和FixedInt兩種。int32和int64操作都是類似的。 3.

原创 Leveldb源碼分析--12

8 FilterPolicy&Bloom之18.1 FilterPolicy因名知意,FilterPolicy是用於key過濾的,可以快速的排除不存在的key。前面介紹Table的時候,在Table::InternalGet函數中有過一面

原创 oceanbase之RootServer(二)

4 類ObRootWorker 這是個大傢伙,它繼承自前面講過的ObBaseServer這個簡單框架類。自此已經很接近底層了。 4.1 成員變量 ObRootWorker本身引用了很多類,有關於log系統的,有關於Packet的,

原创 Leveldb源碼分析--1

【前言:看了一點oceanbase,沒有意志力繼續堅持下去了,暫時就此中斷,基本上算把master看完了,比較重要的update server和merge server代碼卻沒有細看。中間又陸續研究了hadoop的源碼,主要是name

原创 Leveldb源碼分析--11

7 TableCache這章的內容比較簡單,篇幅也不長。7.1 TableCache簡介TableCache緩存的是Table對象,每個DB一個,它內部使用一個LRUCache緩存所有的table對象,實際上其內容是文件編號{file n

原创 Leveldb源碼分析--4

4 Memtable之24.6 Comparator弄清楚了key,接下來就要看看key的使用了,先從Comparator開始分析。首先Comparator是一個抽象類,導出了幾個接口。其中Name()和Compare()接口都很明瞭,另

原创 告別平臺雲的時代,迎來私有云

雲這個東西,忽悠了不少人。 估計不少追捧者忽悠大衆的同時也把給忽悠進去了。 妄圖搞一個私有云,讓大家把東西都放到自己的平臺上。 放在你這個外人的平臺上,機密數據會不會泄漏,安全怎麼保證? 你自己能保證不搞我的數據? 未來,存儲硬件越來越

原创 Leveldb源碼分析--8

6 SSTable之2 6.4 創建sstable文件 瞭解了sstable文件的存儲格式,以及Data Block的組織,下面就可以分析如何創建sstable文件了。相關代碼在table_builder.h/.cc以及block

原创 看看oceanbase-序

oceanbase是淘寶開源的相當優秀的高性能分佈式數據庫項目,很值得一看。它採取了集中式的事務處理模型,因此對事務的支持非常好。 準備仔細看看代碼,順便寫些分析文章,由於寫出來的是看代碼的過程,因此不像一口氣看完,心有大綱那樣比較有邏輯