原创 轉型中的全閃陣列

2015-07-08 當前的全閃存儲陣列產品已不再一味以高I/O性能爲訴求,開始講求擴展性、數據服務更多樣化的應用,朝向高性能通用存儲設備發展。 以往,完全以Flash閃存儲器組成的全閃存儲陣列(All Flash Array

原创 B tree and LSM tree

本文主要介紹了B+ tree和LSM tree,從seek和transfer的角度看Hbase爲什麼選擇了LSM tree,而不是像大多數RDBMS那樣使用B+ tree,在Hbase裏面LSM tree這種結構其實就是由HLog +

原创 ceph pool的創建和刪除過程

ceph pool的刪除過程 命令行 ceph中一個pool的刪除過程如下: ceph osd pool rm testpool testpool --yes-i-really-really-mean-it Mon的處理 命令行請

原创 Ceph 數據複製算法和Raft數據一致性算法對比分析

Ceph分佈式存儲系統基於底層的RADOS分佈式對象存儲系統來完成數據的複製,數據恢復和數據的動態擴容和縮容。本文針對RADOS的數據複製算法和流行的Raft算法做對比分析,試圖分析其優劣缺點,提出相關的優化建議。 詳情可以查看這裏。

原创 京東 ChubaoFS 分佈式文件系統分析

ChubaoFS(CFS)是京東開發的一分佈式文件系統和對象存儲系統。其主要聲稱是雲原生的分佈式文件系統,主要用於k8s容器環境。 CFS是一個分佈式的文件系統,支持多元數據服務器,支持posix接口(目前一些接口不支持),支持數

原创 Data replication 同步技術

http://horicky.blogspot.com/2009/11/nosql-patterns.html, NOSQL Patterns 複本同步技術 There are 2 ways how the master p

原创 兩階段提交

兩階段提交協議(two phase commit protocol,2PC)可以保證數據的強一致性,許多分佈式關係型數據管理系統採用此協議來完成分佈式事務。它是協調所有分佈式原子事務參與者,並決定提交或取消(回滾)的分佈式算法。同時也是

原创 如何打敗CAP理論

一篇談使用讀寫分離方式實現如何打敗CAP定理文章,可以認爲是Event Sourcing的一個變種。 CAP定理認爲一致性 可用性和分區容錯性同時不能獲得,通常我們不能喪失分區容錯性,那麼你就只有在可用性和一致性之間選擇,這就催生了NoS

原创 數據庫如何抵抗隨機IO:問題、方法與現實

隨機IO幾乎是令所有DBA談虎色變的一個問題,這個問題,往往在數據量小的時候不出現,在數據量超過內存大小時,才陡然出現,令沒有經驗的DBA促不及防,也令有經驗的DBA寢食難安。 傳統的數據庫架構對隨機IO幾乎沒有還手之力。傳統

原创 內存索引的實際應用中選擇T樹還是B樹

January 5th, 2012adminLeave a commentGo to comments 一、T樹與B樹的比較 在T樹最開始被提出的時候,其CPU效率被認爲比B樹要好[1]。不過20多年過去了,CPU的速

原创 Splay Tree

類別:二叉排序樹 空間效率:O(n) 時間效率:O(log n)內完成插入、查找、刪除操作 創造者:Daniel Sleator和Robert Tarjan 優點:每次查詢會調整樹的結構,使被查詢頻率高的條目更靠近樹根。 注

原创 Dynamic Hash Table

HashTable 在數據存儲系統中經常見到。 HashTable 分爲 靜態 hash 和動態 hash 兩種,在靜態hash table中,bucket,也就是hash桶的數量是固定的, 而在動態hash中,hash桶的數量是逐步增長

原创 分佈式文件系統元數據服務模型

  隨着非結構化數據的爆炸,分佈式文件系統進入了發展的黃金時期,從高性能計算到數據中心,從數據共享到互聯網應用,已經滲透到數據應用的各方各面。對於大多數分佈式文件系統(或集羣文件系統,或並行文件系統)而言,通常將元數據與數據兩者獨立開

原创 P2P網絡中DHT算法分析

本文首先從P2P的定義出發,介紹了結構化P2P與非結構化P2P的區別以及結構化P2P的核心技術DHT。而後,本文深入介紹了幾種主流的DHT算法與協議並對每種協議進行了討論。文章的最後展望了DHT在未來的發展趨勢。 對等網絡(

原创 高端存儲技術與應用趨勢

高端存儲技術與應用趨勢 西瓜哥 發表於:14年06月17日 18:22 [來稿] 存儲在線 西瓜哥 高端存儲 分享: [導讀]我們一般把廣義高端存儲裏面支持SAN的存儲系統叫狹義的高端存儲,或者叫高端SAN。因爲企