原创 linux定時器setitimer

setitimer()爲Linux的API,並非C語言的Standard Library,setitimer()有兩個功能,一是指定一段時間後,才執行某個function,二是每間格一段時間就執行某個function,以下程序demo如何

原创 隨機訪問KV存儲引擎

Key-Value系統只需要支持簡單的隨機讀(Get),寫(Put)和刪除(Del)操作。由於磁盤是順序存儲介質,因此可以往數據文件追加Key-Value記錄並在內存中存放記錄所在的磁盤位置,即索引信息。由於對同一個Key的更新(Put

原创 ulimit 參數

表 1. ulimit 參數說明 選項 [options] 含義 例子 -H 設置硬資源限制,一旦設置不能增加。 ulimit – Hs 64;限制硬資源,線程棧大小爲 64K。 -S 設置軟資源限制,設置後可以增加,但是不能超過硬資

原创 zookeeper安裝和應用場合(名字,配置,鎖,隊列,集羣管理)

安裝和配置詳解 本文介紹的 Zookeeper 是以 3.2.2 這個穩定版本爲基礎,最新的版本可以通過官網 http://hadoop.apache.org/zookeeper/ 來獲取,Zookeeper 的安裝非常簡單,下面將從

原创 hadoop運行痕跡~~

Hadoop 學習總結之一:HDFS簡介 Hadoop學習總結之二:HDFS讀寫過程解析 Hadoop學習總結之三:Map-Reduce入門 Hadoop學習總結之四:Map-Reduce的過程解析   在使用hadoop的時候,可能

原创 C++ dlopen mini HOWTO

C++ dlopen mini HOWTO作者:Aaron Isotton <[email protected]> 2006-03-16譯者:[email protected] 2006-08-05 -----------------

原创 Paxos在大型系統中常見的應用場景

在分佈式算法領域,有個非常重要的算法叫Paxos, 它的重要性有多高呢,Google的Chubby [1]中提到 all working protocols for asynchronous consensus we have so

原创 GFS, HDFS, Blob File System架構對比

GFS, HDFS, Blob File System架構對比 作者: Chuanhui | 可以轉載, 但必須以超鏈接形式標明文章原始出處和作者信息及版權聲明本文鏈接地址: http://www.nosqlnotes.net/arch

原创 Cassandra 和 HBase 中使用的 BigTable 模型

英文原文鏈接:http://horicky.blogspot.com/2010/10/bigtable-model-with-cassandra-and-hbase.html 中文原文鏈接:http://lgone.com/html/y2

原创 Chubby總結

參考文獻:[1] The Chubby lock service for loosely-coupled distributed systems [2] Paxos Made Simple 聲明文中大部分的觀點來自於文獻[1]中的描述,

原创 存儲系統總結(未完)

1)全內存存儲 內存存儲索引和數據   2)內存+磁盤 內存存儲索引等,磁盤存儲數據文件 索引主要有hash和B+樹等; 磁盤數據文件大多采用日誌性數據文件;只在文件末尾追加而不修改文件,寫入和更新是追加新記錄,刪除也是追加記錄(記錄的v

原创 linux c++動態鏈接庫so編寫

Linux下的動態鏈接庫是.so文件,即:Shared Object,下面是一個簡單的例子說明如何寫.so以及程序如何動態載入.so中的函數和對象。 testso.h: #ifndef _TESTSO_H #define _TESTSO_

原创 HBase中的Client如何路由到正確的RegionServer

HBase中的Client如何路由到正確的RegionServer Posted on July 27, 2010 by Harry_Ding 在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入

原创 zookeeper使用和應用場合

zookeeper介紹zookeeper是一個爲分佈式應用提供一致性服務的軟件,它是開源的Hadoop項目中的一個子項目,並且根據google發表的論文來實現的,接下來我們首先來安裝使用下這個軟件,然後再來探索下其中比較重要一致性算法。

原创 有用的性能數據,請記住它吧~~

轉載自:http://surana.wordpress.com/2009/01/01/numbers-everyone-should-know/ L1 cache reference 0.5 ns Branch mispredict 5