原创 Tokyo Tyrant(TTServer)系列-memcache協議 [

通過memcache協議使用ttserver 通過telnet 127.0.0.1 1978 telnet連接到到我們第一節的啓動實例。 以下我們通過add增加key爲key1和value爲value1的數據。 通過get key1獲取數

原创 Tokyo Tyrant(TTServer)系列-備份恢復和增加從庫

前面我們說了TTServer的使用,以及如何在開始的時候配置 主從。在使用中它非常高效和可靠,那麼如果我們的服務運行一段時間後,需要增加一個從庫(ttserver)來分擔壓力或者用於負載均衡和HA,因爲是線上系統,那麼就不應該停機,那麼我

原创 優酷網視頻存儲架構

視頻分享網站總會面對這樣兩個問題:視頻資源能否吸引網民以及視頻瀏覽是否順暢?中國互聯網協會互聯網數據中心發佈的《2008上半年視頻網站數據》顯 示,2008年上半年,優酷網月度總訪問時長突破1.1億小時,通過與全行業的瀏覽時長比對,優酷網

原创 Facebook的內部晉升

Facebook前工程總監黃易山(Yishan Wong)撰寫了一系列文章,很好地總結了Facebook卓越研發文化中的寶貴經驗。本刊將繼續連載這一系列,本文是第三篇。 建設一家健康長久的公司,“從公司內部提拔管理者”是一條廣爲人知的建

原创 詳解NoSQL數據庫Apache Cassandra的配置

在這裏我們將介紹的是NoSQL數據庫Apache Cassandra的配置與相關問題。現在數據庫市場對於NoSQL的關注度日益升高,我們也該看到未來數據庫技術的變革 。 上次說了安裝的問題,可以參考《VirtualBox 虛擬機 De

原创 CAP原理與最終一致性

CAP原理(CAP Theorem) 在足球比賽裏,一個球員在一場比賽中進三個球,稱之爲帽子戲法(Hat-trick)。在分佈式數據系統中,也有一個帽子原理(CAP Theorem),不過此帽子非彼帽子。CAP原理中,有三個要素: 一

原创 cassandra 學習筆記

1). cassandra任何一個節點都可以被客戶端訪問。 2). 對cassandra某個節點的訪問是通過調用org.apache.cassandra.service.Cassandra的內部類Client的相 應接口實現的。 3).

原创 對Debian和Gentoo下部署Cassandra指南

下載Cassandra 從 http://incubator.apache.org/cassandra/download/ 選擇二進制包下載,包名類似 apache-cassandra-incubating-x.y.z-bin.t

原创 Nosql Cassandra 0.6 key值的區間查詢例子

Nosql Cassandra 0.6 key值的區間查詢  小記: 傳入條件 如key區間a至c 一種有a-d的數據 List<KeySlice> sliceList = client.get_range_slice(key

原创 up and running with cassandra

Cassandra is a hybrid non-relational database in the same class as Google's BigTable. It is more featureful than a k

原创 讓親身實踐者執行工作流程

在這裏,我使用“工作流程”這個詞來描述“個人或團體爲了完成一項活動而遵循的步驟”意義上的流程,以及組織的一般制度。隨着一家公司的成長,有必要增加或整理工作流程。 最重要的利弊權衡通常是工作流程所帶來的阻力,以及效率或效益上的收益孰輕孰重

原创 hadoop作業調優參數整理及原理

1 Map side tuning參數 1.1 MapTask運行內部原理 當map task開始運算,併產生中間數據時,其產生的中間結果並非直接就簡單的寫入磁盤。這中間的過程比較複雜,並且利用到了內存buffer來進行已經產生的部分

原创 搜索引擎CACHE策略研究

一.關於搜 索引 擎 用 戶查詢得出的結論: (1)      用戶查詢有很大比例的重複性。有 30 % 到 40 %的用戶查詢是重複查詢。 (2)       大多數重複的用戶查詢會在較短的間隔時間被

原创 JVM參數調優實踐

tomcat啓動參數,將JVM GC信息寫入tomcat_gc.log CATALINA_OPTS='-Xms512m -Xmx4096m -XX:PermSize=64M -XX:MaxNewSize=128m -XX:MaxPer

原创 招聘是第一位的

Facebook前工程總監黃易山(Yishan Wong)撰寫了一系列文章,很好地總結了Facebook卓越研發文化中的寶貴經驗。本刊將陸續連載這一系列,本文是第一篇。 從2006年底到2009年初,我有幸在Facebook的工程部門先