原创 擴展MapReduce架構的一種嘗試

[size=medium] 假設有這樣一個遊戲,一個人來出加減乘除的題目給很多小朋友來做,對每一個小朋友,給他出一道題目,然後讓他算好後

原创 某些併發環境下Double-check模型的改進

[size=medium][b]簡單場景:[/b] 多線程環境,每個線程攜帶惟一的key去組裝數據,相同的key會有相同的數據結果。爲了

原创 我所認識的軟件開發原則:減少等待時間

[size=medium] 在系統或設備交互時,因處理效率不一致,經常會導致等待的發生。最初這種矛盾在計算機內部尤爲突出。高速CPU與低

原创 我所認識的軟件開發原則:簡單表述

[size=medium] 簡單表述,就是用通俗直白的表達來正確說明問題。說起這個話題,首先我會感覺心虛,以前爲了裝X,故意以專業術語加

原创 工作隨筆2010/10/14(感悟,問題及學習)

[size=medium] 這段時間在Code Review之餘負責一個處理大數據量程序的正常運行。本應該是國慶之前完成的事,但因對程序

原创 MapReduce: JT默認task scheduling策略

[size=medium] 如果沒有自己定製的調度策略,MapReduce就採用自帶的JobQueue策略分發task。

原创 MapReduce:Fair Scheduler前傳

[size=medium] Fair Scheduler是由Facebook貢獻給Hadoop社區的一種task調度策略。Faceboo

原创 我所認識的軟件開發原則:二八原則

[size=medium] 二八原則源自經濟學理論,表述爲:通常一個企業80%的利潤來自於20%的項目。由此推廣出對日常生活的很多描述,如

原创 XML中特殊字符過濾(含Java代碼)

[size=medium] 在XML規範中,不支持ASCII前31個字符中的相當多控制符號,所以在組裝XML時需過濾這些特殊字符,以免引

原创 MapReduce:Fair Scheduler PPT分享

[size=medium]分享爲公司小組內部交流所做的Fair scheduler PPT。大家有什麼看法或意見,請在下面留言,謝謝[/size]

原创 MapReduce:詳解Shuffle過程

[size=medium]/*** author : 冶秀剛* mail : [email protected]*/ Shuf

原创 MapReduce: Job提交過程

[i]初學Hadoop,準備用幾篇日誌來陳述MapReduce job的生命週期中job提交、task分發和task執行,以及JT schedulin

原创 MapReduce:job在Job Tracker上的初始化

[size=medium] 這篇來說道說道job在到達Job Tracker後會有哪些動作,涉及上篇job生命週期的第五步和第六步。因爲

原创 我所認識的軟件開發原則:權衡

[size=medium] 當年還在學校時,有段時間校園內到處張貼着李開復的演講通告,題目是《選擇的藝術》。我還算比較糾結了,選擇就選擇

原创 我所認識的軟件開發原則:封裝

[size=medium] 在Google搜索封裝,給出信息隱藏這樣的一個概念。把複雜度隱藏於實體內部,對外提供簡單,精練的訪問接口。這個原