原创 詳解 Too many open files

[size=medium] 運行在Linux系統上的Java程序可能會出現"Too many open files"的異常情況,且常見於

原创 如何查找與定位問題

[size=medium]藉着最近有些時間的機會,分享一個主題:《[color=blue]如何查找與定位問題[/color]》這裏總結的是過去幾年工作之中,我所遇到的查找問題的思路與一些有用的工具。從我的經

原创 國內技術人員與國外技術人員差多遠

[size=medium]早上同事問到這個問題,回答時順道總結了我以往的一些看法。這個問題我以前就問過我自己,在接觸過很多不同的技術人員後,慢慢形成一些觀點。不一定對,權當記錄吧。我是感覺國內的技術人員(9

原创 對Hadoop的SWOT分析

[size=medium]在當前大數據研究與應用如火如荼的時代,Hadoop毅然成爲業界的翹楚。我想本着客觀的態度,從旁觀者的角度分析當前Hadoop所面對的機遇與挑戰。在我的認識中,SWOT分析還算全面,

原创 MapReduce:計算Job運行時的CPU與內存平均利用率

[size=medium]Hadoop集羣上運行有多道MapReduce Job,到底每個Job消費集羣計算資源(CPU,內存)的情況如何,通常我們是不知道的。這節來探討下如果想獲得這些信息,應該怎樣做。

原创 大致瞭解下Hadoop RPC機制

[size=medium] RPC是Hadoop的基礎組件,提供分佈式環境下的對象調用功能。之前用了兩天時間分析與測試Hadoop RPC,目的是想弄清楚它對集羣協作的影響。本來想等深入研究後再總

原创 Hadoop離Online系統有多遠

[size=medium] 長久以來,說起Hadoop,大家只會想到它能承擔offline系統的分析工作。的確,它在這個方面做的是很優秀了。如果有人說:Hadoop也可以擔當online系統的一部分呀

原创 [Java拾遺]Java對象大小探究

[size=medium] 平時我們不會關心生成的對象到底在JVM中佔據多少內存,當發生像OutOfMemory或JVM內存異常增加或減少時纔會花精力研究到底發生了什麼事情。如果當我們發現有些對象確實

原创 優秀程序員還得有個標籤:可控性

[size=medium] 讀到CSDN的一篇文章《[url=http://news.csdn.net/a/20111106/307026.html]優秀程序員的首要特性:判斷力[/url]》,作者講

原创 HDFS:解決HDFS跨版本兼容問題

[size=medium] HDFS提供用戶客戶端服務,在協助用戶操作集羣數據的同時,內部也包含大量的控制邏輯。這樣我們就可以把HDFS客戶端理解爲兩部分:一部分提供客戶調用,另外一部分屬於HDFS內

原创 [Java拾遺]初次嘗試BCEL:修改類實現的例子

[size=medium] 項目中有個需求:在不修改源代碼的情況下,替換某個類的引用爲我們自己的實現。用一個類似的簡單例子來說明:[/size]public class CarHolder {

原创 文件中行級偏移量的一種獲取方式

[i]下面所描述的內容是根據實際需要對BufferedReader的小改進,並提供一張簡圖來說明所做的修改。如有更方便的方式請回帖或聯繫[email protected]給予明示,謝謝[/i][size=

原创 HDFS:NameNode的Proxy該怎樣做

[size=medium] 在上篇[url=http://langyu.iteye.com/blog/1165292]blog[/url]中提到了HDFS的功能擴展點:Service plugin,它

原创 程序告訴你的事情(節省自己的時間)

[size=medium] 系統運行在QA或產品環境上纔是真正考慮我們程序員的時候。QA和OP看到任何異常時會求助於我們,然後我們經常的動作可能是:詢問QA和OP問題出現的症狀,登錄到服務器上,查看日

原创 對實時分析與離線分析的思考

[size=medium] 數據的價值是有時效性的,越早分析越能得到更快的問題反饋或響應。Hadoop的設計初衷是存儲與分析離線大數據,我認爲它的缺點就是不能及時地利用數據中所蘊含的深層價值。