Hadoop應用程序性能調優案例分析——CSDN TUP第四期精彩摘要

      由CSDN和《程序員》雜誌聯合策劃組織,旨在與業界人士分享IT產品背後的技術和用戶體驗故事的線下活動TUP(Technology、User Experience、Product) 第四期,9月6日在Yahoo全球研發中心舉辦,本期活動邀請到了Yahoo公司Hadoop應用架構師——Milind Bhandarkar深入分析了Hadoop應用程序性能調優。

 

     在講座中,Milind Bhandarkar給與會者講述了Hadoop一些最重要的參數的配置方法以及這些參數對系統的性能有何影響。

 

  

    此外,Milind Bhandarkar還給與會者介紹了一個尚未發佈的基於規則的性能異常檢測框架——Hadoop Vaidya,並展示了Yahoo公司真實負載下Vaidya框架的性能結果。

     Milind Bhandarkar爲與會者介紹了相當多的技術熱點,比如如何在Hadoop中實現map過程、如何定義InputFormat和OutputFormat等技術實踐內容。

    在最佳實踐的建議中,Milind Bhandarkar提出了在Hadoop平臺上使用高級語言進行開發、使用合成器對本地軟件集成以減少文件大小等幾種解決方案。

    本次活動得到了CSDN大量Hadoop開發者的大力支持,50張門票在短短兩天時間內便被預定一空,現場座位之緊張程度可見一斑。與會者有來自中國移動研究院、中國電信研究院、百度、搜狐、人人網、豆瓣等知名公司的資深技術人員,討論相當深入。

據對與會人員的抽樣調查,國內許多互聯網公司都已經開始在生產環境使用Hadoop。雲計算技術正在進入主流。

 講師介紹

 

 

Milind Bhandarkar,Yahoo!公司Hadoop應用架構師

     Milind Bhandarkar自從0.1.0.版本就開始爲Apache Hadoop項目做出貢獻,他帶領Yahoo公司網格解決方案團隊專注於爲Hadoop相關開發者提供培訓與諮詢,他們已經爲數百個Hadoop相關開發團隊提供了支持。Milind Bhandarkar擁有超過20年並行編程語言經驗。他曾工作於Center for Development of Advanced Computing (C-DAC,專注於先進火箭模擬的研究中心),Siebel Systems公司,與Pathscale公司(被QLogic收購),於2005年加入Yahoo!公司。

 關於Hadoop

 Hadoop是MapReduce和GFS的開源Java實現,一種得到廣泛應用的分佈式計算框架。最初是搜索引擎項目Nutch的一部分,由時在Yahoo的Doug Cutting開發。目前已經成爲Apache的頂級項目。

 

想了解更多TUP技術沙龍第四期活動請關注http://tup.csdn.net/

 

更多TUP技術沙龍實時資訊請關注新浪、搜狐“TUP技術沙龍

發佈了31 篇原創文章 · 獲贊 0 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章