原创 在Windows操作系統上編譯Hadoop源碼

在上篇博客中,筆者提到曾經在Windows上編譯Hadoop源碼。這裏將具體流程列出。 一、操作系統和Hadoop版本 Windows 10專業版(64位),Hadoop 2.7.2。 二、安裝軟件依賴 1、jdk 1.8 安裝後設置環

原创 Mac電腦截圖快捷鍵

Mac電腦截圖很方便,常用的快捷鍵有如下四種:Command-Shift-3全屏截圖並保存爲圖片Command-Shift-4指定區域截圖並保存爲圖片Command-Shift-Control-3獲取全屏截圖到剪貼板Command-Shi

原创 使用Hortonworks的Hadoop發行版(hdp)在Windows系統上安裝Hadoop集羣

由於工作中的具體需求,筆者需在Windows系統上搭建一個Hadoop集羣去運行C++程序。之前折騰了好久,包括嘗試在Windows系統上手動編譯hadoop源碼並部署。然而,雖然編譯成功,並搭建了一個僞分佈模式的集羣,但發現搭建全分佈模

原创 使用CDH5.3.0中Hadoop安裝包進行僞分佈模式安裝

這樣做的目的是筆者要開發一個spark程序,將來移植到用CDH5.3.0部署的集羣上,但是筆者的開發環境並沒有這樣的集羣。由於網上搜索的結果不夠準確(不同版本的Hadoop安裝方式不一),所以經過一番嘗試成功安裝後,將安裝步驟總結如下。