原创 使用HBase自帶的import工具導入數據遇到的兩個問題

因爲開發環境需要遷移,將原來HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs後下載出來,在新的開發環境中導入。導入時遇到了兩個問題。問題一:導入失敗提示User h

原创 部署Zookeeper集羣

本文是針對大數據開發環境來寫的,配置比較簡單。zookeeper的介紹、工作原理、特點自行查閱某度百科,說的非常明白。再次需要強調一下,zookeeper集羣中的機器節點數是2n-1(奇數)的。準備工作:下載 zookeeper-3.4.6

原创 hadoop2.6.0 集羣搭建

聲明:本文面向有linux基礎的大數據初學者,因好多配置都可以單獨出一篇文章,如寫的過於詳細篇幅較大對閱讀和操作會帶來負面影響,如遇到問題可以自行百度或加文章末尾留的QQ羣探討。整體流程如圖:準備工作:下載hadoop-2.6.0.tar.

原创 大數據技術學習推薦書籍(一)

因爲工作需要需要做一些與大數據開發有關的工作,加之網上的知識過於分散,經常往圖書館跑。看了很多與數據相關的書籍,認爲以下基本比較不,錯推薦給大家。因爲本人接觸大數據不足一年,肯定會有一些錯誤的觀念,有錯誤的地方歡迎在文章下方的評論中評論。1

原创 《寫給大忙人的hadoop2》讀書筆記(一)大數據定義

本文主要內容摘記自電子工業出版社出版的《寫給大忙人的Hadoop2》,Douglas Eadline著,盧濤 李穎譯。如想深入瞭解相關內容,請購買正版書籍閱讀。一、大數據的定義大數據不只是數據量大的意思,根據維基百科(http://en.w

原创 安裝Windows 和linux雙系統失敗導致Windows無法引導的解決方法

筆記本電腦原來的系統是windows 7系統。想在此基礎上安裝一個ubuntu系統,但是安裝了一半突然沒電停止了,再次開機發現windows系統也無法引導了,嘗試重新安裝Ubuntu系統,安裝完成依然沒有windows系統的引導信息。開始嘗

原创 CDH5 下HBase組件無法啓動

研發環境下搭建了一套基於CDH5的大數據平臺。在重啓服務器後發現HBase組件啓動異常,如圖HBase Master 運行狀況不良 RegionServer運行狀況不良 所有的RegionServer角色全部停止,啓動時報錯。查看角色日誌M

原创 《寫給大忙人的Hadoop 》讀書筆記(二)Hadoop介紹

本文從Hadoop是什麼、能做什麼、誰使用三個主要問題去講解。對於重點知識如MapReduce、YARN、Hadoop生態系統內的其他組件(HBase、Pig、Hive、Zookeeper等)的介紹和使用這裏不做詳細說明,需要大家對這些內容