原创 ubuntu上hadoop單機和集羣配置學習
首先我使用的是 ubuntu 11.10 hadoop1.1.2 單機版的操作 1.安裝ssh sudo apt-get install ssh 2.安裝rsync sudo apt-get install rsync 3.配
2020-07-05 20:25:29
2
原创 Google Guice 入門教程01 - 依賴注入(1)
1. 依賴注入 1.1 類依賴注入 所謂的綁定就是將一個接口綁定到具體的類中，這樣客戶端不用關心具體的實現，而只需要獲取相應的接口完成其服務即可。 HelloWorld.java 1 public interface Hell
2020-07-05 20:25:29
2
原创 使用isolationRunner來分析hadoop集羣中的task失敗
對於使用hadoop進行日誌分析等工作的開發者來說，相信一直都面臨着一個非常頭 疼的問題。那就是：對hadoop的mapreduce作業，在分佈式集羣上進行單個task的單步debug跟蹤調試無法辦到。只能在本地進行調試，然 後提交
2020-07-05 20:25:29
原创 Google Guice 入門教程02 - 依賴注入(2)
Google Guice 入門教程02 - 依賴注入(2) 1.2 屬性注入（Field Inject） 1.2.1 基本屬性注入 首先來看一個例子。Service.java 1 @ImplementedBy(ServiceImpl
2020-07-05 20:25:29
2
原创 VirtualBox下的ubuntu虛擬機之間通訊的網絡配置
下面的文章是轉載別人的，我自己試過了，總結如下，我在vitualbox下面安裝兩臺ubuntu，是同樣的ip以至於沒有辦法進行相應的hadoop集羣配置，於是就修改ip，即使在同一網段也不能ping通，試了一個上午，最後看到這篇文章，試試
2020-07-05 20:25:29
原创 Google Guice 入門教程05 - AOP（面向切面編程）
2 AOP 面向切面編程 2.1 AOP入門 在前面的章節主要講Guice的依賴注入，有了依賴注入的基礎後我們再來看Guice的AOP。我們先從一個例子入手，深入淺出的去理解Guice的AOP的原理和實現。 首先我們定義服務Service
2020-02-20 17:24:51
原创 安裝hadoop+hbase僞分佈式
我在將hbase安裝到hadoop過程中試了好多個配置，最終這個hbase的配置，可以正常啓動。 1.安裝hadoop僞分佈式 1.1安裝jdk-6u24-linux-x64-rpm.bin，需要說明的是，儘可能的使用64位的
2020-02-20 17:24:51
原创 hadoop namenode啓動過程詳細剖析及瓶頸分析
NameNode啓動過程詳細剖析 NameNode中幾個關鍵的數據結構 FSImage Namenode會將HDFS的文件和目錄元數據存儲在一個叫fsimage的二進制文件中，每次保存fsimage之後到下次保存之間的所有hdfs操作，將
2020-02-20 17:24:51
1
原创 Namenode做block Recovery過程詳細剖析
hdfs爲什麼會做block recovery 說HDFS的block recovery，其實就是Namenode認爲該block的狀態需要發生一些變化，其原信息和數據都需要做一些相應的調整（或恢復），原信息的調整在namenode上，
2020-02-20 17:24:51
原创 在xp和windows下安裝ubuntu方法
優勢：利用它我們可以輕鬆在 Windows安裝ubuntu。 1.不用刻盤 2.不用重新分區 3.不用特意空一個盤來安
2020-02-20 17:24:51
原创 Google Guice 入門教程06 – Web 和 Servlet
3 Web 和 Servlet 3.1 快速開始 我們從一個例子開始Guice Web的開發。 首先準備我們的環境，由於是web開發，因此我們需要guice-servlet的jar包。log4j不是必須的，只是爲了方便日誌
2020-02-20 17:24:51
2
原创 深入理解Hadoop集羣和網絡
摘要：本文將着重於討論Hadoop集羣的體系結構和方法，及它如何涉及到網絡和服務器基礎設施。開始我們先學習一下Hadoop集羣運作的基礎。 導讀：雲計算和Hadoop中網絡是討論得相對比較少的領域。本文原文由Dell企業技術專家Bra
2020-02-20 17:24:51
原创 Google Guice 學習--第一篇
一：前言 主要對Guice框架和依賴注入進行簡單的介紹 Google Guice 是一個輕量級的依賴注入框架，它支持Java 5或者更高版本的JDK，得利於Java 5中提供的泛型 (Generics) 和註釋 (Annotation
2020-02-20 17:24:51
原创 超詳細單機版搭建hadoop環境圖文解析
年前，在老大的號召下，我們糾集了一幫人搞起了hadoop，併爲其取了個響亮的口號“雲在手，跟我走”。大家幾乎從零開始，中途不知遇到多少問題，但終於在回家之前搭起了一個擁有12臺服務器的集羣，並用命令行在該集羣上運行了一些簡單的mapred
2020-02-20 17:24:51
原创 Hadoop+Hbase安裝配置實錄
轉載的文章，還沒有進行測試，是否可以成功 3臺機器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意：hostname設置爲master/slave1
2020-02-20 17:24:51