原创 02_虛擬機的安裝和SecureCRT、FileZilla、Xmanage、UltraEdit工具的介紹

上述幾個工具連接不成功的情況,很多時候是因爲ssh服務沒有安裝,CentOS默認安裝,不會出現問題,Ubuntu桌面版默認沒有安裝,需要手動安裝,安裝部分參考下文SecureCRT部分 一、安裝CentOS及配置主機網絡 安裝Cent

原创 版本控制系統Subversion

系統提供撤銷的功能對我們實際開發中特別重要。改動後撤銷幾乎也是我們每個人經常做的事情。再多人進行同一個項目的開發或者測試的時候,版本的唯一性(類似於臨界區資源),也就是說A 和B 兩個人協同工作的時候不能同時對同一個文件改動,並保存成功。

原创 Git版本控制系統VCS

Git版本控制系統VCS 一、版本控制系統基本情況說明   版本控制是一種記錄一個或者若干個文件內容的變化,以便將來查閱特定版本修訂情況的系統 1、作用   記錄文件的所有歷史變化   隨時可回覆到任何一個歷史狀態   多人協作開發或者

原创 022_Hadoop中的數據類型(Writable、WritableComparable、Comparator、RawComparator…)

1、 在hadoop中所有的key/value都必須實現Writable接口,有兩個方法,分別用於讀(反序列化)和寫(序列化)操作。 參考代碼:

原创 023_數量類型練習——Hadoop MapReduce手機流量統計

1) 分析業務需求:用戶使用手機上網,存在流量的消耗。流量包括兩部分:其一是上行流量(發送消息流量),其二是下行流量(接收消息的流量)。每種流量在網絡

原创 Ubuntu12.04等的輸入法問題 中英文切換 fitcx

一般烏班圖系統安裝的時候會提醒大家選擇安裝的輸入法,若大家選擇中文安裝,那麼支持中文沒得說,當選擇英文安裝的時候,發現整個系統環境是英文,並且根本不能

原创 021_在Eclipse Indigo中安裝插件hadoop-eclipse-plugin-1.2.1.jar,直接運行wordcount程序

1、工具介紹  Eclipse Idigo、JDK1.7-32bit、hadoop1.2.1、hadoop-eclipse-plugin-1.2.1

原创 025_MapReduce樣例Hadoop TopKey算法

1、需求說明 2、 某個文件中某列數據的最大值。 思路:對每一個列的值依次進行比較,保存最大的值進行輸出,算法的思想類似於排序算法(快速和冒泡排序

原创 026_默認的MapReduce Driver(最小驅動問題)

1、 最小配置的MapReduce Driver 讀取輸入文件中的內容,輸出到指定目錄的輸出文件中,此時文件中的內容爲: Key---輸入文件每行內容

原创 sudoers文件設置sudo命令無密碼(root密碼)登錄

參考博客:http://xvshell.iteye.com/blog/1838093 1. 當用戶執行sudo時,Linux系統會去尋找/etc/su

原创 CentOS7,將文本模式改成圖形界面模式

在以前通過vi /etc/inittab,將3修改成5。但是在centOS7之後將修改的辦法換掉了,執行systemctl set-default g

原创 024_MapReduce中的基類Mapper和基類Reducer

內容提綱 1) MapReduce中的基類Mapper類,自定義Mapper類的父類。 2) MapReduce中的基類Reducer類,自定義Reducer類的父類。 1、Mapper類 API文檔 1) InputSplit輸入分片,

原创 08_三大配置文件和五大守護進程

1、配置文件 三大基礎配置文件: 1)core-site.xml:配置HadoopCommonProject相關的屬性配置,Hadoop1.x框架基礎屬性的配置 2)hdfs-site.xml:配置HDFSProject文件系統相關的屬性

原创 011_Eclipse中使用HDFSFileSystemAPI事例介紹

需求 1.文件操作 1)上傳本地文件到HDFS 2)讀取文件 3)在hadoopfs中新建文件,並寫入 4)重命名文件 5)刪除hadoopfs上的文件 2.目錄操作 1)讀取某個目錄下的所有文件 2)在hadoopfs上創建目錄 3)

原创 VMWare中安裝windowsXP遇到的問題

XP系統安裝 1、安裝Windows和安裝linux不一樣,創建虛擬機完成後Linux自動根據硬盤進行系統安裝,不需要提前分區。而windows必須進