原创 03_Hadoop簡單介紹以及版本信息
一、海量數據： 量：大、數目多，數據量到達PB、ZB級別，條目數到達幾十億條、百億條 1）存儲：分佈式，集羣的概念，管理（主節點、從節點），HDFS（HadoopDistributedFileSystem） 2）分析：分佈式，並行，離線
2020-02-22 19:59:06
原创 shell編程之正則表達式
1、正則表達式 其實就是一種規範，也就是模式，約束字符串等符合什麼樣的格式，比如要求字符串必須a開頭，t結尾，符合這樣條件的字符串就要用到正則表達
2020-02-22 19:59:06
原创 07_Warning $HADOOP_HOME is deprecated.去除辦法
Warning $HADOOP_HOME is deprecated.去除辦法 警告的出現： 解決方案： 第一種： 去除【/etc/profile】文件中【export HADOOP_HOME=/opt/modules/hadoop-
2020-02-22 19:59:06
原创 011_用eclipse打開hadoop1.2.1源碼出現The method getSplits(JobConf, int) is undefined for the type Object錯誤
出現的錯誤截圖： 此時Eclipse使用的jdk1.8，將編譯環境改成jdk1.7就行了，解決。 沒問題了。 下面觀點是參考如下網址，未經驗
2020-02-22 19:59:06
原创 04_Apache Hadoop 生態系統
內容提綱： 1）對 Apache Hadoop 生態系統的認識（Hadoop 1.x 和 Hadoop 2.x） 2） Apache Hadoop 1.x 框架架構原理的初步認識 3） Apache Hadoop 1.x 安裝的三種模
2020-02-22 19:59:06
原创 Ubuntu中輸入輸出重定向及管道技術簡述
輸出 1、標準輸出 定義：程序在默認情況下輸出結果的地方（stdout）。 2、輸出重定向 定義：用於把數據的輸出轉移到另一個地方去。 3、U
2020-02-22 19:59:06
原创 06_Hadoop配置僞分佈式模式詳解
查看IP地址，設爲手動模式： 配置hadoop用戶sudo權限 su切換到root身份，配置vim /etc/sudoers文件，加入 hadoop ALL=(root)NOPASSWD:ALL 配置/opt文件夾的屬主 將/op
2020-02-22 19:59:06
原创 05_安裝本地（單機）模式
軟件安裝的規則： /opt --- 父目錄 /opt/modules -- 存放軟件的安裝目錄 /opt/softwares -- 存放軟件包（tar 包，bin 文件，zip 文件等） /opt/t
2020-02-22 19:59:06
原创 09_Hadoop啓動或停止的三種方式及啓動腳本
1、Hadoop啓動或停止 1）第一種方式 分別啓動 HDFS 和 MapReduce，命令如下： 啓動： $ start-dfs.sh $ start-mapred.sh 停止： $ stop-mapred.sh $ start-
2020-02-22 19:59:06
原创 010_Hadoop配置測試成功後關機重啓瀏覽器打不開dfs和MP
針對Hadoop成功配置並測試通過，第二次（關機重啓）後Hadoop打不開的問題，一般都是因爲防火牆的問題，將防火牆關閉後就可以了. 更細緻的現象爲s
2020-02-22 19:59:06
原创 012_Eclipse中使用 HDFS URL API 事例介紹
本事例其實和使用hdfs FileSystem API差不多，FileSystem API也是通過解釋成URL在hdfs上面執行的，性質相同，但是實際
2020-02-22 19:59:06
原创 [置頂]01_Hadoop學習筆記內容說明
Hadoop學習筆記內容說明_00 1、 觀看雲帆大數據夢琪老師的《企業級 Hadoop 1.x 應用開發基礎課程》2014年4月左右版本。 2、 博客是在夢琪老師的隨堂筆記上改動的，方便的是自己以後回顧學習，也或許能給需要改方面幫助
2018-08-30 23:58:37
2
原创 專欄收藏（收集比較優秀的博主、博文，供學習）
1、http://zz563143188.iteye.com/link java,oracle,mysql,jquery,linux,Struts,Spring,Hibernate,maven webservices,Nosql,hud
2018-08-30 23:58:37
原创 027_編寫MapReduce的模板類Mapper、Reducer和Driver
模板類編寫好後寫MapReduce程序，的模板類編寫好以後只需要改參數就行了，代碼如下： 1 package org.dragon.hadoop.mr.module; 2 3 import
2018-08-30 23:58:24