原创 Hive基本命令整理
創建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes withtwo columns, the first bein
2019-02-22 20:28:28
原创 hadoop的工作原理
hadoop是一種分佈式系統的平臺，通過它可以很輕鬆的搭建一個高效、高質量的分佈系統，而且它還有許多其它的相關子項目，也就是對它的功能的極大擴充，包括Zookeeper,Hive,Hbase等。 MapReduce是hadoop的核心
2019-02-22 20:28:22
原创 Hadoop命令摘錄
一：文件操作1、建立目錄[hadoop@hadoop1:hadoop]$bin/hadoopdfs -mkdir testdir在HDFS中建立一個名爲testdir的目錄2、上傳文件到HDFS[hadoop@hadoop1:hadoop]
2019-02-22 20:28:22
原创 HDFS基本知識整理
設計理念： 1、超大文件 2、流式數據訪問 3、商用普通硬件不適合場景： 1、低時間延遲的數據訪問 2、大量的小文件 3、多用戶寫入，任意修改文件一、HDFS的基本概念
2019-02-22 20:28:22
原创 配置secondarynamenode
secondarynamenoded 配置很容易被忽視，如果jps檢查都正常，大家通常不會太關心，除非namenode發生問題的時候，纔會想起還有個secondary namenode，它的配置共兩步： 集羣配置文件conf/mas
2019-02-22 20:28:22
原创 Linux Shell編程入門
從程序員的角度來看， Shell本身是一種用C語言編寫的程序，從用戶的角度來看，Shell是用戶與Linux操作系統溝通的橋樑。用戶既可以輸入命令執行，又可以利用 Shell腳本編程，完成更加複雜的操作。在Linux GUI日益完善的今天，
2018-09-12 04:59:46
1
原创 hadoop作業調優參數整理及原理
1 Map side tuning參數1.1 MapTask運行內部原理當map task開始運算，併產生中間數據時，其產生的中間結果並非直接就簡單的寫入磁盤。這中間的過程比較複雜，並且利用到了內存buffer來進行已經產生的部分結果的緩存
2018-09-12 04:59:32
原创 Hadoop隨筆
Mapreduce 處理的數據必須具備的特點： --待處理的數據可以分解成許多小的數據集，而且每個數據集都可以完全並行的處理 計算模型的核心部分是map和Reduce函數： --這兩個函數的功能由用戶根據需要自己實現，只要能夠按照用戶自定
2018-09-12 04:59:19
原创 HDFS的JavaAPI操作
[java] view plaincopy1. package hdfs; 2. 3. import static org.junit.Assert.fail; 4. 5. import java.util.Array
2018-09-12 04:59:19
原创 hadoop高可靠
HDFS 可靠性冗餘副本策略機架策略心跳機制安全模式校驗和回收站元數據保護 在數據節點啓動後，會把本地的文件系統遍歷一次，產生一份數據塊以及本地文件對 應關係的清單叫做塊報告，會彙報給NameN
2018-09-12 04:59:17
原创 HDFS基本知識整理
設計理念： 1、超大文件 2、流式數據訪問 3、商用普通硬件不適合場景： 1、低時間延遲的數據訪問 2、大量的小文件 3、多用戶寫入，任意修改文件一、HDFS的基本概念
2018-09-12 04:59:15
原创 在eclipse3.7中配置hadoop1.0.1插件
1.安裝插件準備程序：eclipse-3.7 hadoop-eclipse-plugin-1.0.1（http://download.csdn.net/detail/xiaoping8411/4216102）將hadoop-eclipse-
2018-09-12 04:59:12
原创 Hadoop的shell腳本分析
前記： 這些天一直學習hadoop,學習中也遇到了許多的問題，主要是對hadoop的shell腳本和hadoop的源碼概念不夠清楚，所以我就對hadoop的bin目錄下的shell腳本進行了研究，有一些成果想記錄下來，也希望大家前來批評指正
2018-09-12 04:59:10
原创 Hadoop分佈式安裝
一、安裝準備 1、下載hadoop，地址：http://hadoop.apache.org/,下載相應版本 2、下載JDK版本：Hadoop只支持1.6以上，地址：http://www.oracle.com/te
2018-09-12 04:59:10
原创 Hadoop命令摘錄
一：文件操作1、建立目錄[hadoop@hadoop1:hadoop]$bin/hadoopdfs -mkdir testdir在HDFS中建立一個名爲testdir的目錄2、上傳文件到HDFS[hadoop@hadoop1:hadoop]
2018-09-12 04:59:10