原创 MapReduce II
排序 1.部分排序 默認. 2.全排序 1.一個reduce 2.自定義分區類 可能會產生數據傾斜。 3.使用hadoop內置的全排序分區類。 採樣.
2020-02-23 07:09:28
原创 Flume Note
flume 收集日誌。 高效收集、聚合、移動大量日誌。架構簡單靈活，數據流（動態計算）技術。 在線分析應用。 agent 1.source 來源,input 2.channel 通道,緩衝區 buffer 3
2020-02-23 07:09:28
原创 HDFS Commands
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系統根目錄下的目錄和文件 hadoop fs -ls -R / 列出hdfs文件系統所有的目錄和文件 2.
2020-02-23 07:09:28
原创 Hadoop Fully distributed mode
Before Clone [centos@localhost yum.repos.d]$ sudo nano /etc/hosts 127.0.0.1 localhost 192.168.168.
2020-02-23 07:09:28
1
原创 MapReduce I
MapReduce MR : 編程模型。 WordCountMR 1.編寫Mapper package com.hadoop.mr; import org.apache.hadoop.io.IntWritab
2020-02-23 07:09:28
原创 Hive I
數據倉庫 OLAP //online analyze process. //數量量大,併發低，延遲高。 hive //hadoop mr,效率高。 sql //類
2020-02-23 07:09:28
原创 Hadoop Notes I
hadoop 分佈式計算框架。 [內置模塊] 1.common 2.hdfs 分佈式存儲。 Namenode DataNode secondaryNamenode 3.mapreduce 4.yar
2020-02-23 07:09:28
原创 Hadoop Replication Pipelining, Replica Placement Policy, Replication Rack Awareness
https://hadoopabcd.wordpress.com/2015/03/17/hdfs-file-blocks-distribution-in-datanodes/ Replication Rack Awareness
2020-02-23 07:09:28
原创 java.io.IOException: There appears to be a gap in the edit log. We expected txid 41, but got txid
Need to copy the edits file to the journal node (I have 3 journal node s101 s102 s103) [centos@s100 /home/cento
2020-02-23 07:09:28
原创 Hive II
Hive 數據倉庫。 OLAP(online analyze process) hdfs 元數據關係型數據中。 Hive執行流程 cli交互driver driver通過編譯器進行編譯(語法解析和語義解析) 編譯器查詢metas
2020-02-23 07:09:28
原创 Hadoop Node II
hadoop完全分佈式 hdfs命令: //. == /user/centos hdfs dfs -put xxx.tar . 找出所有hadoop配置信息 hadoop-common-2.7.3.jar/core-defaul
2020-02-23 07:09:28
原创 The authenticity of host 'localhost (::1)' can't be established.
Error: [centos@s200 hadoop]$ ssh localhost The authenticity of host ‘localhost (::1)’ can’t be established. ECDSA
2020-02-23 07:09:27
原创 Hadoop Environment Setup(VM fushion. Centos7)
Setup VM fushion Configure Static IP Address You will only need to edit the settings for: DNS GATEWAY PREFIX IP
2020-02-23 07:09:27
原创 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
I set Hive hadoop on CentOS of VMware of Mac. And I set Mysql on Mac. When I use ‘schematool -dbType mysql -initSc
2020-02-23 07:09:27