原创 sqoop系列（一）
1 sqoop hadoop和關係型數據庫之間數據遷移的工具 可以實現關係型數據庫和hdfs數據遷移、關係型數據庫和hbase數據遷移、關係型數據庫和hive數據遷移 2 測試sqoop與mysql的連接 查看幫助 [root@l
2020-06-30 14:17:17
原创 hive安裝(本地mariaDB爲元數據庫)
1 mariaDB安裝 [root@localhost ~]# rpm -qa | grep mariadb [root@localhost ~]# yum remove mysql mysql-
2020-06-30 14:17:15
原创 HBase系列（一）
1 概述 HBase是谷歌BigTable開源實現； 面向列存儲的非關係型數據庫； 存儲海量數據； 2 表的特點 大：一個表可以有數十億行，上百萬列； 面向列： 稀疏：對於null的列，並不佔用內存空間，表可以設計的可稀疏； 數據類
2020-06-30 14:17:15
原创 hadoop2.0 MapReduce編程（java客戶端）
1 通用開發步驟 創建java工程 引入相應的hadoop相關jar share/hadoop/mapreduce下面的全部jar share/h
2020-06-04 05:06:58
原创 hive系列（一）
1 hive簡介 Hive是一個構建在Hadoop上的數據倉庫工具，目標是SQL與MR的映射。hive十分適合數據倉庫的統計分析。 Hive在hadoop生態系統中扮演數據倉庫的角色，將結構化的數據文件映射成一張數據庫中的表； 2 h
2020-02-25 23:21:14
原创 linux高CPU進程
1 使用top命令 可以看到pid爲31199的進程佔用CPU 2 查看具體進程信息 [root@localhost /]# cd proc/ [root@localhost proc]# cd 31199 [root@localho
2020-02-25 23:21:14
原创 zookeeper系列（二）
1 shell命令行的基本使用 [root@localhost bin]# ./zkCli.sh -server 10.10.2.228:2181 [zk: 10.10.2.228:2181(CONNECTED) 1] --help
2020-02-25 23:21:14
原创 HBase系列（二）
1 HRegion結構 參看http://blog.csdn.net/wyl6019/article/details/52995909結構圖可以看出HRegion的結構包括： 當向HBase中寫入數據時，會向HLog中寫入日記，之後在向
2020-02-25 23:21:14
原创 zookeeper系列（一）
1 概述 zookeeper是分佈式服務框架，是hadoop Ecosystem中組件。 zookeeper主要應用包括：集羣管理、統一命名服務、分佈式配置管理、分佈式消息隊列、分佈式鎖、分佈式通知等。 2 zookeeper基本概念
2020-02-25 23:21:14
原创 pig安裝
[root@localhost local]# tar -zxvf pig-0.16.0.tar.gz 設置環境變量 [root@localhost etc]# vi /etc/profile
2020-02-25 23:21:14
原创 flume-ng配置文件詳解（一）
1 Avro案例 [root@localhost conf]# vi avro.confagent1.sources = r1 agent1.sinks = k1 agent1.channels = c1 agent1.source
2020-02-25 23:21:14
原创 hive系列（二）
1 hive整體架構 client : linux shell、WEB GUI 元數據存儲：mysql、deby，用於存儲HDFS中文件與表之間的關係、表名稱、表所屬數據庫（默認default數據庫）等等 解析器：解釋器、編譯器、優化器
2020-02-25 23:21:14
原创 kafka集羣安裝（獨立zookeeper集羣）
1 集羣環境 192.168.100.200 192.168.100.201 192.168.100.202 2 按照步驟 [root@localhost local]# tar -zxvf kafka_2.11-0.10.1.0.
2020-02-25 23:21:14
原创 flume-ng單節點搭建
1 概述 flume是一個高可用、分佈式的日誌收集系統，同時flume支持對數據的簡單處理，支持failover和負載均衡，支持可定製的數據源和數據存儲能力 2 體系架構圖 3 術語 Agent : 一個flume節點的實例,包
2020-02-25 23:21:14
原创 sqoop-1.4.6的安裝
[root@localhost local]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 拷貝mysql的驅動到${SQOOP_HOME}/lib下 [root@localh
2020-02-25 23:21:14