原创 flume01簡介及安裝部署
01.flume簡介及安裝部署 1.flume官網 1.http://flume.apache.org/ 2.flume下載 1.注意下載的時候要和cdh大版本一致 2.網址http://archive.cloudera.com
2020-07-01 03:29:48
原创 初識Hbase：一、Hbase簡介
一、Hbase簡介 1.hbase是NOSQL非關係型數據庫 1.not only sql：一般的nosql不支持SQL語言，一般都有自己的語法； 2.nosql的誕生 1.數據量越來越大； 2.查詢的性能要求越來越高； 3.hbas
2018-08-31 09:16:25
原创 03hadoop的MapReduce
03Hadoop的MapReduce Hadoop中的MapReduce 作用 提供分佈式的計算模型 實現思想 分而治之 組成 1.Map 作用：負責將任務進行切分，當map拿到一個job（即任務進程）之後會將這個任務進程拆分成多個小
2018-08-31 09:15:02
原创 05hadoop的安裝部署及僞分佈式搭建
05Hadoop的安裝部署 搭建模式 本地模式：一般用於MapReduce程序的測試 1.默認讀取的是本地的數據 2.沒有hdfs文件系統 3.沒有yarn進行資源的管理和任務的調度，只有task任務，直接運行在jvm中 僞分佈式模式：
2018-08-31 09:15:02
原创 02hadoop的HDFS
02Hadoop的HDFS Hadoop的HDFS（Hadoop的分佈式文件存儲系統） 1.分佈式和集中式的區別 1.集中式：單臺機器，資源有限，處理任務需要消耗較大的資源； 2.分佈式：多臺機器，資源是總和，將任務切分，分發給每臺機器執
2018-08-31 09:15:00
原创 初識Hbase-使用批量導入將.TSV文件中數據導入到Hbase表中
Hbase中數據的批量導入->TSV格式文件的數據導入到hbase表中 importTSV工具 作用 1.hbase內部提供了將.TSV文件中數據導入到hbase表的jar包 2.tsv文件格式以製表符（tab鍵）分隔的數據 測試HAD
2018-08-31 09:14:59