原创 MapReduce學習筆記(2)
MapReduce學習筆記(1):https://blog.csdn.net/hansionz/article/details/105408174 MapReduce學習筆記1. 自定義分區1.1 分區原理1.2 默認分區1.3
2020-06-19 21:41:11
原创 HDFS常用命令總結
HDFS常用命令總結1. hdfs命令風格1.1 常用命令1.2 總結2. hdfs與getconf結合使用3. hdfs與dfsadmin結合使用4. hdfs與fsck結合使用5. 其他命令 1. hdfs命令風格 HDFS命
2020-06-19 14:37:48
原创 ZooKeeper分佈式協調框架學習總結(2)
ZooKeeper分佈式協調框架8. HDFS HA方案8.1 ZooKeeper監聽器8.2 類比舉例8.3 HDFS HA原理9. ZooKeeper之讀寫數據9.1 ZooKeeper集羣架構圖9.2 讀操作9.3 寫操作1
2020-06-19 13:25:12
原创 spark內存計算框架(1)
spark內存計算框架1. spark是什麼2. spark的四大特性2.1 速度快2.2 易用性2.3 通用性2.4 兼容性3. spark集羣架構4. spark集羣安裝部署5. spark集羣的啓動和停止5.1 啓動5.2
2020-05-30 23:47:05
原创 Hbase基礎入門
HBase1. HBase是什麼1.1 HBase的概念1.2 HBase的特點2. HBase集羣安裝部署2.1 準備安裝包2.2 修改HBase配置文件2.2.1 hbase-env.sh2.2.2 hbase-site.xm
2020-05-13 23:04:30
原创 hive綜合案例實戰
hive綜合案例實戰1、需求描述2、項目表字段2,1 數據結構3、ETL原始數據清洗4、項目建表並加載數據4.1 創建表4.2 導入ETL之後的數據(ODS層 textfile)4.3 向ORC表插入數據(DW層 ORC + sn
2020-05-12 18:41:42
原创 centos7當中安裝mysql5.7版本
1.開啓centos7服務器，並切換到root用戶 在CentOS7中默認安裝有MariaDB，這個是MySQL的分支，但爲了需要，還是要在系統中安裝MySQL，而且安裝完成之後可以直接覆蓋掉MariaDB。 將我們的centos
2020-05-12 18:41:42
原创 數據倉庫工具之hive(3)
大數據分析利器之hive(3) 1、hive的參數傳遞 1.1 Hive命令行 hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-
2020-05-11 13:05:53
原创 數據倉庫工具之hive調優(4)
大數據分析利器之hive1. hive表的文件存儲格式1.1 列式存儲和行式存儲1.2 TEXTFILE格式1.3 ORC格式1.4 PARQUET格式1.5 主流文件存儲格式對比1.5.1 TextFile1.5.2 ORC格式
2020-05-11 13:05:53
原创 數據倉庫工具之hive(2)
大數據分析利器之hive1、hive的分桶表2、Hive修改表結構2.1 修改表的名稱2.2 表的結構信息2.3 增加/修改/替換列信息3. Hive數據導入1、直接向表中插入數據（強烈不推薦使用）2、通過load方式加載數據（必
2020-05-10 09:37:09
原创 數據倉庫工具之hive(1)
大數據分析利器之hive1.數據倉庫介紹1.1 數據倉庫的基本概念1.2 數據倉庫的主要特徵1.3 數據倉庫與數據庫區別1.4 數據倉庫分層架構2. hive介紹2.1 什麼hive2.2 Hive與數據庫的區別2.3 Hive的
2020-05-09 04:09:04
1
原创 工作流調度oozie
工作流調度oozie1.什麼是oozie2.oozie的架構3.安裝oozie3.1 修改core-site.xml3.2 上傳oozie的安裝包並解壓3.3 解壓hadooplibs到與oozie平行的目錄3.4 創建libex
2020-05-09 04:09:04
原创 大數據整合利器之HUE
大數據整合利器之HUE1、HUE的基本介紹1.1 什麼是HUE1.2 HUE網站鏈接1.3 Hue的架構1.4 HUE核心功能2、Hue的安裝第一步：下載Hue的壓縮包並上傳到linux解壓第二步：編譯安裝啓動2.1、linux系
2020-05-09 04:09:04
原创 數據遷移工具之Sqoop
數據遷移工具之Sqoop1. Sqoop是什麼2. Sqoop的工作機制3. Sqoop基本架構4. Sqoop安裝部署5. Sqooq數據的導入5.1 列舉出所有的數據庫5.2 導入數據庫表數據到HDFS5.3 導入數據庫表數據
2020-05-07 20:22:38
原创 大數據輔助框架之impala
大數據技術之impala0. 離線任務流程1、 impala的概述1.1 imala基本介紹1.2 impala與hive的關係1.3 impala的優點1.4 impala的缺點：1.5 impala的架構以及查詢計劃2、im
2020-04-27 19:02:47