原创 Linux下卸載 MySQL

文章目錄一、 查看安裝的 mysql二、卸載三、刪除殘留文件注: 如果不刪除下次再安裝 mysql 可能有問題 一、 查看安裝的 mysql [root@hadoop102 桌面]# rpm -qa|grep mysql mys

原创 Hive 安裝使用

文章目錄一、 Hive 安裝地址二、 Hive 安裝部署三、將本地文件導入Hive案例四、 MySQL 安裝 及 配置五、 Hive元數據配置到MySQL六、 HiveJDBC訪問七、Hive常用交互命令八、Hive其他命令操作九

原创 Linux下安裝 MySQL

文章目錄一、下載地址二、 解壓安裝 一、下載地址 https://download.csdn.net/download/java_road_far/11459574 二、 解壓安裝 將安裝包剪切到 /opt/software

原创 BUG 一覽

文章目錄HadoopHive Hadoop 1 異常描述: DataNode 起不來 解決辦法: 在 hadoop 下 刪除 data/ 和 logs/ 文件夾, 格式化 namenode 重啓 dfs 和 yarn; rm -

原创 Hive 數據類型

文章目錄一、基本數據類型二、集合數據類型三、 案例四、 類型轉化 一、基本數據類型 Hive數據類型 Java數據類型 長度 例子 TINYINT byte 1byte有符號整數 20 SMALINT shor

原创 Hive

文章目錄一、 Hive 入門1.1 什麼是 Hive1.2 Hive 優缺點1.3 Hive 架構原理1.4 Hive 和數據庫的比較二、 Hive 安裝三、Hive 數據類型四、 DDL 數據定義五、 DML 數據操作六、 查詢

原创 HDFS 高可用

文章目錄一、 HA 概述二、 HDFS-HA 工作機制三、 HDFS-HA 手動故障轉移3.1 工作要點3.2 配置 HDFS-HA 集羣3.3 啓動 HDFS-HA 集羣四、 HDFS-HA 自動故障轉移4.1 工作要點4.2

原创 七、NameNode和SecondaryNameNode

文章目錄一、NN和2NN工作機制1.1思考:NameNode中的元數據是存儲在哪裏的?1.2 NN 和 2NN 的工作機制:1.3 NN 和 2NN 工作機制詳解二、Fsimage和Edits解析2.1 概念2.2 oiv 查看

原创 十一、Hadoop序列化

文章目錄一、 序列化概述1.1 什麼是序列化1.2 爲什麼要序列化1.3 爲什麼不用 Java 的序列化1.4 Hadoop 序列化特點二、 自定義 bean 對象實現序列化結構(Writable)三、 序列化案例實操3.1 需求

原创 十、MapReduce概述

文章目錄一、 MapReduce定義二、 MapReduce 優缺點2.1 優點2.2 缺點三、 MapReduce 核心思想四、MapReduce 進程五、官方 WordCount 源碼六、常用的數據序列化類型七、 MapRe

原创 五、HDFS 客戶端操作

文章目錄一、HDFS 準備客戶端環境二、 HDFS 的 API 操作2.1 HDFS 的文件上傳(測試參數優先級)2.2 HDFS 的文件下載2.3 HDFS 的文件夾刪除2.4 HDFS更改文件名2.5 HDFS文件詳情查看2.

原创 六、HDFS 的數據流

文章目錄一、 HDFS 的IO操作1.1 上傳文件1.2 文件下載(完整下載)1.3 文件下載(分塊(Block)下載)二、 HDFS 寫數據流程2.1 剖析文件寫入2.2 網絡拓撲-節點距離計算2.3 機架感知(副本存儲節點選擇

原创 九、HDFS 2.X新特性

文章目錄一、集羣間數據拷貝二、小文件存檔 一、集羣間數據拷貝 scp實現兩個遠程主機之間的文件複製scp -r hello.txt root@hadoop103:/user/kino/hello.txt // 推 push s

原创 十二、MapReduce框架原理

文章目錄一、 InputFormat數據輸入1.1 切片與MapTask並行度決定機制1.2 Job提交流程源碼和切片源碼詳解1.3 FileInputFormat切片機制1.4 FileInputFormat實現類1.5 Com

原创 八、DataNode

文章目錄一、工作機制圖二、 數據完整性三 、掉線時限參數設置四、 服役新數據節點4.0 需求4.1 環境準備4.2 服役新節點具體步驟五、 退役舊數據節點5.1 添加白名單5.2 黑名單退役六、 DataNode 多目錄配置 前面