原创 HiveQL函數7—數據脫敏函數（Data Masking）
目錄1.mask(string str[, string upper[, string lower[, string number]]])2.mask_first_n(string str[, int n])3.mask_last
2020-06-16 04:20:22
原创 HiveQL DDL—分區
目錄概述創建分區表查看分區使用SHOW查看分區查看錶的所有分區查看部分分區查看分區的擴展信息使用DESCRIBE查看分區修改分區添加字段添加分區修改分區名交換分區修改分區字段的數據類型修改分區的文件格式修改分區的存儲位置合併分區中
2020-06-16 04:20:22
原创 HiveQL DQL2—CTE和子查詢
目錄CTE概述示例SELECT語句中使用CTEViews，CTAS和INSERT語句中使用CTE子查詢示例1：在FROM子句中使用子查詢示例2：在WHERE子句中使用子查詢參考 CTE 概述 公共表表達式（CTE）是從WITH
2020-06-16 04:20:22
原创 HiveQL DDL—SHOW的使用總結
目錄Show DatabasesShow Tables/Views/Partitions/IndexesShow TablesShow ViewsShow Materialized ViewsShow PartitionsShow
2020-06-16 04:20:22
原创 HiveQL DQL3—JOIN
目錄概述隱式join表示法（Implicit join notation）非限定列引用（Unqualified column reference）ON子句支持複雜表達式（Complex expressions in ON clau
2020-06-16 04:20:22
原创 HiveQL DDL—物化視圖
目錄概述創建物化視圖查看物化視圖使用SHOW查看使用DESCRIBE查看修改物化視圖刪除物化視圖 概述 物化視圖是Apache Hive 3.0.0新加入的特性。使用物化視圖加速查詢速度是傳統數據庫常用的技術之一。Apache
2020-06-16 04:20:22
原创 HiveQL DML—數據加載和插入
目錄使用LOAD DATA加載數據語法示例將查詢結果插入到表中語法示例將查詢數據寫入到文件系統中語法示例使用 INSERT...VALUES 語句插入數據到表中語法示例 使用LOAD DATA加載數據 Hive使用LOAD DAT
2020-06-16 04:20:22
原创 HiveQL DDL—表
目錄創建表使用 CTAS 建表使用 LIKE 子句建表查看錶使用SHOW查看錶查看數據庫中的表查看錶的詳細信息查看錶的字段信息查看建表語句查看錶屬性使用DESCRIBE查看錶信息清理表DROP TABLETRUNCATE TABL
2020-06-16 04:20:22
原创 HiveQL函數8—其他雜項函數
目錄1.java_method(class, method[, arg1[, arg2..]]) , reflect(class, method[, arg1[, arg2..]])2.hash(a1[, a2...])3.cur
2020-06-16 04:20:22
原创 HiveQL DDL—數據庫
目錄創建數據庫查看數據庫使用SHOW查看數據庫使用DESCRIBE查看數據庫修改數據庫使用數據庫刪除數據庫 創建數據庫 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
2020-06-16 04:20:22
原创 HiveQL DDL—索引
目錄概述創建索引查看索引修改索引刪除索引 概述 Hive的索引功能是在0.7版本引入的，從3.0開始該特性被移除（參考HIVE-18448.）。不過3.0引入了物化視圖這一類似索引的技術。Hive使用索引是爲了提高查詢表中某些
2020-06-16 04:20:22
原创 HiveQL DML—IMPORT,EXPORT
目錄EXPORTIMPORT 當需要進行數據遷移的時候，可能需要在兩個不同集羣之間移動數據。Hive支持使用EXPORT和IMPORT語句在兩個不同環境的HDFS集羣中移動數據。 EXPORT EXPORT語句可以從一個表
2020-06-16 04:20:22
原创 HDFS DataNode掃描機制及相關參數
目錄HDFS中的BlockBlock Scanner & Volume ScannerDirectory ScannersDisk Checker配置整理 衆所周知，HDFS中數據都是保存在DataNode中，通過複製相同的數
2020-06-16 04:20:22
原创 HiveQL DDL—視圖
目錄概述創建視圖查看視圖修改視圖修改視圖的屬性重定義視圖刪除視圖 概述 視圖是一個純粹的邏輯數據結構，通過隱藏複雜度（如joins, subqueries, filters）來簡化查詢。之所以說視圖是一種邏輯結果，是因爲視圖
2020-06-16 04:20:22
原创 HiveQL DDL—分桶
文章目錄概述示例 概述 除了分區外，分桶是另一種提高查詢性能的技術。不同於分區，每個桶對應一個HDFS中的文件分片。Hive會按照分桶字段將數據hash到指定數量的桶中，分桶字段值相同的記錄會被分配到同一個桶中。分桶字段使用關
2020-06-16 04:20:22