原创 Hbase簡介~~hbase shell操作~~Java API操作
1.簡介 HBase是一種分佈式、可擴展、支持海量數據存儲的NoSQL數據庫。 邏輯上,HBase 的數據模型同關係型數據庫很類似,數據存儲在一張表中,有行有列。 namespace:類似於關係型數據庫的DatabBase概念,每個命名空
原创 創建型模式 之 抽象工廠模式
1.介紹 在簡單工廠的基礎上進一步進行抽象就是抽象工廠,即對工廠進行抽象,第一步先產生工廠,第二步根據產生的工廠再生產對應的對象。實現方式可以參考上一篇博客(https://blog.csdn.net/houkai1879
原创 Hive中用戶自定義函數UDF UDTF UDAF
概述 Hive 自帶了一些函數,比如:max/min 等,但是數量有限,當 Hive 提供的內置函數無法滿足你的業務處理需要時,此時就可以考慮使用用戶自定義 函數(UDF:user-defined functio
原创 Java通過JDBC連接Hive並進行操作
1.工程需要的maven依賴 注意:hive的依賴包的版本需要hive中間件中的lib下對應的hive包的版本一致,否則可能會有版本兼容問題。 <?xml version="1.0" encoding="UTF-8"?> <pro
原创 分區表和數據關聯的三種方式
把數據直接上傳到分區目錄上,讓分區表和數據產生關聯的三種方式 test_partitions 表創建: create table test_partitions(name string) partitioned by (month st
原创 HIVE庫表操作DDL
1.庫DDL 創建庫 create database test; create database if not exists test; create database if not exists test location '/hi
原创 文件導入hive
1.創建表指定分隔符爲tab create table stu(id int, name string) row format delimited fields terminated by '\t'; 2.創建文件(分隔符爲tab)