原创 Hbase簡介~~hbase shell操作~~Java API操作

1.簡介 HBase是一種分佈式、可擴展、支持海量數據存儲的NoSQL數據庫。 邏輯上,HBase 的數據模型同關係型數據庫很類似,數據存儲在一張表中,有行有列。 namespace:類似於關係型數據庫的DatabBase概念,每個命名空

原创 創建型模式 之 抽象工廠模式

1.介紹         在簡單工廠的基礎上進一步進行抽象就是抽象工廠,即對工廠進行抽象,第一步先產生工廠,第二步根據產生的工廠再生產對應的對象。實現方式可以參考上一篇博客(https://blog.csdn.net/houkai1879

原创 Hive中用戶自定義函數UDF UDTF UDAF

概述              Hive 自帶了一些函數,比如:max/min 等,但是數量有限,當 Hive 提供的內置函數無法滿足你的業務處理需要時,此時就可以考慮使用用戶自定義 函數(UDF:user-defined functio

原创 Java通過JDBC連接Hive並進行操作

1.工程需要的maven依賴    注意:hive的依賴包的版本需要hive中間件中的lib下對應的hive包的版本一致,否則可能會有版本兼容問題。 <?xml version="1.0" encoding="UTF-8"?> <pro

原创 分區表和數據關聯的三種方式

把數據直接上傳到分區目錄上,讓分區表和數據產生關聯的三種方式 test_partitions 表創建: create table test_partitions(name string) partitioned by (month st

原创 HIVE庫表操作DDL

1.庫DDL 創建庫  create database test; create database if not exists test; create database if not exists test location '/hi

原创 文件導入hive

1.創建表指定分隔符爲tab create table stu(id int, name string) row format delimited fields terminated by '\t'; 2.創建文件(分隔符爲tab)