原创 CDH安裝Tez 0.8.5
CDH安裝Tez 0.8.5 1.1前置環境 1）安裝JDK 2）安裝Maven 下載安裝包：apache-maven-3.5.4-bin.tar.gz 解壓： tar -zxvf apache-maven-3.5.4-bin.tar.
2020-06-19 14:41:44
6
原创 JSONArray轉多行JSON
先通過explode把原數據變成n行數據，然後再用get_json_object去解析 select ss.json_col from ( select split(regexp_replace(regexp_extrac
2020-06-16 03:41:56
原创 Tomcat服務器下載、安裝、配置環境變量教程
目錄 Tomcat下載教程 Tomcat安裝教程 Tomcat配置環境變量教程 Tomcat啓動和驗證配置環境變量是否成功 Tomcat下載教程 首先確定你Windows系統是64位，還是32位(現在大部分是64位) 查看操作系統位數步驟
2020-06-16 03:41:46
原创 StreamSets的簡單使用
StreamSets的簡單使用 環境: StreamSets 3.14.0 kudu 1.7.0-cdh5.16.2 1. 創建一個directory2kudu的Pipline 2. 在Pipline流程中添
2020-06-16 03:41:46
3
原创 HBase常見錯誤整理
HBase常見錯誤: 1. 向Hbase插入時，報錯java.lang.IllegalArgumentException: KeyValue size too large的解決辦法 2020-04-08 09:34:38,120 ERR
2020-06-16 03:41:46
原创 CDH5.16搭建Kylin和Dashboard功能開啓
CDH5.16環境下搭建Kylin2.6.6 注意事項: 從 v2.6.1 開始， Kylin 不再包含 Spark 二進制包,需要單獨下載 1.軟件版本介紹: CDH5.16.2 Kylin: 2.6.6 2. CDH版本kylin2.
2020-06-16 03:41:46
原创 Spark2中操作HBase的異常org.apache.hadoop.hbase.HTableDescriptor.addFamily
Spark2中操作HBase的異常org.apache.hadoop.hbase.HTableDescriptor.addFamily... org.apache.hadoop.hbase.HTableDescriptor.addFa
2020-05-02 23:25:03
原创 CDH中Kafka配置問題
在CHD5.16.2中安裝 KAFKA-2.1.1-1.2.1.1.p0.18, 環境配置結束後測試kafka是否搭建成功 遇到以下問題: 1. kafka創建生產者後用消費者消費時--bootstrap-server 與 --zooke
2020-04-19 12:02:49
原创 HiveServer2自定義身份驗證
============Hive的beeline權限配置============ 1)HDFS修改core-site.xml配置 搜索 core-site.xml core-site.xml 的羣集範圍高級配置代碼段（安全閥）添加 <
2020-02-22 15:37:33
原创 Spark寫入hdfs 用csv格式並使用自定義分隔符
解決辦法： pom文件加：spark是1.6.0 spark-csv_2.10注意scala的版本與之對應 <!--spark on hive 寫入csv格式文件--> <dependency> <groupId>com.dat
2020-02-22 15:37:33
原创 IDEA設置Maven自動下載Jar包(關閉)
點贊 收藏 分享 文章舉報 Migumigu1316 發佈了48 篇原創文章 · 獲贊 14 · 訪問量 1萬+ 私信
2020-02-22 15:37:33
原创 Hive優化
一、查看執行計劃 explain extended hql;可以看到掃描數據的hdfs路徑 二、hive表優化 分區(不同文件夾)： 動態分區開啓： set hive.exec.dynamic.partition=true; set
2019-09-05 00:11:17
原创 MySQL中創建日期維度表
MySQL中創建日期維度表： CREATE TABLE `dim_day` ( `DAY_ID` varchar(10) NOT NULL, `DAY_SHORT_DESC` varchar(14) DEFAULT NUL
2019-08-07 00:14:12
原创 IDEA中EnableAuto-Import如何取消
自動設置 在idea中創建maven工程後會有pom.xml文件，但在每次修改完pom文件並保存的時候，經常會在idea的右下角提示“Maven projects need to be imported”，同時在該文字的
2019-07-31 01:26:48
1
原创 Tomcat服務器下載、安裝、配置環境變量教程(超詳細)
請先配置安裝好Java的環境，若沒有安裝，請參照我博客上的步驟進行安裝！ 請先配置安裝好Java的環境，若沒有安裝，請參照我博客上的步驟進行安裝！ 請先配置安裝好Java的環境，若沒有安裝，請參照我博客上的步驟進行安裝！ 重要的事情說三遍
2019-07-04 23:55:11