原创 Spark學習08——RDD、DataFrame 和 Dataset
彈性分佈式數據集（Resilient Distributed Dataset，RDD） 從一開始 RDD 就是 Spark 提供的面向用戶的主要 API。從根本上來說，一個 RDD 就是你的數據的一個不可變的分佈式元素集合，在集羣
2020-07-05 15:07:56
原创 Spark學習06——鍵值對RDD行動算子
所有鍵值對RDD行動算子如下： collectAsMap、countByKey、fold、lookup、saveAsSequenceFile 當然鍵值對RDD可以使用所有RDD行動算子，介紹詳見：https://blog.csdn
2020-07-05 15:07:56
原创 Hue運行報錯Permission denied: user=hadoop, access=EXECUTE
錯誤 For more detailed output, check application tracking page:http://xxxxxx:8088/proxy/application_1579250627232_001
2020-07-05 15:07:56
11
原创 Apache Atlas 1.2.0在CDH5安裝使用記錄（終極完整版）
一、環境 CDH 5.15.2 JDK 1.8 編譯環境：macOs，和linux差別不大 MAVEN：阿里雲鏡像 基於CDH集羣已有Hbase、Kafka和單節點Elasticsearch搭建 注意點：Atlas 只支持HIVE
2020-07-05 15:07:56
原创 java api併發調用sqoop異常記錄
通過java api併發調用sqoop，發現如下相關異常 2020-07-03 15:10:44 [ pool-1-thread-6:350039 ] - [ ERROR ] Got exception running Sqo
2020-07-05 15:07:56
1
原创 hadoop jar執行報錯java.io.FileNotFoundException: /tmp/hadoop-unjarxxx(No space left on device)終極解決方案
原因 MapReduce提交過程中，會把jar解壓到/tmp目錄下生成臨時文件夾hadoop-unjarxxx，任務執行完成後，會主動刪除這個臨時目錄hadoop-unjarxxx, 但是我們偶爾會遇到一些情況，導致hadoop任
2020-06-01 17:36:23
原创 Hive Runtime Error: Map local work exhausted memory
問題描述 hive執行sql包含join時候，提示異常: ERROR | main | Hive Runtime Error: Map local work exhausted memory 分析過程 1.異常日誌下： 2019-
2020-05-31 14:31:54
1
原创 cdh beeline配置hive-site.xml不生效解決記錄
最近用beeline替代hive cli，發現之前在hive-site.xml 的 Hive 客戶端高級配置代碼段（安全閥）的配置項，beeline居然不生效，如下圖所示，而hive cli是生效的 查看了執行機器上/etc/h
2020-05-10 01:07:49
原创 cdh hive增加Update、Delete支持
一、配置hive-site.xml CDH版本先進入Hive配置頁，選擇高級， 如果使用的Hive Cli使用hive-site.xml 的 Hive 客戶端高級配置代碼段（安全閥） 如果使用的beeline ，使用hive-si
2020-05-10 01:07:49
原创 如何獲取Hive正在執行或已結束的SQL語句
本文主要介紹兩種方式來獲取Hive正在執行或者已結束的的MapReduce作業的SQL語句，一種是通過MapReduce API獲取執行作業的xml配置文件，另一種是通過Cloudera Manager界面直接查看。 一、通過YA
2020-04-19 16:01:07
1
原创 解決hive表字段和comment不支持中文
hive元數據庫執行以下sql alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table COLUMNS_V
2020-04-12 07:14:02
9
原创 FAILED: ParseException line 1:0 character '' not supported here
將hive sql文件上傳到linux，使用hive -f xxx.sql執行時報錯如下： FAILED: ParseException line 1:0 character '' not supported here 經過
2020-03-28 06:51:11
原创 Hive 子查詢
1.FROM中的子查詢 SELECT ... FROM (subquery) name ... SELECT ... FROM (subquery) AS name ... (Note: Only valid starting
2020-03-05 08:52:26
原创 Canal使用異常記錄
一、protobuf-java版本過低 Exception in thread "Canal Receiver" java.lang.IllegalAccessError: tried to access field com.go
2019-10-25 14:18:27
原创 Mybatis使用記錄
一、返回主鍵 useGeneratedKeys="true" keyProperty="id" 二、使用like like concat('%', #{fieldName}, '%')
2019-10-25 14:18:27