原创 僞分佈hadoop2.8.5+hbase2.2.1的安裝使用(後因版本問題切換到1.4.10，安裝過程相同)
安裝環境 jdk1.8 zookeeper3.4.14 hbase 2.2.1 hadoop 2.8.5 版本兼容一覽 首推清華鏡像下載站下載所需包 清華鏡像 單機版zookeeper部署 解壓下載好的zookeeper包，到
2020-06-16 09:44:45
2
原创 使用ElasticSearch在bulk導入json數據時，The bulk request must be terminated by a newline [\n]
問題重現 輸入命令 curl -XPOST -H 'Content-Type:application/json' 'xxxx:9200/bank/account/_bulk?pretty' -d "./acc.json" 報瞭如
2020-06-16 09:44:45
原创 redis 基礎API 操作五種數據類型
連接池工具 package jedisTest; import redis.clients.jedis.*; /** * @author YDAlex * @version 1.0 * @description Jedi
2020-06-16 09:44:45
原创 spark.rdd.MapPartitionsRDD cannot be cast to streaming.kafka010.HasOffsetRange
1.問題重現 當我想通過redis去維護offset的時候，習慣性的寫上了以下程序 inputDS.map(log => log.value()).foreachRDD { rdd => //redis管理of
2020-02-21 10:28:33
原创 簡單瞭解一下布隆過濾器
原文鏈接：https://zhuanlan.zhihu.com/p/43263751 前言 今天碰到個業務，他的 Redis 集羣有個大 Value 用途是作爲布隆過濾器，但溝通的時候被
2019-10-25 19:04:08
原创 數倉OLAP|OLTP概念的整理
概述,對比 數據處理大致可以分成兩大類：聯機事務處理OLTP（on-line transaction processing）、聯機分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統的關係
2019-10-25 19:04:08
原创 在Windows 平臺下 執行MR任務報錯/bin/bash: 第 0 行:fg: 無任務控制
Failing this attempt.Diagnostics: Exception from container-launch. Container id: container_1571811640353_0010_02_00
2019-10-25 19:04:07
原创 HDFS JAVA客戶端的權限錯誤：Permission denied
錯誤： org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permissi
2019-10-25 19:04:07
原创 將APPDATA 遷出C盤
整個AppData目錄挪到D盤方法： 一、打開註冊表，然後定位到 HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Shell Folders
2019-10-25 19:04:07
原创 sqoop1.4.7+hive2.3.6+hadoop2.8.5+mysql8.0兼容遇到的一些問題
sqoop 跑任務時，出現 Sqoop:Import failed:java.lang.ClassNotFoundException:org.apache.hadoop.hive.conf.HiveConf 在profile中加入
2019-09-26 17:49:55
25
原创 Flume的入門及小案例
原文鏈接：https://blog.csdn.net/qq_44170834/article/details/101150875 Flume 概念: Flume是一種分佈式、可靠且可
2019-09-26 17:49:55
1
原创 azkaban3.7編譯安裝
azkaban3.7編譯安裝 1 編譯安裝 環境 mysql 8.0 azkaban 3.75 jdk 1.8 git 2.3 編譯 進入解壓後的目錄，編譯 ./gradelw distTar 大概30分鐘左右，掛上代理
2019-09-26 17:49:55
原创 sqoop小練習
安裝，不必多說，上次服務器，解壓即可 操作數據庫需導入支持jar包，eg：本次操作mysql，把mysql的jar包放到lib文件夾中 測試sqoop與mysql是否互通測試數據庫連接 測試數據庫連接 bin/sqoop lis
2019-09-26 17:49:55
原创 Hive HQL & JOIN & explode
HQL語法 HQL, Hibernate Query Language的縮寫，提供更加豐富靈活、更爲強大的查詢能力；HQL更接近SQL語句查詢語法。 1. 查詢語句 在SQL中，查詢語句一般爲： select from join
2019-09-15 18:26:16
2