原创 Java項目微服務中添加攔截器實現
目的：項目中需要攔截器的實現，讓沒有登陸的用戶無法通過url來實現頁面的渲染。 實現： 一、繼承HandlerInterceptorAdapter public class LoginInterceptor extends Handle
2020-06-02 04:33:05
原创 使用spark streaming使用snappy壓縮保存數據到HDFS中
工作中需要將從Kafka中的數據保存到HDFS中去，並且需要使用snappy壓縮 話不多說，直接上代碼 /** * 自定義多目錄寫與追加寫,採用snappy壓縮 * @author demon * @version 2019
2020-06-02 04:32:54
原创 SparkStreaming對接Kafka0.10+管理offset到zookeeper的方式
版本號： spark-streaming-kafka-0-10_2.11 version:2.4.0 kafka-clients version:0.11.0.0 問題：之前都是使用的0.8版本的來保存offset，但因爲線上K
2020-06-02 04:32:54
原创 使用Canal實現MySQL的數據實時同步
我們公司的架構大致如下： 途中會使用canal監聽MySQL的binlog日誌從而實現mysql的數據實時同步到redis和hdfs中。 第一步：開啓MySQL的binlog日誌 Mysql 的 binlog 日誌作用是用來記錄 mys
2020-06-02 04:32:54
1
原创 spark streaming和spark SQL整合使用出現的問題
問題描述： 在spark streaming的foreachrdd中使用spark session獲取hive中的數據時，只會顯示一個default庫 解決方法： 1、在resources中放入集羣中的core-site.xml、
2020-05-17 04:29:07
原创 如何將jar包安裝到本地maven倉庫
maven倉庫地址： https://mvnrepository.com/ 下載jar包 maven安裝jar包命令： <!-- https://mvnrepository.com/artifact/org.apache.kudu/k
2019-05-21 15:25:02
2
原创 安裝Cloudera Manager出現的錯誤
1、hostname localhost.localdomain differs from the canonical name localhost 解決方法：查看hostname 發現與/etc/hostname中的不一致 運行命令
2019-05-08 21:19:45
原创 大數據常見錯誤（持續更新中）
1、Exception in thread "main" org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPA
2019-04-11 00:51:33
2
原创 使用spark SQL訪問服務器的hive數據出現的問題
問題： javax.jdo.JDOFatalInternalException: Error creating transactional connection factory 解決方法： 將mysql-connector-java-5.
2019-04-10 15:16:51
1
原创 sparkstreaming0.10+對接Kafka管理offset到zookeeper的方式
版本號： spark-streaming-kafka-0-10_2.11 version:2.4.0 kafka-clients version:0.11.0.0 問題：之前都是使用的0.8版本的來保存offset，但因爲線上K
2019-04-10 00:53:44
1
原创 Kafka-2.11-0.11.0.0對接spark streaming序列化問題
Kafka_2.11-0.11.0.0 sprak-streaming-kafka-0-10_2.11 報錯信息如下 java.io.NotSerializableException: org.apache.kafka.clients.
2019-04-04 15:22:56
原创 怎麼在Hbase中設置多個HMaster
目的：爲了實現Hbase的高可用性，需要設置多個HMaster來管理Hbase中的RegionServer負責哪部分數據。 HMaster的功能：管理Hbase中的RegionServer負責哪部分數據，假設有三個RegionServer
2018-12-09 20:18:05
原创 CRT如何修改文件和vim顏色
第一步：確定是否安裝vim-enhanced。基本上都是會安裝好的。 第二步：將Emulation下的Terminal設置爲ANSI,然後選中後面的兩個複選框。 第三步：將外觀下的主題設置爲White/Black，字體設置爲如下。
2018-12-07 20:47:11
原创 Hadoop的MapReduce使用
一、MapReduce框架結構 一個完整的mapreduce程序在分佈式運行時有三類實例進程： 1、MRAppMaster：負責整個程序的過程調度及狀態協調 2、MapTask：負責map階段的整個數據處理流程 3、ReduceT
2018-11-19 22:22:17