原创 Java Spark自定義累加器的實現
Spark自定義累加器需要實現 AccumulatorParam ！！！！！！ 需要注意的是 ，源碼中給出 也就是說兩個方法的實現是不一樣的。 下面是我的實現 TimeAccumulator.java import consta
2020-07-06 03:51:31
1
原创 spark transformation算子
一、什麼是RDD算子 答：所謂RDD算子，就是RDD中定義的函數，可以對RDD中的元素進行轉換和操作。 二.算子的分類 算子分爲兩類：轉換算子（Transformation）和行動算子（Action）。 轉換算子（Transforma
2020-07-06 03:51:31
原创 Ubuntu上Jenkins搭建過程
原文鏈接：https://www.cnblogs.com/big-ming/p/12523117.html 參考鏈接：https://blog.csdn.net/luoww1/article/details/100095889 一、Jen
2020-07-06 03:51:31
2
原创 Ubuntu16.04上安裝MySQL（詳細過程）
原文鏈接：https://blog.csdn.net/weixin_42209572/article/details/98983741 一、安裝MySQL 1、使用以下命令即可進行mysql安裝，注意安裝前先更新一下軟件源以獲得最新版
2020-07-06 03:51:31
原创 Ubuntu16.04下，erlang安裝和rabbitmq安裝步驟
原文鏈接：https://www.cnblogs.com/shanfeng1000/p/11951703.html 準備工作，先下載erlang和rabbitmq的安裝包，注意他們的版本，版本不對可能會導致rabbitmq無法啓動，這裏我
2020-07-06 03:51:31
11
原创 spark記錄（20）自定義累加器Accumulator
自定義累加器 /** * 自定義累加器需要繼承AccumulatorV2<IN,OUT>類 * 並且要指定要累加的類型 */ public class MyAccumulator extends AccumulatorV2<MyK
2020-07-06 03:51:31
原创 MySQL Community Server 8.0.11下載與安裝配置
原文地址：https://www.cnblogs.com/limn/p/9359063.html 一、下載 1、選擇合適的安裝包，我在這裏下載的是目前最新的安裝包,8.0.11，而且我選擇下載的是解壓版的，安裝版的話，安裝會比較麻煩。 M
2020-07-06 03:51:31
原创 使用Git設置遠程Remote倉庫時顯示authentication failed for xxx錯誤
原文鏈接：https://blog.csdn.net/h927974926/article/details/100031003 錯顯示：Invalid Remote Remote URL test fa
2020-07-06 03:51:31
原创 spark記錄（18）SparkStreaming+kafka receiver和directed模式
一、receiver模式 1 、receiver模式原理圖 2 receiver模式理解： 在SparkStreaming程序運行起來後，Executor中會有receiver tasks接收kafka推送過來的數據。數據會被持久化，默
2020-07-06 03:51:31
原创 Spark Streaming之updateStateByKey以及基於緩存的實時wordcount程序
updateStateByKey updateStateByKey操作，可以讓我們爲每個key維護一份state，並持續不斷的更新該state。 首先，要定義一個state，可以是任意的數據類型； 其次，要定義state更新函數——指定一
2020-07-06 03:51:31
2
原创 Spark Streaming（三）：DStream的transformation操作
收藏鏈接：https://www.jb51.net/article/163065.htm 1、updateStateByKey 作用 可以讓我們爲每個key維護一份state，並持續不斷的更新該state； 使用 1、首先，
2020-07-06 03:51:31
原创 Redis（五）：常見面試題目詳解
1、什麼是Redis Redis 是一個基於內存的高性能 key-value數據庫。支持多種數據類型 2、簡單描述Redis的特點 Redis本質上是一個key-value類型的內存數據庫，很像memcached，整個數據庫統統加載在內存
2020-07-06 03:51:31
原创 分佈式鎖zookeeper面試
來源https://github.com/shishan100/Java-Interview-Advanced 面試題 zookeeper 都有哪些使用場景？ 面試官心理分析 現在聊的 topic 是分佈式系統，面試官跟你聊完了 dubb
2020-05-20 11:28:12
原创 分佈式緩存Redis面試題
來源：https://github.com/shishan100/Java-Interview-Advanced 面試題 redis 和 memcached 有什麼區別？redis 的線程模型是什麼？爲什麼 redis 單線程卻能支撐高併
2020-05-20 11:28:12
原创 kafa面試問題
參考：https://github.com/shishan100/Java-Interview-Advanced 爲什麼使用消息隊列？消息隊列有什麼優點和缺點？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有
2020-05-16 23:27:10