原创 springboot集成多個redis數據源 親身填坑
簡介 原來一直用不到多源的redis集成，結果以用發現有不少坑。 其實整體來說是很簡單的，大致分爲這麼幾步： （1）properties配置文件中增加配置信息，我就增加了一個新的dbIndex （2）RedisConfig配置類中
2020-02-23 14:56:28
原创 大數據學習(二十)spark任務提交流程+RDD
簡介 前面我分享了一個spark的wordcount，那麼這篇blog我就簡單的介紹一下spark提交任務的流程。 也就是當我們提交一個jar包到集羣的時候，是如何進行調度和計算的。 然後就是分享一下有關RDD 的東西。RDD是s
2020-02-23 14:56:28
原创 布隆過濾器+CBF scala實現+代碼詳解
文章目錄簡介BloomFilterBloomFilter的簡單優化改進BloomFilterspark 的布隆過濾器scala實現BF、CBF 簡介 布隆過濾器可以說是在大數據的處理算法方面經常使用的基礎算法。 在這方面我看了很多
2020-02-23 14:56:28
原创 大數據學習(六)HDFS讀寫機制 hadoop副本存儲節點選擇
上一篇我們講過了java的HDFSAPI操作，現在這篇blog分享一下HDFS的讀寫機制，和hadoop架構中的副本存儲節點的選擇 HDFS寫數據機制 簡述： 客戶端向namenode請求上傳文件，namenode檢查目標路徑
2020-02-23 14:56:28
原创 大數據學習(二十一)spark高級算子
簡介 這次主要分享一下spark RDD的常用的算子。 然後利用這些算子進行一些實戰的操作。 高級算子 mapPartitionsWithIndex 源碼： def mapPartitionsWithIndex[U: Clas
2020-02-23 14:56:28
原创 大數據學習(九)mapreduce數據壓縮 二次排序
數據壓縮簡介 壓縮技術能夠有效減少底層存儲系統（HDFS）讀寫字節數。壓縮提高了網絡帶寬和磁盤空間的效率。在Hadoop下，尤其是數據規模很大和工作負載密集的情況下，使用數據壓縮顯得非常重要。在這種情況下，I/O操作和網絡數據
2020-02-23 14:56:28
原创 大數據學習(十九)spark wordCount (java + scala)
簡介 看過我前面分享的博客的小夥伴已經知道了基於MR分佈式計算架構的wordcount，現在來進入spark的世界了。 這次我將分享一下基於spark架構的分佈式計算框架，分別實現基於java和scala語言的兩種不同的腳本。 s
2020-02-23 14:56:28
原创 感知機學習算法 代碼分析+底層原理詳解
簡介 我看到了有無數個感知機算法的blog，但是很多都是直接把代碼丟上去，即使有講解也都很淺。於是我挑選了一個我認爲最簡潔的python代碼實現，但是同樣博主也沒有很深入的講解。我結合他的代碼來深入的介紹一下這個算法，如果您能認真
2020-02-23 14:56:28
原创 大數據學習(八)MR wordcount進階 partition+序列化排序
簡介 上一章介紹了MR的wordcount的demo，這一節我們來進行擴充，逐步將wordcount豐富，擁有更多的業務基礎邏輯。 我們目標 是實現自主切分partition，生成自定義的數量和數據特徵的partition文件。
2020-02-23 14:56:28
原创 大數據學習(十四)zookeeper簡介 安裝 節點類型
zookeeper Zookeeper是一個開源的分佈式的，爲分佈式應用提供協調服務的Apache項目。Hadoop和Hbase的重要組件。它是一個爲分佈式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分佈式同步、
2020-02-23 14:56:28
原创 影響力最大化 模擬爆發(粗糙筆記)
這裏做一下記錄，不是想要講解什麼，怕以後自己會忘記，所以寫的很粗糙，但是我別的blog還是很用心的。哈哈 大家共勉~~~ import random from time import time NUM_MC_ROUNDS =
2020-02-23 14:56:28
原创 大數據學習(十)mapjoin reducejoin
目的 我們一開始有兩個數據，一個是學生表 另一個是選課表 注：實際情況中學生表是一個比較小的表，二選課表是大表 我們通過mapreduce程序實現將選課表中的學號換成姓名。得到新的數據 mapjoin 目錄結構 這一次並不需
2020-02-23 14:56:28
原创 大數據學習(十六)idea配置Scala
簡介 接下來的一部分章節我們要學習scala，瞭解的朋友應該知道，現在只要是使用大數據的架構就一定會碰spark，那麼操作spark應該主流的還是scala編程。所以後面的一部分章節我來分享一下scala編程方面的一些點。 我也是
2020-02-23 14:56:28
原创 大數據學習(十七)scala實現actor模型管理系統
簡介 解決高併發的問題，其實主要有兩種解決思路，其中一個就是使用鎖的概念，這是非常普遍的，但是當面對的業務量不斷增多，各種鎖就會非常多。導致很難維護，同時最重要的，使用鎖其實是一個降低了系統效率的方法，也就是由於上下文切換等等帶
2020-02-23 14:56:28
原创 Spring學習(二)資源調用 + class path resource cannot be opened because it does not exist
我在學習spring的資源調用時 我運行王雲飛老師的代碼遇到了class path resource cannot be opened because it does not exist這個報錯，我將演示我如何解決。 代碼復現 目
2020-02-23 14:56:28