原创 第4課:Spark Streaming事物處理徹底掌握

Exactly Once:1、能夠處理且只被處理一次2、能夠輸出且只被輸入一次數據會積累到一定的程度,纔會寫到磁盤或內存,所以在還沒積累到一定程度的時候,數據有可能丟失幾條.但是和Kafka結合就不會.SparkContext:1.獲取數據

原创 第1課:通過案例對SparkStreaming 透徹理解三板斧之一

總述:Spark Streaming的流式處理可以在線的處理圖計算,機器學習,等等Spark Streaming 很像Spark Core上的一個應用程序如果你想做一個最好的應用程序的話,他提供了最好的參考任何事物都有他的興奮點、轉折點. 

原创 第2課:通過案例對SparkStreaming 透徹理解三板斧之二:解密SparkStreaming運行機制和架構

Spark的龍脈/關鍵點就是Spark StreamingSpark Streaming更像Spark Core上的一個應用程序,就是最複雜的應用程序我們現在到官網看下:學習Spark的最佳的入手點是Spark Streaming循環的依據

原创 第5課:基於案例一節課貫通Spark Streaming流計算框架的運行源碼

通過以下案例切入對Spark Streaming流計算框架的運行源碼的解讀:package com.dt.spark.cores import org.apache.spark.SparkConf import org.apache.spa

原创 第3課:通過案例對SparkStreaming透徹理解三板斧之三: 解密SparkStreaming運行機制和架構進階

你要用你的想象力,去想象他的運行機制和架構數據放入了MySQL中報錯,connection可能已經失效了,將MySQL連接數據庫代碼重新打包上傳到集羣上運行MySQL連接數據庫代碼,把代碼導出到集羣上去再傳下內容,運行下思考點:有數據了,又

原创 第5課:基於案例一節課貫通Spark Streaming流計算框架的運行源碼

通過以下案例切入對Spark Streaming流計算框架的運行源碼的解讀:package com.dt.spark.cores import org.apache.spark.SparkConf import org.apache.spa

原创 第1課:通過案例對SparkStreaming 透徹理解三板斧之一

總述:Spark Streaming的流式處理可以在線的處理圖計算,機器學習,等等Spark Streaming 很像Spark Core上的一個應用程序如果你想做一個最好的應用程序的話,他提供了最好的參考任何事物都有他的興奮點、轉折點. 

原创 第2課:通過案例對SparkStreaming 透徹理解三板斧之二:解密SparkStreaming運行機制和架構

Spark的龍脈/關鍵點就是Spark StreamingSpark Streaming更像Spark Core上的一個應用程序,就是最複雜的應用程序我們現在到官網看下:學習Spark的最佳的入手點是Spark Streaming循環的依據