原创 第13課Scala模式匹配實戰
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">object helloPatternMatch
2018-08-31 14:25:36
1
原创 第4課：Spark Streaming的Exactly Once的事務處理
本期內容： Exactly once 輸出不重複 Exactly once 1，事務一定會被處理，且只被處理一次； 2，輸出能夠輸出且只會被輸出。 Receiver：數據通過BlockManager寫入內存+磁盤或者通過WAL來保
2018-08-31 14:25:32
原创 DT_大數據夢工廠 第18課 RDD持久化、廣播、累加器
今天內容 1.RRD持久化實戰 2.Spark廣播實戰 3.Spark累加器實戰 如果想在命令終端中看到執行結果，就必須collect凡是Action級別的操作都會觸發sc.runJob Spark所有的算法 都
2018-08-31 14:25:32
3
原创 第6課：Spark Streaming源碼解讀之Job動態生成和深度思考
1. DStream三種類型： 1) 輸入的DStreams: Kafka，Socket，Flume； 2) 輸出的DStreams，是一個邏輯級的Action，它是SparkStreaming框架提出的，底層還是會被翻譯成物理級別的Ac
2018-08-31 14:25:32
原创 第5課：基於案例一節課貫通Spark Streaming流計算框架的運行源碼
本期內容： 1 在線動態計算分類最熱門商品案例回顧與演示 2 基於案例貫通Spark Streaming的運行源碼 一、案例代碼 在線動態計算電商中不同類別中最熱門的商品排名，例如:手機類別中最熱門的三種手機、電視類別中最熱門的
2018-08-31 14:25:32
原创 DT_大數據夢工廠 第8課 徹底實戰詳解使用IDE開發Spark程序
2016/1/9 課堂筆錄 Scala開發IDE：IDEA和Eclipse。 開發系統：一般推薦Windows7 64位。 Eclipse開發 開發第一個Scala程序 第一步：修改依賴的Scala版本爲Scal
2018-08-31 14:25:32
1
原创 第3課：通過案例對SparkStreaming 透徹理解三板斧之三：解密SparkStreaming運行機制和架構進階
本期內容： 1 解密Spark Streaming Job架構和運行機制 2 解密Spark Streaming容錯架構和運行機制 一、首先從一個SparkStreaming例子 package com.dt.spark.spark
2018-08-31 14:25:32
1
原创 2016 第四講 Scala模式匹配、類型系統徹底精通與Spark源碼閱讀
20160104 19:00-21:00 課程筆錄 Scala模式匹配：可以對值，類型，集合進行匹配 （1）值匹配 // a. data值爲Spark,Hadoop或其他時 def bigData(data: String){ da
2018-08-31 14:25:29
原创 DT大數據夢工廠- 第5講 隱式轉換和併發編程
********** 隱式轉換 ********** 1.隱式參數函數 >class Person(val name:String) >class Engineer(val name:String,val salary:D
2018-08-31 14:25:29
原创 DT_大數據夢工廠 第17課 RDD實戰
今晚上課內容： 1 map、filter、flatmap操作回顧 2 reduceByKey、groupByKey 3 join、cogroup join和cogroup是所有Spark學習者必須掌握的內容。 大數據中
2018-08-31 14:25:29