原创 第8課：徹底實戰詳解使用IDE開發Spark程序
第一階段：Spark streaming、spark sql、kafka、spark內核原理（必須有一個大型項目經驗）； 第二階段：spark運行的各種環境，各種故障的解決，性能優化（精通spark內核、運行原理）； 第三階段：流處理、機
2020-07-02 21:43:48
原创 大數據系列第三課：scala基礎
第一階段：Spark streaming、spark sql、kafka、spark內核原理（必須有一個大型項目經驗）； 第二階段：spark運行的各種環境，各種故障的解決，性能優化（精通spark內核、運行原理）； 第三階段：流處理、機
2020-07-02 21:43:48
原创 第7課在自己搭建的spark集羣下運行程序實例
第一階段：Spark streaming、spark sql、kafka、spark內核原理（必須有一個大型項目經驗）； 第二階段：spark運行的各種環境，各種故障的解決，性能優化（精通spark內核、運行原理）； 第三階段：流處理
2020-07-02 21:43:48
原创 大數據系列第四課：scala基礎
徹底征服Scala模式匹配和類型系統 第一階段：Spark streaming、spark sql、kafka、spark內核原理（必須有一個大型項目經驗）； 第二階段：spark運行的各種環境，各種故障的解決，性能優化（精通spark內
2020-07-02 21:43:48
原创 大數據系列第五課：scala基礎
第一階段：Spark streaming、spark sql、kafka、spark內核原理（必須有一個大型項目經驗）； 第二階段：spark運行的各種環境，各種故障的解決，性能優化（精通spark內核、運行原理）； 第三階段：流處理、機
2020-07-02 21:43:48
原创 版本定製第5課：基於案例一節課貫通Spark Streaming流計算框架的運行源碼
本期內容： 1、在線動態計算分類最熱門商品案例回顧與演示 2、基於案例貫通Spark Streaming的運行源碼 第一部分案例： package com.dt.spark.sparkstreamingimport com.r
2020-06-04 09:55:27
原创 基於trait的多重繼承構造器的執行順序、基於trait的AOP實踐
多重繼承 package kmust.hjr.learningScala15 /** * Created by Administrator on 2015/7/20. */ class Human{ println("Hum
2020-06-04 09:55:27
原创 Spark版本定製第1天：通過案例對SparkStreaming透徹理解之一
本期內容： 1 Spark Streaming另類在線實驗 2 瞬間理解Spark Streaming本質 在流處理時代，SparkStreaming有着強大吸引力，而且發展前景廣闊，加之Spark的生態系統，Streaming可以方便
2020-06-04 09:55:27
原创 【Scala一】Scala各種符號的含義
::: :: :::運算符 :::(三個冒號)表示List的連接操作，比如： Java代碼 val a = List(1, 2) val b = List(3, 4) val c = a ::: b va
2020-06-04 09:55:27
原创 spark源碼閱讀RDD中WithScope是什麼？
withScope是最近的發現版中新增加的一個模塊，它是用來做DAG可視化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的執行情況，也就是說我們不可以看到上個RDD到下個
2020-06-04 09:55:27
原创 大數據系列第一課：scala基礎
內容： 1 Scala的重大價值 2 Scala基礎語法入門實戰 3 Scala函數入門實戰 4 Scala中Array、Map、Tuple實戰 5 綜合案例及Spark源碼解析 一、scala價值 Scala可伸縮的語言的英語翻譯是：S
2020-02-23 11:01:50
原创 Hadoop2.0的HA介紹
原文 http://www.linuxidc.com/Linux/2014-05/101174.htm 主題 Hadoop NFS 前一篇文章介紹了Hadoop2.0（hadoop2.0架構，具體版本是hadoop2.2.
2020-02-23 11:01:50
原创 Redis介紹以及安裝（Linux）
redis是當前比較熱門的NOSQL系統之一，它是一個key-value存儲系統。和Memcached類似，但很大程度補償了memcached的不足，它支持存儲的value類型相對更多，包括string、list、set、zs
2020-02-23 11:01:50
原创 關於Linux和Windows文件路徑的解決辦法
Linux系統下的文件夾路徑和window下的不一樣，windows下就需要寫成“\\photos"因爲java會把第一個"\"當成轉義字符給“吃了”。但在linux下就是 “/photos”呵呵，是不是很鬱悶阿。所以你的if (my
2020-02-23 11:01:50