原创 【Spark學習】初步瞭解RDD中的裝飾者模式

Spark RDD是什麼? RDD(resilient Distributed Dataset)彈性分佈式數據集,是spark中基本的計算(數據)抽象。它代表一個不可變,可分區,裏面的元素可以並行(多個線程一起執行)計算的集合 裝

原创 【Spark學習】Spark思維導圖(超詳細!)

每天都得進步,哪怕是一點! 最近學習了Spark,爲了總結所學知識,我用ProcessOn繪製了幾張Spark思維導圖 這裏是Spark思維導圖地址 Spark思維導圖地址 注意:需要有ProcessOn賬號才能查看 1.Spa

原创 【Scala學習】Scala思維導圖 (超詳細!)

學會了堅持,就離成功就進了一點! 內容太多,截圖只有一部分,詳細查看下方鏈接 Scala思維導圖地址(需要登錄processOn賬號) https://www.processon.com/view/link/5ec3fafb079

原创 【Spark學習】將wordcount程序打包上傳到spark集羣運行

1.編寫wordcount程序 package RDDTest import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}

原创 【Spark學習】用maven構建spark項目

小白必看,用maven構建spark項目 首先,我們需要下載maven maven下載地址 1.解壓安裝即可 2.進入conf目錄,修改配置文件settings.xml文件,配置阿里雲鏡像 -<mirror> <id>n