spark基礎-rdd特性

RDD特性:

1.RDD是spark提供的核心抽象,全稱:Resillient Distributed Dataset,即彈性分佈式數據集。

2.RDD在抽象上來說是一種元素集合,包含了數據。它是被分區的,氛圍多個分區,每個分區分佈在集羣中的不同節點上,從而讓RDD中的數據可以並行操作(分佈式數據集)

3.RDD通常通過Hadoop上的文件來創建。有時也可以通過應用程序中的集合賴牀見。

4.RDD最重要的特性就是提供了容錯性,可以從節點失敗中恢復過來。即:如果某個節點的RDD partition因爲節點故障導致數據丟失,那麼RDD會自動通過自己的數據來源重新計算該partitin。

5.RDD的每個partition在spark節點上,默認都是放在內存中,但是如果內存中放不下這麼多數據,多出來的數據,就會把partition中的部分數據寫在磁盤上,進而保存。對於用戶來說,並不知道RDD內存數據存儲在哪裏。RDD的這種自動進行內存和詞牌之間的切換機制,就是RDD的彈性特點所在。

一個RDD在邏輯上抽象地代表了一個HDFS文件。但是實際上是唄分區的,氛圍多個分區,多個分區散落在spark集羣中,不同的節點上。

Spark核心編程是什麼:

首先,定義初始的RDD,就是說,要定義訂一個數據從哪裏來。

第二:定義對RDD的計算操作,這個在spark裏稱爲算子

第三:就是循環往復的過程第一次計算完成後,數據就會到了新的一批節點上,變成了新的RDD,然後再次反覆,針對新的RDD定義算子操作。

第四:獲得最終的數據,將數據保存起來。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章