Spark之廣播、共享、緩存
一、概述
在spark程序中，當一個傳遞給Spark操作(例如map和reduce)的函數在遠程節點上面運行時，Spark操作實際上操作的是這個函數所用變量的一個獨立副本。這些變量會被複制到每臺機器上，並且這些變量在遠程機器上的所有更新都不會傳遞迴驅動程序。通常跨任務的讀寫變量是低效的，但是，Spark還是爲兩種常見的使用模式提供了兩種有限的共享變量：廣播變（broadcast variable）和累加器（accumulator）
二、廣播變量broadcast variable
2.1 爲什麼要將變量定義成廣播變量？
如果我們要在分佈式計算裏面分發大對象，例如：字典，集合，黑白名單等，這個都會由Driver端進行分發，一般來講，如果這個變量不是廣播變量，那麼每個task就會分發一份，這在task數目十分多的情況下Driver的帶寬會成爲系統的瓶頸，而且會大量消耗task服務器上的資源，如果將這個變量聲明爲廣播變量，那麼知識每個executor擁有一份，這個executor啓動的task會共享這個變量，節省了通信的成本和服務器的資源。
2.2 廣播變量圖解
錯誤的，不使用廣播變量
正確的，使用廣播變量的情況
2.3 如何定義一個廣播變量？
// 在java 中 創建廣播變量
final int factor = 3;
final Broadcast<Integer> factoryBroatCast = sc.broadcast(factor);
2.4 如何還原一個廣播變量？
2.5 定義廣播變量需要的注意點？
List<Integer> listNumber= Arrays.asList(1,2,3,4,5);
JavaRDD<Integer> rddList = sc.parallelize(listNumber);
JavaRDD<Integer> result = rddList.map(new Function<Integer, Integer>() {
public Integer call(Integer integer) throws Exception {
// 在java 中 獲取廣播變量
return integer * factoryBroatCast.value();
}
});
變量一旦被定義爲一個廣播變量，那麼這個變量只能讀，不能修改
2.6 注意事項
1、能不能將一個RDD使用廣播變量廣播出去？
不能，因爲RDD是不存儲數據的。可以將RDD的結果廣播出去。
2、 廣播變量只能在Driver端定義，不能在Executor端定義。
3、 在Driver端可以修改廣播變量的值，在Executor端無法修改廣播變量的值。
4、如果executor端用到了Driver的變量，如果不使用廣播變量在Executor有多少task就有多少Driver端的變量副本。
5、如果Executor端用到了Driver的變量，如果使用廣播變量在每個Executor中只有一份Driver端的變量副本。
三、累加器
3.1 爲什麼要將一個變量定義爲一個累加器？
在spark應用程序中，我們經常會有這樣的需求，如異常監控，調試，記錄符合某特性的數據的數目，這種需求都需要用到計數器，如果一個變量不被聲明爲一個累加器，那麼它將在被改變時不會再driver端進行全局彙總，即在分佈式運行時每個task運行的只是原始變量的一個副本，並不能改變原始變量的值，但是當這個變量被聲明爲累加器後，該變量就會有分佈式計數的功能。
3.2 圖解累加器
錯誤的圖解
正確的圖解
3.3 如何定義一個累加器？
Accumulator<Integer> accumulator = sc.accumulator(0);
3.4 如何還原一個累加器？
accumulator.add(1);
accumulator.value();
3.5 注意事項
1、 累加器在Driver端定義賦初始值，累加器只能在Driver端讀取最後的值，在Excutor端更新。
2、累加器不是一個調優的操作，因爲如果不這樣做，結果是錯的
四：如何使用spark緩存
public static void noCache() {
JavaRDD<String> list = sc.textFile("test.log");
long beginTime = System.currentTimeMillis();
long count = list.count();
System.out.println("無持久化第一次" + (System.currentTimeMillis() - beginTime));
beginTime = System.currentTimeMillis();
count = list.count();
System.out.println("無持久化第二次" + (System.currentTimeMillis() - beginTime));
}
public static void cache() {
JavaRDD<String> list = sc.textFile("test.log").cache();
long beginTime = System.currentTimeMillis();
long count = list.count();
System.out.println("持久化第一次" + (System.currentTimeMillis() - beginTime));
beginTime = System.currentTimeMillis();
count = list.count();
System.out.println("持久化第二次" + (System.currentTimeMillis() - beginTime));
}
運行程序會發現，沒有緩存的代碼兩次執行的實際都差不多，有緩存的代碼第二次是直接返回的並沒有經過計算所以時間會大大降低。