spark 2.2.0 共享變量使用方法 python版

import os
import sys
os.environ['SPARK_HOME'] = '/opt/spark'
sys.path.append("/opt/spark/python")

from pyspark import SparkContext
from pyspark import SparkConf
factor =2

if __name__ == '__main__':
    sc = SparkContext("spark://node0:7077", "reduce")
    brodacastvalue = sc.broadcast(factor)
    list = [1, 2, 3, 4, 5]
    listRdd = sc.parallelize(list)
    listmap = listRdd.map(lambda s: s * brodacastvalue.value)
    print listmap.collect()
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章