import os import sys os.environ['SPARK_HOME'] = '/opt/spark' sys.path.append("/opt/spark/python") from pyspark import SparkContext from pyspark import SparkConf factor =2 if __name__ == '__main__': sc = SparkContext("spark://node0:7077", "reduce") brodacastvalue = sc.broadcast(factor) list = [1, 2, 3, 4, 5] listRdd = sc.parallelize(list) listmap = listRdd.map(lambda s: s * brodacastvalue.value) print listmap.collect()
spark 2.2.0 共享變量使用方法 python版
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.