調用spark中的reduceByKey的坑

原創 qq_32300143 2020-06-20 18:02

上圖找不到reduceByKey方法，主要是rdd2可能爲空的情況，而reduceByKey只能給確定的(k,v) 使用，這種不確定性導致無法調用reduceByKey,修改爲下面的就好了

可以看到將if去掉就可以調用了 

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

實戰|使用Spark結構化流寫入Hudi

https://zhuanlan.zhihu.com/p/133316667 歡迎關注微信公衆號：ApacheHudi 1. 項目背景 傳統數倉的組織架構是針對離線數據的OLAP（聯機事務分析）需求設計的，常用的導入數據方式爲採用sqoo

吃鱼的羊 2020-07-08 05:50:47

Apache Hudi：統一批和近實時分析的存儲和服務

https://blog.csdn.net/wypblog/article/details/104890482?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommend

吃鱼的羊 2020-07-08 05:50:47

Spark算子：幾種不同的RDD創建操作

通過HiveContext創建RDD Apache Hive 是 Hadoop 上的一種常見的結構化數據源。Hive 可以在 HDFS 內或者在其他 存儲系統上存儲多種格式的表。這些格式從普通文本到列式存儲格式，應有盡有。Spark SQ

bigbiglife 2020-06-24 04:02:43

Apache Hudi簡介

https://blog.csdn.net/qq_19248065/article/details/103481123 1、Hudi簡介 Hudi是Hadoop Updates and Incrementals的縮寫，用於管理HDFS上的

吃鱼的羊 2020-06-23 08:41:40

Hudi 的工作原理

https://docs.amazonaws.cn/emr/latest/ReleaseGuide/emr-hudi-how-it-works.html 當 Hudi 與 Amazon EMR 結合使用時，您可以使用 Spark 數據源

吃鱼的羊 2020-06-23 08:41:40

SPARK

常用命令： sc.broadcast ：broadcast 是將只讀變量廣播到節點（node）而不是 broadcast 到每個 task sc.textFiles(path) 能將path 裏的所有文件內容讀出，以文件中

Gran Sunny 2020-06-23 01:03:50

spark漫遊記之-思維導圖系列

spark漫遊記之-思維導圖系列 spark 優化思維導圖 ref 1.1 spark dataframe 以下列表可以淺顯的認識spark dataframe 數據庫集合的操作 more spark dataframe jo

titer1 2020-06-21 07:19:26

Spark(2.4.3) 概述

匿名了 2020-06-06 12:47:15

Structured Streaming(阿里 雲魄 直播視頻記錄)

匿名了 2020-06-06 12:47:15

spark graphx 教程 join

songhao22 2020-05-03 13:29:46

編譯Spark支持hive

两把伞 2020-04-25 17:23:38

第3章 Spark的設計與運行原理

两把伞 2020-04-16 05:27:18

SpringBoot - 配置文件application.yml使用詳解（附：Profile多環境配置）

吃鱼的羊 2020-03-01 12:19:06

Spark Structured Streaming特性詳解

soaring0121 2020-02-27 10:09:18

淺談Spark On Yarn 中的延遲調度問題

玉羽凌风 2020-02-22 19:58:56