调用spark中的reduceByKey的坑

原創 qq_32300143 2020-06-20 18:02

上图找不到reduceByKey方法，主要是rdd2可能为空的情况，而reduceByKey只能给确定的(k,v) 使用，这种不确定性导致无法调用reduceByKey,修改为下面的就好了

可以看到将if去掉就可以调用了 

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

实战|使用Spark结构化流写入Hudi

https://zhuanlan.zhihu.com/p/133316667 歡迎關注微信公衆號：ApacheHudi 1. 項目背景 傳統數倉的組織架構是針對離線數據的OLAP（聯機事務分析）需求設計的，常用的導入數據方式爲採用sqoo

吃鱼的羊 2020-07-08 05:50:47

Apache Hudi：统一批和近实时分析的存储和服务

https://blog.csdn.net/wypblog/article/details/104890482?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommend

吃鱼的羊 2020-07-08 05:50:47

Spark算子：几种不同的RDD创建操作

通過HiveContext創建RDD Apache Hive 是 Hadoop 上的一種常見的結構化數據源。Hive 可以在 HDFS 內或者在其他 存儲系統上存儲多種格式的表。這些格式從普通文本到列式存儲格式，應有盡有。Spark SQ

bigbiglife 2020-06-24 04:02:43

Apache Hudi简介

https://blog.csdn.net/qq_19248065/article/details/103481123 1、Hudi簡介 Hudi是Hadoop Updates and Incrementals的縮寫，用於管理HDFS上的

吃鱼的羊 2020-06-23 08:41:40

Hudi 的工作原理

https://docs.amazonaws.cn/emr/latest/ReleaseGuide/emr-hudi-how-it-works.html 當 Hudi 與 Amazon EMR 結合使用時，您可以使用 Spark 數據源

吃鱼的羊 2020-06-23 08:41:40

SPARK

常用命令： sc.broadcast ：broadcast 是將只讀變量廣播到節點（node）而不是 broadcast 到每個 task sc.textFiles(path) 能將path 裏的所有文件內容讀出，以文件中

Gran Sunny 2020-06-23 01:03:50

spark漫游记之-思维导图系列

spark漫遊記之-思維導圖系列 spark 優化思維導圖 ref 1.1 spark dataframe 以下列表可以淺顯的認識spark dataframe 數據庫集合的操作 more spark dataframe jo

titer1 2020-06-21 07:19:26

Spark(2.4.3) 概述

匿名了 2020-06-06 12:47:15

Structured Streaming(阿里 云魄 直播视频记录)

匿名了 2020-06-06 12:47:15

spark graphx 教程 join

songhao22 2020-05-03 13:29:46

编译Spark支持hive

两把伞 2020-04-25 17:23:38

第3章 Spark的设计与运行原理

两把伞 2020-04-16 05:27:18

SpringBoot - 配置文件application.yml使用详解（附：Profile多环境配置）

吃鱼的羊 2020-03-01 12:19:06

Spark Structured Streaming特性详解

soaring0121 2020-02-27 10:09:18

浅谈Spark On Yarn 中的延迟调度问题

玉羽凌风 2020-02-22 19:58:56