scala spark报错java.lang.NullPointerException

1:问题抛出

今天在scala中,执行 a join b,a b都是RDD,然后filter 然后map执行一些操作

join(a,b).filter(x=>x._2!=None || x._3!=None).map(x=>x.toList.maString(";"))

然后就报错 在 map 中 java.lang.NullPointerException

2:原因

a b中某个RDD的value存在null,所以导致了这个错误,提前对 a和b进行如下操作即可

a.filter(x=>x._2 != numm)

b.filter(x=>x._2 != numm)

3:scala中空数据用None表示,java中用null表示,所以在join完毕,要对这两部分都进行filter掉

join(a,b).filter(x=>x._2!=None || x._3!=None || x._2 != null || x._3 != null).map(x=>x.toList.maString(";"))

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章