1:问题抛出
今天在scala中,执行 a join b,a b都是RDD,然后filter 然后map执行一些操作
join(a,b).filter(x=>x._2!=None || x._3!=None).map(x=>x.toList.maString(";"))
然后就报错 在 map 中 java.lang.NullPointerException
2:原因
a b中某个RDD的value存在null,所以导致了这个错误,提前对 a和b进行如下操作即可
a.filter(x=>x._2 != numm)
b.filter(x=>x._2 != numm)
3:scala中空数据用None表示,java中用null表示,所以在join完毕,要对这两部分都进行filter掉
join(a,b).filter(x=>x._2!=None || x._3!=None || x._2 != null || x._3 != null).map(x=>x.toList.maString(";"))