spark Failed to execute user defined function(anonfun$3: (array, vector) => string)

笔者通过udf创建spark sql 函数,代码如下:

        val getKeyWordsFun = udf((con:Array[String],fea:Vector)=>{
             //函数内容
        });

使用如下:

idfDf.withColumn("keywords",getKeyWordsFun(col("contents"),col("idf_features")));

返回错误:

org.apache.spark.SparkException: Failed to execute user defined function(anonfun$3: (array<string>, vector) => string)

解决方法,将Array[String]改为Seq[String],问题解决,代码如下:

        val getKeyWordsFun = udf((con:Seq[String],fea:Vector)=>{
                //函数内容
        });

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章