spark Failed to execute user defined function(anonfun$3: (array, vector) => string)

筆者通過udf創建spark sql 函數,代碼如下:

        val getKeyWordsFun = udf((con:Array[String],fea:Vector)=>{
             //函數內容
        });

使用如下:

idfDf.withColumn("keywords",getKeyWordsFun(col("contents"),col("idf_features")));

返回錯誤:

org.apache.spark.SparkException: Failed to execute user defined function(anonfun$3: (array<string>, vector) => string)

解決方法,將Array[String]改爲Seq[String],問題解決,代碼如下:

        val getKeyWordsFun = udf((con:Seq[String],fea:Vector)=>{
                //函數內容
        });

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章