在Spark数据集中使用custome UDF withColumn; java.lang.String无法强制转换为org.apache.spark.sql.Row

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在Spark数据集中使用custome UDF withColumn; java.lang.String无法强制转换为org.apache.spark.sql.Row，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1926字，纯文字阅读大概需要3分钟。

内容图文

我有一个包含许多字段的JSON文件.我在java中使用spark的Dataset读取文件.

> Spark版本2.2.0
> java jdk 1.8.0_121

下面是代码.

SparkSession spark = SparkSession
              .builder()
              .appName("Java Spark SQL basic example")
              .config("spark.some.config.option", "some-value")
              .master("local")
              .getOrCreate();

Dataset<Row> df = spark.read().json("jsonfile.json");

我想使用带有自定义UDF的withColumn函数来添加新列.

UDF1 someudf = new UDF1<Row,String>(){
        public String call(Row fin) throws Exception{
            String some_str = fin.getAs("String");
            return some_str;
        }
    };
spark.udf().register( "some_udf", someudf, DataTypes.StringType );
df.withColumn( "procs", callUDF( "some_udf", col("columnx") ) ).show();

运行上面的代码时出现转换错误.
java.lang.String无法强制转换为org.apache.spark.sql.Row

问题：

1 – 读取行数据集是唯一的选择吗？我可以将df转换为df的字符串.但我无法选择字段.

2 – 尝试但未能定义用户定义的数据类型.我无法使用此自定义UDDatatype注册UDF.我需要用户定义的数据类型吗？

3 – 和主要问题,我如何从String转换为Row？

部分日志复制如下：

Caused by: java.lang.ClassCastException: java.lang.String cannot be cast to org.apache.spark.sql.Row
    at Risks.readcsv$1.call(readcsv.java:1)
    at org.apache.spark.sql.UDFRegistration$$anonfun$27.apply(UDFRegistration.scala:512)
        ... 16 more

Caused by: org.apache.spark.SparkException: Failed to execute user defined function($anonfun$27: (string) => string)

对你的帮助表示感谢.

解决方法:

您正在获得该异常,因为UDF将在列的数据类型(不是Row)上执行.考虑我们有Dataset< Row>具有两列col1和col2的ds都是String类型.现在,如果我们想使用UDF将col2的值转换为大写.

我们可以注册并调用UDF,如下所示.

spark.udf().register("toUpper", toUpper, DataTypes.StringType);
ds.select(col("*"),callUDF("toUpper", col("col2"))).show();

或者使用withColumn

ds.withColumn("Upper",callUDF("toUpper", col("col2"))).show();

UDF应该如下所示.

private static UDF1 toUpper = new UDF1<String, String>() {
    public String call(final String str) throws Exception {
        return str.toUpperCase();
    }
};

内容总结

以上是互联网集市为您收集整理的在Spark数据集中使用custome UDF withColumn; java.lang.String无法强制转换为org.apache.spark.sql.Row全部内容，希望文章能够帮你解决在Spark数据集中使用custome UDF withColumn; java.lang.String无法强制转换为org.apache.spark.sql.Row所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端