首页 / JAVA / java – 如何在GroupBy操作后从spark DataFrame列中收集字符串列表？

java – 如何在GroupBy操作后从spark DataFrame列中收集字符串列表？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java – 如何在GroupBy操作后从spark DataFrame列中收集字符串列表？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1622字，纯文字阅读大概需要3分钟。

内容图文

描述here(零点323)的解决方案非常接近我想要的两个曲折：

>我如何用Java做到这一点？
>如果列具有字符串列表而不是单个字符串,并且我想在GroupBy(其他列)之后将所有这些列表收集到单个列表中,该怎么办？

我正在使用Spark 1.6并尝试使用

org.apache.spark.sql.functions.collect_list(Column col),如该问题的解决方案中所述,但得到以下错误

Exception in thread “main” org.apache.spark.sql.AnalysisException: undefined function collect_list;
at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry$$anonfun$2.apply(FunctionRegistry.scala:65)
at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry$$anonfun$2.apply(FunctionRegistry.scala:65)
at scala.Option.getOrElse(Option.scala:121)

解决方法:

您看到的错误表明您使用普通的SQLContext而不是HiveContext. collect_list是一个Hive UDF,因此需要HiveContext.它也不支持复杂的列,因此唯一的选择是首先爆炸：

import org.apache.spark.api.java.*;
import org.apache.spark.SparkConf;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.hive.HiveContext;
import java.util.*;
import org.apache.spark.sql.DataFrame;
import static org.apache.spark.sql.functions.*;

public class App {
  public static void main(String[] args) {
    JavaSparkContext sc = new JavaSparkContext(new SparkConf());
    SQLContext sqlContext = new HiveContext(sc);
    List<String> data = Arrays.asList(
            "{\"id\": 1, \"vs\": [\"a\", \"b\"]}",
            "{\"id\": 1, \"vs\": [\"c\", \"d\"]}",
            "{\"id\": 2, \"vs\": [\"e\", \"f\"]}",
            "{\"id\": 2, \"vs\": [\"g\", \"h\"]}"
    );
    DataFrame df = sqlContext.read().json(sc.parallelize(data));
    df.withColumn("vs", explode(col("vs")))
           .groupBy(col("id"))
           .agg(collect_list(col("vs")))
           .show();
  }
}

但它不太可能表现良好.

内容总结

以上是互联网集市为您收集整理的java – 如何在GroupBy操作后从spark DataFrame列中收集字符串列表？全部内容，希望文章能够帮你解决java – 如何在GroupBy操作后从spark DataFrame列中收集字符串列表？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/804616.html

来源：【匿名】