java spark转换算子union、intersection、subtract

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java spark转换算子union、intersection、subtract，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1036字，纯文字阅读大概需要2分钟。

内容图文

/**
 * # _*_ coding:utf-8 _*_
 * # Author:xiaoshubiao
 * # Time : 2020/5/14 8:33
 **/
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

public class union_test {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local[*]").setAppName("union_test");
        JavaSparkContext sc = new JavaSparkContext(conf);
        List<String> list = Arrays.asList("a","b","c");
        List<String> list2 = Arrays.asList("d","e","f","h","a");
        JavaRDD<String> parallelize = sc.parallelize(list, 1);
        JavaRDD<String> parallelize2 = sc.parallelize(list2,1);
        parallelize.union(parallelize2).collect().forEach(x->System.out.println("union-并集结果："+x));//是并集不去重的结果，在这a会出现两个
        parallelize.intersection(parallelize2).collect().forEach(x->System.out.println("intersection-交集结果："+x));
        parallelize.subtract(parallelize2).collect().forEach(x->System.out.println("intersection-差集结果："+x));

    }
}

内容总结

以上是互联网集市为您收集整理的java spark转换算子union、intersection、subtract全部内容，希望文章能够帮你解决java spark转换算子union、intersection、subtract所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端