首页 / HADOOP / hadoop程序MapReduce之MaxTemperature

hadoop程序MapReduce之MaxTemperature

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop程序MapReduce之MaxTemperature，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2784字，纯文字阅读大概需要4分钟。

内容图文

需求：求每年当中最高的温度

样本：temp.log 

        2016080623

        2016072330

        2015030420

输出结果：2016 30

              2015 20

MapReduce分析设计：

Mapper分析设计：

1、将文件分割成键值队<k1,v1>，k1代表：行位置，v1代表：一行数据。

2、将这行数据进行分割成<k2,v2>，k2代表：年份，v1代表:温度。

Reduce分析设计：

3、将一些列合并后的相同key的一系列温度<k3,v3>，k3代表：年份，v1代表：list<int>多个温度。

4、统计比较最大温度<k4,v4>，k4代表：年份，v4代表：最大的温度。

 

程序部分：

TempMapper类：

            package
             com.cn.temperature;


            import
             java.io.IOException;


            import
             org.apache.hadoop.io.IntWritable;

            import
             org.apache.hadoop.io.Text;

            import
             org.apache.hadoop.mapreduce.Mapper;


            public
            class TempMapper extends Mapper<Object, Text, Text, IntWritable>{
    publicvoid map(Object key, Text value, Context context) throws IOException, InterruptedException {
        String lineValue = value.toString();
        String year = lineValue.substring(0, 4);
        int temperature = Integer.parseInt(lineValue.substring(8));
        context.write(new Text(year), new IntWritable(temperature));
    }
}

 

TempReduce部分：

            package
             com.cn.temperature;


            import
             java.io.IOException;


            import
             org.apache.hadoop.io.IntWritable;

            import
             org.apache.hadoop.io.Text;

            import
             org.apache.hadoop.mapreduce.Reducer;


            public
            class TempReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
    publicvoid reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int maxTemp = Integer.MIN_VALUE;
        for(IntWritable value : values){
            maxTemp = Math.max(maxTemp, value.get());
        }
        context.write(key, new IntWritable(maxTemp));
    }
}

 

MaxTemperature部分：

            package
             com.cn.temperature;


            import
             org.apache.hadoop.conf.Configuration;

            import
             org.apache.hadoop.fs.Path;

            import
             org.apache.hadoop.io.IntWritable;

            import
             org.apache.hadoop.io.Text;

            import
             org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

            import
             org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

            import
             org.apache.hadoop.mapreduce.Job;

            import
             org.apache.hadoop.util.GenericOptionsParser;


            public
            class
             MaxTemperature {
    
            public
            static
            void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length != 2) {
           System.err.println("Usage: wordcount  ");
           System.exit(2);
        }
        Job job = new Job(conf, "max tempperature");
        
        //运行的jar
        job.setJarByClass(MaxTemperature.class);
        
        //job执行作业时输入和输出文件的路径
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
  
        //指定自定义的Mapper和Reducer作为两个阶段的任务处理类
        job.setMapperClass(TempMapper.class);
        job.setReducerClass(TempReduce.class);
          
        //设置最后输出结果的Key和Value的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        //提交作业并等待它完成
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

 

记录自己成长的过程。我觉得这点很重要。

 

原文：http://www.cnblogs.com/xubiao/p/5743965.html

内容总结

以上是互联网集市为您收集整理的hadoop程序MapReduce之MaxTemperature全部内容，希望文章能够帮你解决hadoop程序MapReduce之MaxTemperature所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1087500.html

来源：【匿名】