原文：http://www.cnblogs.com/mavischen916/p/7294354.html
1.max 的优化记得要对max里面的字段使用索引，可以大大加快速度 2.count的优化，count(*)和count(id) 的结果可能是不一样的，因为可能存在null的情况 3.distinct 去重（具体可以查看http://www.cnblogs.com/rainman/archive/2013/05/03/3058451.html） 4.limit 排序的时候尽量使用主键排序原文：http://www.cnblogs.com/yuwensong/p/4631401.html
group by 用来对结果进行分组，分组之后便于统计，所以总会有count跟着出现例如下表：按照ID分组，统计每个ID重复了几次SELECT yww_test.id,COUNT(id) as n
FROM yww_test
GROUP BY yww_test.id把重复的记录找出来可以像下面这样SELECT id,COUNT(*) AS n
FROM yww_test
GROUP BY yww_test.id
HAVING COUNT(*)>1;
其中count（*）是统计每一组有多少行
注意：count(*)将返回表格中所有存在的行的总数包括值为null的行，然而count(列名...
计算你拥有动物的总数目与“在pet表中有多少行?”是同样的问题，因为每个宠物有一个记录。COUNT(*)函数计算行数，所以计算动物数目的查询应为：mysql> SELECT COUNT(*) FROM pet;+----------+| COUNT(*) |+----------+| 9 |+----------+在前面，你检索了拥有宠物的人的名字。如果你想要知道每个主人有多少宠物，你可以使用COUNT( )函数：mysql> SELECT owner, COUNT(*) FROM pet GROUP BY owner;+--------+----------+| own...
mysql的sql语句中，count这个关键词能统计表中的数量,如 有一个tableA表，表中数据如下：idnameage1tony182jacky193jojo18SELECT COUNT(age) FROM tableA 以上这条语句能查出table表中有多少条数据。查询结果是3 而COUNT这个关键词与 DISTINCT一同使用时，可以将统计的数据中某字段不重复的数量。 如：SELECT COUNT(DISTINCT age) from tableA 以上语句的查询结果是对age这字段的去重。结果是2原文：http:/...
高性能MySQL之Count统计查询https://blog.csdn.net/qq_15037231/article/details/81179383MySQL 大表的count()优化https://blog.csdn.net/u012674931/article/details/52711137原文：https://www.cnblogs.com/tonggc1668/p/14184913.html
具体错误信息：org.apache.ibatis.binding.BindingException: Mapper method ‘com.xx.xx.xx.xx.xx.getCount attempted to return null from a method with a primitive return type (int). 定义的Integer，怎么会返回null呢？mysql版本问题？不是这样的，仔细检查sql语句，加了group by ，那么count(*)在检索后如果没有任何数据，那就会返回null。解决： SELECT COUNT(*) FROM ( <!-- 原来的sql --> ) t再试下，ok原文：https:/...
花了整整一个下午（6个多小时），整理总结，也算是对这方面有一个深度的了解。日后可以回头多看看。 我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹，简单的向两个文件中各写入一 花了整整一个下午（6个多小时），整理总结，也算是对这方面有一个深度的了解。日后可以回头多看看。我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，...
上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境，今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程：这时注意程序是在文件系统dfs运行的，创建的文件上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境，今天介绍如何运行Hadoop环境下的第一个实例WordCount。
在伪分布模式下运行一下hadoop自带的例子W...
准备 准备一些输入文件，可以用hdfs dfs -put xxx/*?/user/fatkun/input上传文件 代码 package com.fatkun;?import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTokenizer;?import org.apache.commons.lo准备
准备一些输入文件，可以用hdfs dfs -put xxx/*?/user/fatkun/input上传文件
代码
package com.fatkun;
?
import java.io.IOException;
import java.util.ArrayList;
im...
java是hadoop开发的标准官方语言，本文下载了官方的WordCount.java并对其进行了编译和打包，然后使用测试数据运行了该hadoop程序。 这里假定已经装好了hadoop的环境，在Linux下运行hadoop命令能够正常执行； 下载java版本的WordCount.java程序。 将WordCountjava是hadoop开发的标准官方语言，本文下载了官方的WordCount.java并对其进行了编译和打包，然后使用测试数据运行了该hadoop程序。这里假定已经装好了hadoop的环境，在Linux...
hadoop2.2.0的eclipse插件在http://download.csdn.net/detail/acm_er6/6964345 ，下载后直接拷贝到/usr/lib/eclipse/plugins/目录下然后重启eclipse后如果eclipse右边出现一头hadoop标志的小象即说明插件安装成功。然后窗口—首选项，选择Hadoop Map/Reducehadoop2.2.0的eclipse插件在http://download.csdn.net/detail/acm_er6/6964345 ，下载后直接拷贝到/usr/lib/eclipse/plugins/目录下然后重启eclipse后如果eclipse右边出现一头...
纯干活：通过WourdCount程序示例：详细讲解MapReduce之BlockSplitShuffleMapReduce的区别及数据处理流程。 Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分。要想了解MR，Shuffle是必须要理解的。了解Shuffle的过程，更有利于我们在对MapReduce job纯干活：通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分。要...
其他都没啥 这个 jar都在这里了。 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Te
其他都没啥 这个 jar都在这里了。
import java.io.IOException;
import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;
import org.apache.had...
案例1：使用Java实现spark的wordCount
案例需求：
单词计数
第一步：创建maven工程，引入依赖<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.3.3</version></dependency>
</dependencies>
第二步：代码开发
说明：使用Java编写spark程序，其实跟scala的步骤是一样的，只不过写法有点变化而已。
scala的RDD对应Java中的JavaRDD
scala的SparkContext对应Java中的...
