val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load() jdbcDF.createOrReplaceTempView("dept") val hiveDF = sql("SELECT * FROM emp") val sqlDF =?sql("SELECT * FROM emp e JOIN dept d ON e.deptno = d.deptno").showsqlDF.write.format("json").save("file:///empJoinDept.json")Spark SQL读取...
@cdate: = date_add(@cdate, interval - 1 day) as date_str, 0 as date_count FROM(SELECT @cdate: = date_add(CURDATE(), interval + 1 day) from t_table1) t12、业务统计查询也按上述日期查询给统计日期和数量设置别名SELECTFROM_UNIXTIME(m.sdate, ‘%Y-%m-%d‘) as date_str, count( * ) as date_count from t_table1 as m group by FROM_UNIXTIME(m.sdate, ‘%Y-%m-%d‘)3、把两个查询用左连接合起，没数量的日期填0SELECT ...
最近在做报表功能的时候，需要将数据按天、周和月进行合并展示（数据记录都是按天20190701）。正文：说明：数据表中date都是int类型：如 20190701一、按天SELECT `date`, SUM(`a`) FROM tb WHERE 1 GROUP BY `date`二、按周使用WEEK 函数，具体使用可以参考网上资料。这里使用模式 5，周一作为每周开始。查询出来的记录是SELECT `date`, SUM(a) FROM `tb` WHERE ` GROUP BY WEEK(`date`, 5) date a 20190701 10 20190708 ...
我们在用Mysql抽取数据时候，经常需要按照天、周、月等不同的粒度对数据进行分组统计。而我们的时间可能是“2017/12/5 0:0:0”这种准确的时间。所以在进行分组之前我们需要对时间进行一下处理。 DATE_FORMAT是MySQL内置的一个函数，作用是以不同的格式显示日期/时间数据。具体的语法如下： DATE_FORMAT(date,format)，其中 date：合法的日期。format：规定日期/时间的输出格式，其中format可使用的格式见文末链接。 下面我们通过具...
success_time,query_time,order_no from pro_return_plan t where t.success_time in ( SELECT max(success_time) FROM pro_return_plan WHERE 1=1 AND bill_status=‘2‘ AND success_time IS TRUE AND order_no IN(‘20190416105437690‘,‘20190510193141046‘,‘20190511084814300‘,‘20190703191848850‘,‘20190703193148544‘) GROUP BY order_no ORDER BY success_time DESC )按照success_time分组并保留最新时间的项mysq...
1.MySQL分组 按照某一个属性降数据进行分组，通过关键字：group by；通常分组会与聚合函数联合使用。 聚合函数常用的有：min，max，sum，avg，count。 比如统计男女生人数--性别表 create table gendertable(id int auto_increment primary key,gender char(10) )engine=innodb default charset=utf8;insert into gendertable(gender) values("男"),("女")；--人员表 create table personnel(id int auto_increment primary key,na...
+------+------+ | id| name | +------+------+ |1 | 10| |1 | 20| |1 | 20| |2 | 20| |3 | 200 | |3 | 500 | +------+------+ 6 rows in set (0.00 sec) 1.以id分组，把name字段的值打印在一行，逗号分隔(默认) Sql代码 mysql> select id,group_concat(name) from aa group by id; +------+--------------------+ | id| group_concat(name) | +------+--------------------+ |1 | 10,20,20| |2...
#能排序就能比较,并且忽略了null值 SELECT MAX(last_name),MIN(last_name),COUNT(last_name) FROM employees; #count只能计算不为null的个数 SELECT COUNT(commission_pct) FROM employees; #忽略了null值 SELECT SUM(commission_pct),AVG(commission_pct) FROM employees;#与去重连用SELECT SUM(DISTINCT salary),SUM(salary) FROM employees;#distinct去重 SELECT COUNT(DISTINCT salary) ,COUNT(salary) FROM employees;mysql 分...
---------------------------- -- Table structure for test -- ---------------------------- DROP TABLE IF EXISTS `test`; CREATE TABLE `test` (`id` int(11) NOT NULL AUTO_INCREMENT,`name` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,`address` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,`create_time` timestamp(0) NULL DEFAULT CURRENT_TIMESTAMP,P...
加筛选 #案例:有奖金的员工名和部门名 SELECT last_name,department_name FROMemployees AS e,departments AS d WHEREe.department_id=d.department_id ANDe.commission_pct IS NOT NULL; #案例：查询城市名中第二个字符为o的部门名和城市名 SELECTdepartment_name,city FROMdepartments AS d,locations AS l WHEREd.location_id=l.location_id ANDl.city LIKE‘_o%‘; 加分组 #案例:查询每个城市的部门个数 SELECTCOUNT(*),city F...
目录联合分组、子查询、视图、事务、python操作mysql、索引一、联合分组二、子查询三、all 与any：区间修饰条件四、视图：view视图的增删改五、事务5.1、事务的概念5.2、事务的四大特性六、pymysql 模块：python操作mysql6.1 安装pymysql 模块6.2 python用pymysql 操作mysql步骤6.3 游标操作6.4 pymysql事务6.5 sql注入七、索引联合分组、子查询、视图、事务、python操作mysql、索引 一、联合分组 # 数据来源：在之前的单表emp下# ...
由于Mysql自动开启了 only_full_group_by，所以若查询的字段不在group by里面，则分组报错。 解决办法其一：mysql配置，关闭only_full_group_by，这种办法自行百度 下面说第二种办法： 除去group_by 以外的参数加上any_value(*) 如：SELECT type_id,any_value(`name`) FROM ts_product GROUP BY type_id;Mysql 分组查询出现this is incompatible with sql_mode=only_full_group_by的解决办法标签：参数 val mysql配置 自动...
分组函数，又称聚合函数，是将一类数据统计后获得一个值 1. 计算： sum 求和 avg 平均值 max 最大值 min 最小值 count 个数 不管什么引擎下，count(*)效率最高 以上函数忽略null值 2.distinct 去重 sum(distinct id) 先去重，再求和。 3.group by 分组 先分组，再统计 SELECT money, COUNT(*) FROM account GROUP BY money 先按money的值分组，然后返回每组金额和这种金额的数目。 group by后面也可以跟函数等 可以...
表如下： CREATE TABLE `asset_change_log` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT ‘ID‘, `asset_id` int(11) unsigned NOT NULL COMMENT ‘资产ID‘, `status` tinyint(1) unsigned NOT NULL DEFAULT ‘0‘ COMMENT ‘状态1入库2出库3借出4归还‘, `ctime` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT ‘创建时间‘, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 需要查询...
group by:分组 GroupBy语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。它的作用是通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理。 # group by 字段名 having 条件表达式 分组查询 select sName from elogs inner join students on sID = sNo group by sNo having count(sid)>=2;# having 与 where 的不同之处 # 1.执行顺序不同 having是在分组之后执行，where是在分...