Spark与Hadoop的对比 ? Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言 Hadoop的编程语言是Java ? ??使用Hadoop进行迭代计算非常耗资源Spark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取数据?MapReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建弹性分布式数据集RDD 对数据进行运算和cache编程范式：Map + ReduceDAG: Transformation + ...
官方介绍 Hive执行流程图： 【Pratical Hive.pdf】学习笔记，各章节做主线辅以官网资料整理完成。组件架构客户端组件 Hive-cli, JDBC/ODBC Toad or SQuirreLHCatalog 元数据管理组件，主要作用如下官方介绍 ? Provides a common schema environment for multiple tools ? Allows for connectors to tools to read data from and write data to Hive’s warehouse ? Lets users share data across tools ? Creates a relational str...
分类目录：商业智能《数据仓库Hive编程》总目录 Hive支持关系型数据库中的大多数基本数据类型，同时也支持关系型数据库中很少出现的3种集合数据类型， 其中一个需要考虑的因素就是这些数据类型是如何在文本文件中进行表示的，同时还要考虑文本存储中为了解决各种性能问题以及其他问题有哪些替代方案。和大多数的数据库相比，Hive具有一个独特的功能，那就是其对于数据在文件中的编码方式具有非常大的灵活性。大多数的数据库对数据具...
0 需求 hive中怎么统计array中非零的个数 【0，1,3，6,0】 结果：非0的个数为3 1 实现 （1）将array转换成字符串，采用concat_ws（）函数 select concat_ws(',',array) from test_array 返回：0,1,3,6,0 注意区分concat函数和concat_ws函数 concat函数在连接字符串的时候，只要其中一个是NULL，那么将返回NULLconcat_ws函数在连接字符串的时候，只要有一个字符串不是NULL，就不会返回NULL。 hive> select concat('a','b'); OK ab ...
drop table if exists sk_test_create_hive_create_all_fields;create table if not exists sk_test_create_hive_create_all_fields( `user_id` bigint COMMENT ‘产品id‘, `user_name` string COMMENT ‘登录名‘, `status` TINYINT COMMENT ‘用户状态 0正常 1冻结‘, `user_name_init` INT COMMENT ‘用户名是否已修改 0 未修改 1 已修改‘, `ctime` TIMESTAMP COMMENT ‘创建时间‘, `invalid` SMALLINT CO...
遇到个hive 语句 用unoin all暴增的情况，特征：1. 两条语句查询的数据实际都是02. unoin all 上下 有同样的表 查看打印信息做了mapjoin ，估计是mapjoin的一个bug, 尝试加上条件set hive.auto.convert.join.noconditionaltask = false;set hive.optimize.mapjoin.mapreduce=false; --这条貌似可以不加恢复正常。本文出自 “书生” 博客，请务必保留此出处http://yjplxq.blog.51cto.com/4081353/1358934原文：http://yjplxq.blog.5...
有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短用户可以通过设置hive.exec.mode.local.auto的值为true，来让Hive在适当的时候自动启动这个优化原文：https://www.cnblogs.com/xiangyuguan/p/11411164.html
一. Hive性能调优综述 Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化，而不会革命性的优化Hive的性能，产生这种现象的原因有：历史原因和思维定势：大家学习SQL的时候一般都是单机Database，这个时候性能优化技巧确实主要是SQL语法和参数调优。Hive的核心性能问题往往是产生在超过规模的数据集，例如说100亿条级别的数据集，以及每天处理成千上万个Hive作业的情况下产生的。要从根本上...
1、创建表格create table usr_info(mob string,reason string,tag string) row format delimited fields terminated by ‘\t‘ stored as textfile；2、将本地文件上传到创建表格中load data local inpath‘/home/one.txt‘ overwrite into table usr_info；3、修改表格中某个列的属性或列名alter table usr_info change mob mobile int；4、删除表格drop table usr_info;5、 表名aaa id 1 2 3 表名bbb id ...
Spark SQL简介 Spark SQL是Spark的一个处理结构化数据的程序模块。与其它基本的Spark RDD API不同，Spark SQL提供的接口包含更多关于数据和计算的结构信息，Spark SQL会利用这些额外信息执行优化。可以通过SQL和数据集API与Spark SQL交互，但无论使用何种语言或API向Spark SQL发出请求，其内部都使用相同的执行引擎，这种统一性方便开发者在不同的API间进行切换。 Spark SQL具有如下特性：集成——将SQL查询与Spark程...
安装 brew 国内安装brew使用下面的脚本： /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"安装hive brew install hiveHIVE执行sql语句 hive能直接将sql语句转化为mapreduce代码（下面链接写的非常好） https://geek-docs.com/hive/hive-tutorial/introduction-of-hive.html 因为公司有配置好的HIVE系统，因此其实不必在本机上装。 因此直接去SQL教程 SQL教程 SQL不分大小写 查询和更新指...
第一步：创建文件夹写结构化数据。然后上传到hdfs 第二步:根据结构化数据在HIVE中创建对应的表 create table tb_log( id int, name string, age int , gender string ) //指定数据以什么分割 row format delimited fields terminated by ‘,’ //指定存在hdfs中数据的位置 location ‘hdfs://linux01:8020/data/log/’; //在hive中用SQL语言操作数据求各性别平均年龄 select gender, avg(age) as avg_age from tb_log group by gen...
一、工作原理剖析 二、性能优化1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions(SQLContext.setConf())2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。3、编写SQL时，尽量给出明确的列名，比如select name from students。不要写select *的方式。4、并行处理查询结果：对于Spark SQL查询的结果，如果数据量比较大，比如超过1000条，...
强制删除一个database DROP DATABASE IF EXISTS dbname CASCADE; 删除一个table drop table if exists xxxx 分区查询 show partitions xxx Hive复杂查询select * from pic_collection where pic_collection.uid in (select uid from pic_collection group by uid having count(*) > 1) insert overwrite local directory ‘/var/lib/hadoop-hdfs/chenguolin/pic_gateway/url’ select ori_pic_url from pic_collection where pic_...
-初始化mysql数据库失败 hive默认元数据metastore存放为数据库derby，要将其更换为mysql数据库， 本地mysql数据库安装(略) mysql驱动导入到hive/lib下添加访问权限 修改hive-site.xml配置文件（这里我没有直接复制hive-default.xml.template文件 而是直接创建了一个新文件并改名为hive-site.xml） <property><name>javax.job.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><nam...