培训大数据架构开发！从零基础到高级，手把手培训！[技术QQ：2937765541]? ?----------------------------------------------------------------------------------------------------------------------------------课程目录：获取视频资料和培训解答技术支持地址?课程展示(永久免费更新！永久免费培训解答技术支持！)：获取视频资料和培训解答技术支持地址?原文：http://twskyn.iteye.com/blog/2289784
set mapred.job.queue.name=pms; //设置队列set hive.exec.reducers.max=8; //设置最大的reducersset mapred.reduce.tasks=8; //设置最大的redue tasksset hive.exec.parallel=true; //开启任务并行执行set hive.exec.parallel.thread.number=8; // 同一个sql允许并行任务的最大线程数原文：https://www.cnblogs.com/xinfang520/p/10576179.html
一、Hive：一个牛逼的数据仓库1.1 神马是Hive？ Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer...
在成功启动Hive之后感慨这次终于没有出现Bug了，满怀信心地打了长长的创建表格的命令，结果现实再一次给了我一棒，报了以下的错误Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException，看了一下错误之后，先是楞了一下，接着我就发出感慨，自从踏上编程这条不归路之后，就没有一天不是在找Bug的路上就是在处理Bug，给自己贴了个标签：找Bug就跟吃饭一样的男人。抒发心中的感慨之后，该干活还是的干活...
《Programming Hive》读书笔记（一）Hadoop和Hive环境搭建 先把主要的技术和工具学好，才干更高效地思考和工作。 Chapter 1.Introduction 简单介绍Chapter 2.Getting Started 环境配置 Hadoop版本号会更新，以官方安装教程为准http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation For most of the book, it won’t matterwhich mode you’re using. We’...
# http://archive.apache.org/dist/hive/hive-2.1.1/# ==================================================================安装 hivetar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local
mv /usr/local/apache-hive-2.1.1-bin /usr/local/hive-2.1.1
rm –r ~/apache-hive-2.1.1-bin.tar.gzcp ~/mysql-connector-java-5.1.46.jar /usr/local/hive-2.1.1/lib/# 配置环境变量# ===============================================...
CDH5 hadoop-hive-habse单机版配置 一、安装环境：OS:CentOS6.5 64位JDK:jdk-7u72-linux-x64hadoop:hadoop-2.3.0-cdh5.0.0.hbase:hbase-0.96.1.1-cdh5.0.0.hive:hive-0.12.0-cdh5.0.0.tar我所用的都是基于CDH5.0.0的，使用CDH的发行版不会存在各个组件间不兼容，导致启动失败等异常。 CDH的其他版本可以在这里下载http://archive-primary.cloudera.com/cdh5/cdh/5/注意下载各个组件的时候其CDH的版本号一定都要相同。 文章中所有安...
hive> select product_id, track_time from trackinfo limit 5;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there‘s no reduce operator
org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException: The number of tasks for this job 156028 exceeds the configured limit 5000at org.apache.hadoop.mapred.JobTracker.submitJo...
内置函数: 函数分类: 内置函数查看: show funcitons;查看函数描述: DESC FUNCTION concat;具体见: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1, 简单函数( 函数的计算粒度为单条记录)关系运算 数学运算 逻辑运算 数值计算 类型转换 日期函数 条件函数 字符串函数 统计函数2, 聚合函数( 函数处理的数据粒度为多条记录)sum()—求和 count()—求数据量 avg()—求平均直 distinct—求不同值数 min—求最小...
Sqoop导入mysql表中的数据到hive，出现如下错误：??ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下可以解决以下问题。原文中提供的第一种方法不推荐，会有关联问题。参考文章：https://blog.csdn.net/anaitudou/article/details/80998250原文：https://www.cnblogs.com/hupingzhi/p/12357549.h...
培训Hadoop架构开发！从基础到高级，手把手培训！[技术QQ：2937765541]获取视频资料和培训解答技术支持地址??获取视频资料和培训解答技术支持地址原文：http://huadu951.iteye.com/blog/2288098
hadoop的生态圈：650) this.width=650;" src="/upload/getfiles/default/2022/11/12/20221112100811697.jpg" title="502962121.png" />ETL 数据的抽取、转换、加载1)安装hive 1.解压 # tar zvxf hive-0.13.0.tar.gz -C /usr/local # cd /usr/local # ln -sv /usr/local/hive-0.12.0 /usr/local/hive 2.替换jar包，保持hbase0.98与hadoop1.2一致 # cd /usr/hive/lib # rm -rf hbase-0.94* # find /usr/hbase/lib -...
培训Hadoop架构开发！?获取视频资料和培训解答技术支持地址??获取视频资料和培训解答技术支持地址原文：http://jqxh159.iteye.com/blog/2285791
1 基本的Select 操作SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING condition]][ CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list][LIMIT number]?使用ALL和DISTINCT选项区分对重复记录的处理。默认是ALL，表示查询所有记录。DISTINCT表示去掉重复的记录?Where 条件?类似我们传统SQL的where 条件?目前支持 AND,O...
有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs cat | wc -l 用find查找crazyant目录下所有文本文件的行数之和。不过该命令执行挺慢有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。
shell命令
linux统计某个目录下所有文件的行数的命令
find /home/crazyant -type f -name "*" | xargs ...
