Update date 2020-01-03//开启本地mrset hive.exec.mode.local.auto=true; //设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128Mset hive.exec.mode.local.auto.inputbytes.max=50000000;//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4set hive.exec.mode.local.auto.input.files.max=10;// 开启任务并行执行set hive.exec.parall...
配置环境主机名IP备注Hadoop-Data01192.168.0.194Hadoop-Master/Hive/Mysql/Flume-AgentHadoop-Data02192.168.0.195Hadoop-Slave软件版本:CentOS release 6.6 (Final) Hdk-8u131-linux-x64 Hadoop-2.7.3 Hive-2.1.1 Apache-flume-1.7.0-bin下载JDK、Hadoop、Hive、Flume:[root@Hadoop-Data01 soft]# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracl...
前言 本文主要是记录下工作中可能用到的一些linux指令，当作字典查用 Crontab 基本命令# 安装 yum -y install vixie-cron crontabs#查看状态 service crond status#启动 service crond start#关闭 service crond stop#重启 service crond restartcrontab [-u user] file crontab [-u user] [ -e | -l | -r ]-e 编辑 -l 是列表 -r 是删除ctrl+z 可以不保存退出进入crontab文件后，默认使用的是VI编辑器，下面是...
基于Hadoop的Hive的安装与配置 hive的定义与作用 定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 作用 1.） 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 hive的安装配置与调试 前面需要安装配置好hadoop...
操作步骤 #登录 [root@xxx01 ~]# su postgres bash-4.2$ psql -U postgres could not change directory to "/root" psql (9.2.24) Type "help" for help.postgres=# \lList of databasesName | Owner | Encoding | Collate | Ctype | Access privileges -----------+----------+-----------+---------+-------+-----------------------metastore | hive | UTF8 | C | C | postgres | postgres | S...
Hive安装 安装mysql（ps：推荐使用yum安装。或者下载linux mysql安装包，复制解压后的mysql目录到系统的本地软件目录，添加系统mysql组和mysql用户，执行命令：groupadd mysql和useradd -r -g mysql mysql。安装数据库：进入安装mysql软件目录：执行命令 cd /usr/local/mysql，修改当前目录拥有者为mysql用户：执行命令 chown -R mysql:mysql ./。安装数据库：执行命令 ./scripts/mysql_install_db --user=mysql。修改当前目录拥有...
Update date 2020-01-03 //开启本地mrset hive.exec.mode.local.auto=true; //设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128Mset hive.exec.mode.local.auto.inputbytes.max=50000000;//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4set hive.exec.mode.local.auto.input.files.max=10;// 开启任务并行执行set hive.exec.paral...
目录hive简介hive官网地址hive安装配置hive服务启动脚本hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive 不是：一个关系数据库 一个设计用于联机事务处理（OLTP） 实时查询和行级更新的语言Hive特点：建立在Hadoop之上 处理结构化的数据 存储依赖于HDSF：hive表中的数据是...
尝试了阿里云上推荐的数据迁移方式 https://yq.aliyun.com/articles/66042 首先确定一个默认的导出的hive数据库 vi ~/.hiverc use test; 然后在hdfs上创建一个临时目录 hdfs dfs -mkdir /tmp/test 通过hive生成默认的导出数据库的表 转换成导出的hql文件 hive -e "show tables " | awk {printf "export table %s to |/tmp/test/%s|;\n",$1,$1} | sed "s/|//g" > /home/hive/qcf/export.hql 手动运行hql文件 把hive数据库中的表和...
废话不多说 先下载好hive,然后解压到用户所在目录. 配置hive 创建hive-site.xml vi /opt/wacos/hive/conf/hive-site.xml将下面内容保存在 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.local</name> <value>ture</value> </property> <!-- 数据库连接地址 --!> <property> <name>javax.jdo.option.Conn...