首页 / MYSQL / OozieShellAction配置

OozieShellAction配置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了OozieShellAction配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3897字，纯文字阅读大概需要6分钟。

内容图文

目录 1. Shell Action 2. Shell Action 日志 3. Shell Action 限制 1. Shell Action Shell action运行一个shell命令，需要配置的有job-tracker，name-node和一些必要的参数。经过配置，在启动Shell Action之前可以创建或删除HDFS文件夹。可以通过配置文件

    ...
            [JOB-TRACKER]
            [NAME-NODE]
               ...
               ...
            [SHELL SETTINGS FILE]
                    [PROPERTY-NAME]
                    [PROPERTY-VALUE]
                ...
            [SHELL-COMMAND]
            [ARG-VALUE]
                ...
            [ARG-VALUE]
            [VAR1=VALUE1]
               ...
            [VARN=VALUEN]
            [FILE-PATH]
            ...
            [FILE-PATH]
            ...
    ...

prepare元素里面配置启动job前要删除或者创建的文件夹，文件夹路径必须是以hdfs://HOST:PORT开头。

job-xml指定一个存在的配置文件。

configuration里面配置传递给sqoop job的参数。

exec元素包含要执行的shell命令的路径。可以给shell命令添加参数。

argument元素指定要传递给shell脚本的参数。

env-var包含传递给shell命令的环境变量。env-var只能包含一个环境变量和值。如果这个环境变量包含像$PATH一样的，那它必须写成PATH=$PATH:mypath。不能用${PATH}，因为它将会被EL解析。

capture-output元素指定用来捕获shell脚本的标准输出。可以通过String action:output(String node, String key)函数【EL函数】来获得输出。

例子：

            ${jobTracker}
            ${nameNode}
                  mapred.job.queue.name
                  ${queueName}
            ${EXEC}
            A
            B
            ${EXEC}#${EXEC} 
        Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

其中，job属性文件如下：

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Execute is expected to be in the Workflow directory.
#Shell Script to run
EXEC=script.sh
#CPP executable. Executable should be binary compatible to the compute node OS.
#EXEC=hello
#Perl script
#EXEC=script.pl
jobTracker=localhost:8021
nameNode=hdfs://localhost:8020
queueName=default

运行jar里面的java程序：

            ${jobTracker}
            ${nameNode}
                  mapred.job.queue.name
                  ${queueName}
            java
            -classpath
            ./${EXEC}:$CLASSPATH
            Hello
            ${EXEC}#${EXEC} 
        Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

属性会复制指定的文件到运行该脚本的机器上。当提示找不到文件的时候，试试file

对应的属性文件是：

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Hello.jar file is expected to be in the Workflow directory.
EXEC=Hello.jar
jobTracker=localhost:8021
nameNode=hdfs://localhost:8020
queueName=default

2. Shell Action 日志

shell action的stdout和stderr输出被重定向到运行该脚本的oozie执行器上的map-reduce任务的stdout。

除了在Oozie的web网页上可以看到少部分日志，还可以在hadoop的job-tracker的网页上看到详细的日志信息。

3. Shell Action 限制

虽然Shell Action可以执行任意的shell命令，但是有以下几个限制：

不支持交互命令。

不能通过sudo来让不同用户执行命令。

用户必须明确的上传所需要的第三方库。Oozie通过Hadoop的分布式缓冲来上传、打标签、使用。

Shell命令会在任意一个hadoop 计算节点上运行，但是计算节点上默认安装的工具集可能会不一样。不过在所有的计算节点上，通常都装有大部分普通的unix工具。因此需要明确的很重要的一点是：Oozie只支持有被安装到计算节点上的命令或者通过分布式缓存上传的命令。也就是说，我们必须通过file上传我们要用到的文件。

http://archive.cloudera.com/cdh/3/oozie/DG_ShellActionExtension.html

转载请注明： 转载自http://jyd.me/

本文链接地址: Oozie Shell Action 配置

内容总结

以上是互联网集市为您收集整理的OozieShellAction配置全部内容，希望文章能够帮你解决OozieShellAction配置所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/556770.html

来源：【匿名】

【上一篇】Adobe弃用CreativeSuite，主打付费订阅式的CreativeCloud 【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【OozieShellAction配置】教程文章相关的互联网学习教程文章

一个备份MySQL数据库的简单Shell脚本

主脚本（用于备份mysql数据库）：　　该Shell脚本可以自动备份数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。1. 分别建立目录“backup”和“oldbackup”#mkdir /backup　　#mkdir /oldbackup　2. 现在使用你喜欢的编辑软件创建并编辑“backup.sh”这里我用的是 vi　　# vi /backup/backup.sh　　现在把以下几行命令输入到...

linux下的mysql自动备份shell

#!/bin/bash# mysql 的备份脚本 # 备份原理: # 1 # 使用列举出所有的库; # 2 # 使用每个库,列举出每张表,除了指定忽略的库; # 3 # 使用mysqldump 导出每一张表到文件:主机名/年月日/库/表.mysqldump.sql # 4 # 验证每张表的sql文件是否包含完成标志; # 5 # 压缩每个sql文件并删除本sql文件 # 6 # 强制删除超过x天的备份文件夹全部文件 # 7 # 发送处理日志到指定email # 8 # 请配合同步工具多处服务器备份# mysql备份配置信...

Linux mysql shell脚本变量和环境变量位置参数预定义变量运算符判断流程控制 for循环与用户交互函数【代码】【图】

mysql1. 卸载旧版本rpm -qa | grep mysql 检查是否有旧版本查询结果:mysql-libs-5.1.73-7.el6.x86_64rpm -e mysql-libs 删除旧版本 rpm -e --nodeps mysql-libs 强行删除2. 安装mysql2.1 安装源码需要编译下载c的编译工具 yum -y install make gcc-c++ cmake bison-devel ncurses-devel2.2 xftp连接上传xftp连接上传到opt文件夹2.3 编译1. tar -zxvf mysql-5.6.14.tar.gz 解压 2. cd mysql-5.6.14 ...

mysqldump完全备份shell脚本

#!/bin/bash #?Date:2017-10 #?Version:0.1 #?Description:db_user="root" myisam_db="mysql" db_passwd="123456" host="localhost" backup_dir="/opt/backup/mysql/sql" log_file="/opt/backup/mysql/sql/mysql_backup.log" keep_days=30 mysql="$(which?mysql)" mysqldump="$(which?mysqldump)" db_list=$(mysql?-h$host?-u$db_user?-p$db_passwd?-e?‘show?databases‘|egrep?-v?‘Database|information_schema|mysql|performan...

shell中的Mysql查询

1 #!/bin/bash 2 #查询3 echo -e 4 for i in `cat id.txt` 5 do 6 A=`mysql -h10 -uw -p2012 -Ne "select Id,Name,User_Logindate from info where Id=$i"`; 7 B=`mysql -h10 -uw -p2012 -Ne "select ifnull(sum( Amount),0) from Info where Date between ‘2014-05-21‘ and ‘2014-05-22‘ and Id=$i and Res=1"` 8 echo -e "$A\t\t\t\t$B\t" >> tmp.xls; 9 done原文：http://www.cnblogs.com/fupeng/p/3752913...

shell脚本中mysqldump的基本使用

今天在做了一下 mysql 数据库备份的shell 脚本，不过开始也搞错了一点地方就是和 mongodump 的一个参数搞混乱了，希望他人看了之后不再犯错误，希望对你有所帮助。下次会给出 mongodump 的简单代码示例 #/bin/bashtd=`date "+%Y-%m-%d"`backpath=/var/www/backup/$tddbBinPath=/usr/local/mysql/bin/mysqldumpecho $1echo $2if [ -d "$backpath" ]then rm $backpath -rf echo "备份数据库数据表"fimkdir -p $backp...

Shell脚本一键部署——源码编译安装MySQL【代码】

编译安装MySQL1、软件包MySQL安装包将安装包拖至/opt目录下，编辑一个脚本文件，将以下内容复制进去，然后source或者. 执行脚本，等脚本执行完成，即可使用mysql -u root -p点击回车即可进入。2、MySQL一键部署脚本(使用source或者.执行脚本！)#!/bin/bash echo -e "\033[31m =====正在验证当前为仅主机还是NAT模式===== \033[0m" ping -c1 -W1 www.baidu.com &> /dev/null if [ $? -eq 0 ];then echo -e "\033[31m 检测当前为...

企业Shell实战-MySQL分库分表备份脚本

本文来自 http://www.xuliangwei.com/xubusi/252.html免费视频讲解见 http://edu.51cto.com/course/course_id-5064.html企业Shell实战-MySQL分库分表备份今天是2015年的最后一天,大家都开心的跨年,而我还在苦逼的呵呵—省略此处内容来自老男孩教育oldboy以及老男孩26期王续精彩分享整理而来为表示感谢,特整理此篇博文分享给大家！项目联系笔者QQ：572891887 也可以加入架构师交流群:471443208 进行交流[root@db02 scripts]# ...

linux下自动备份MySQL数据并上传到FTP上的shell脚本

复制代码代码如下:#!/bin/bash #Mysql autobackup shell # # #----------------set the mysql login parameters dbuser=root dbpasswd= dbserver=localhost dbname=fwserver2008 dbopt=--opt backupdir=/dbbackup/ #-----------------set the FTP paramters , 0 no send to a ftp server,1 send to a ftp server copytoftp=1 ftpserver=172.16.25.2 ftpuser=linux ftppasswd=123456 #----------------set the backpfile paramters...

利用shell脚本实现对mysql数据库的备份

1234567891011121314151617181920212223242526272829303132333435#!/bin/bash #保存备份个数 number=3 #备份保存路径 backup_dir=/root/mysqlbackup #日期 dd=`date +%Y%m%d` #备份工具 tool=mysqldump #用户名 username=mracale #密码 password=456852 #将要备份的数据库 database_name=test #简单写法 mysqldump -u root -p123456 users > /root/mysqlbackup/users-$filename.dump$tool -u $username -p$password $databa...

linux中mysql备份shell脚本代码

第一步：在你的linux服务器中定义备份目录：复制代码代码如下:mkdir /var/lib/mysqlbackup cd /var/lib/mysqlbackup第二步：下面是最重要的一步了，就是写定时备份脚本。复制代码代码如下:vi dbbackup.sh代码文件如下复制代码代码如下:#!/bin/sh# mysql data backup script## use mysqldump --help,get more detail.#BakDir=/root/back/ysqlbackup LogFile=/root/back/mysql/mysqlbak.logDATE=`date +%Y%m%d%H%M%S`echo " " >> ...

shell命令批量杀死MySQL连接进程

（1）将所有的MySQL连接进程杀掉 for i in `mysql -uroot -pzhangyun -Bse "show processlist" | grep -v "show processlist" | awk ‘{print $1}‘` do mysql -uroot -pzhangyun -e "kill $i" done 注：这里将自身命令的show processlist进程过滤掉（2）删除指定用户的连接进程 for i in `mysql -uroot -pzhangyun -se "show processlist" | grep -v "show processlist" | awk ‘{if($2=="zhangyun")print $1}‘` do m...

shell操作mysql【代码】

#!/bin/bash#mysql.shmysql=‘mysql -uroot -ptogest‘sql=‘show databases;use togest_sy_department;show tables;‘$mysql -e "$sql" mysql -uroot -ptogest --tee="mysql.log"shell操作mysql在shell开发中，很多时候我们需要操作mysql数据库（比如：查询数据、导出数据等），但是我们又无法进入mysql命令行的环境，就需要在 shell环境中模拟mysql的环境，使用mysql相关命令，本文总结几种shell操作mysql的方法，供大家参考。方...

linux shell中读写操作mysql数据库【代码】

本文介绍了如何在shell中读写mysql数据库。主要介绍了如何在shell 中连接mysql数据库，如何在shell中创建数据库，创建表，插入csv文件，读取mysql数据库，导出mysql数据库为xml或html文件，并分析了核心语句。本文介绍的方法适用于PostgreSQL ，相对mysql而言，shell 中读写PostgreSQL会更简单些。1. 连接mysql 数据库shell中连接数据库的方法很简单，只需要指定用户名，密码，连接的数据库名称，然后通过重定向，输入mysql的语句...

mysql数据库shell脚本实例【代码】

1、登录数据库#!/bin/bash USERNAME=root PASSWORD=1qazXSW@ mysql -u ${USERNAME} -p${PASSWORD} transcoder <<EOF 2>/dev/nullshow databases; EOF2、建库建表#!/bin/bash USER=root PASS=1qazXSW@ DATABASE=test TABLE=test mysql -u${USER} -p${PASS} <<EOF 2>/dev/null create database ${DATABASE}; use ${DATABASE}; create table ${TABLE}( idint, name varchar(100), mark int); desc ${TABLE}; EOF3、批量插入数据#!/bin...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / OozieShellAction配置

OozieShellAction配置

内容导读

内容图文

目录

1. Shell Action

2. Shell Action 日志

3. Shell Action 限制

内容总结

内容备注

内容手机端

【OozieShellAction配置】教程文章相关的互联网学习教程文章

一个备份MySQL数据库的简单Shell脚本

linux下的mysql自动备份shell

Linux mysql shell脚本变量和环境变量位置参数预定义变量运算符判断流程控制 for循环与用户交互函数【代码】【图】

mysqldump完全备份shell脚本

shell中的Mysql查询

shell脚本中mysqldump的基本使用

Shell脚本一键部署——源码编译安装MySQL【代码】

企业Shell实战-MySQL分库分表备份脚本

linux下自动备份MySQL数据并上传到FTP上的shell脚本

利用shell脚本实现对mysql数据库的备份

linux中mysql备份shell脚本代码

shell命令批量杀死MySQL连接进程

shell操作mysql【代码】

linux shell中读写操作mysql数据库【代码】

mysql数据库shell脚本实例【代码】

IE - 相关标签

配置 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程