首页 / 更多教程 / azkaban的部署
azkaban的部署
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了azkaban的部署,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含5571字,纯文字阅读大概需要8分钟。
内容图文
![azkaban的部署](/upload/InfoBanner/zyjiaocheng/1324/04691058316d4d3eb7f90cec8419e8e8.jpg)
随着平台上的任务越来越多,且部分任务相互依赖,目前使用的crontab定时调度已经无法满足使用需求.急需一个任务依赖调度系统,笔者以前使用过oozie,但是oozie配置过多,而且维护繁琐,属于重量级系统.所以最终我选择使用azkaban.网上关于oozie和azkaban比较的文章很多,有兴趣可以自行百度.接下来说说azkaban的部署.
一.部署模式
- 单机模式(solo)
- 单机集群(1个webServer,1个execServer)
- 集群模式(1个webServer,多个execServer)
本文选择第三种模式,即一台机器安装webServer服务,多台机器安装execServer.这种模式是使用最广泛的.
二.部署准备
- 需要一个mysql服务器,创建azkaban库,azkaban用户密码,并赋予远程连接.View Code
1 mysql>CREATEDATABASE azkaban; 2 mysql>CREATEUSER‘azkaban‘@‘%‘ IDENTIFIED BY‘azkaban‘; 3 mysql>CREATEUSER‘azkaban‘@‘localhost‘ IDENTIFIED BY‘azkaban‘; 4 mysql>grantallprivilegeson azkaban.*to‘azkaban‘@‘%‘ identified by‘azkaban‘; 5 mysql>grantallprivilegeson azkaban.*to‘azkaban‘@‘localhost‘ identified by‘azkaban‘; 6 mysql> flush privileges;
- 下载最新azkaban源文件(azkaban-3.47.0.tar.gz)
三.开始部署
- 解压下载的文件azkaban-3.47.0.tar.gz
- 进入目录执行下面代码编译源文件
./gradlew distTar
- 解压编译好的文件,目录如下:
azkaban-exec-server/build/distributions/ azkaban-web-server/build/distributions/ azkaban-solo-server/build/distributions/ azkaban-db/build/distributions/
- 导入建表语句
mysql -uazkaban -p > SOURCE XXX/create-all-sql-0.1.0-SNAPSHOT.sql;
- 创建目录/opt/Azkaban-web-server 并将azkaban-web-server/build/distributions/下文件拷贝至此
- 将azkaban-solo-server下conf 目录拷贝到/opt/Azkaban-web-server目录下,修改其中azkaban.properties文件View Code
1# Azkaban Personalization Settings 2 azkaban.name=nyhadoop 3 azkaban.label=My Local Azkaban 4 azkaban.color=#FF3601 5 azkaban.default.servlet.path=/index 6 web.resource.dir=web/ 7 default.timezone.id=Asia/Shanghai 8# Azkaban UserManager class 9 user.manager.class=azkaban.user.XmlUserManager 10 user.manager.xml.file=conf/azkaban-users.xml 11 # Loader for projects 12 executor.global.properties=conf/global.properties 13 azkaban.project.dir=projects 1415 database.type=mysql 16 mysql.port=330617 mysql.host=10.46.67.3318 mysql.database=azkaban 19 mysql.user=azkaban 20 mysql.password=azkaban 21 mysql.numconnections=1002223# Velocity dev mode 24 velocity.dev.mode=false25# Azkaban Jetty server properties. 26 jetty.ssl.port=844327 # jetty.use.ssl=false28 jetty.port=808129 jetty.keystore=keystore 30 jetty.password=12345631 jetty.keypassword=12345632 jetty.truststore=keystore 33 jetty.trustpassword=12345634 jetty.maxThreads=2535# Azkaban Executor settings 36 executor.port=1232137# mail settings 38 mail.sender= 39 mail.host= 40# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users. 41 # enduser -> myazkabanhost:443 -> proxy -> localhost:808142 # when this parameters set then these parameters are used to generate email links. 43 # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used. 44 # azkaban.webserver.external_hostname=myazkabanhost.com 45 # azkaban.webserver.external_ssl_port=44346 # azkaban.webserver.external_port=808147 job.failure.email= 48 job.success.email= 49 lockdown.create.projects=false50 cache.directory=cache 51# JMX stats 52 jetty.connector.stats=true53 executor.connector.stats=true54# Azkaban plugin settings 55 azkaban.jobtype.plugin.dir=plugins/jobtypes 56 azkaban.use.multiple.executors=true57 azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus 58 azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=159 azkaban.executorselector.comparator.Memory=160 azkaban.executorselector.comparator.LastDispatched=161 azkaban.executorselector.comparator.CpuUsage=1
- 配置jetty sslView Code
keytool -keystore keystore -alias jetty -genkey -keyalg RSA Enter keystore password: 输入密码 Re-enter new password: 再次输入密码 What is your first and last name? [Unknown]: 直接回车 What is the name of your organizational unit? [Unknown]: 直接回车 What is the name of your organization? [Unknown]: 直接回车 What is the name of your City or Locality? [Unknown]: 直接回车 What is the name of your State or Province? [Unknown]: 直接回车 What is the two-letter country code for this unit? [Unknown]: 直接回车 Is CN=YY, OU=YY, O=YY, L=shanghai, ST=shanghai, C=CN correct? [no]: y
- 将生成的keystore文件 移动到/opt/Azkaban-web-server/目录下
- 创建目录/opt/Azkaban-exec-server 并将azkaban-exec-server/build/distributions/下文件拷贝至此
- 将azkaban-solo-server下conf 目录拷贝到/opt/Azkaban-exec-server目录下,修改其中azkaban.properties文件View Code
# Azkaban Personalization Settings default.timezone.id=Asia/Shanghai # Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=10.46.67.33 mysql.database=azkaban mysql.user=azkaban mysql.password=azkaban mysql.numconnections=100 # Azkaban Executor settings executor.maxThreads=50 executor.port=12321 executor.flow.threads=30 # JMX stats jetty.connector.stats=true executor.connector.stats=true # Azkaban plugin settings azkaban.jobtype.plugin.dir=plugins/jobtypes
- 分别在/opt/Azkaban-web-server/conf和/opt/Azkaban-exec-server/conf目录下创建log4j.properties文件View Code
log4j.rootLogger=DEBUG,C log4j.appender.C=org.apache.log4j.ConsoleAppender log4j.appender.C.Target=System.err log4j.appender.C.layout=org.apache.log4j.PatternLayout log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
- 分别在/opt/Azkaban-web-server/和/opt/Azkaban-exec-server/目录下创建plugins/jobtypes/commonprivate.properties目录和文件View Code
azkaban.native.lib=false execute.as.user=false
四.运行
- /opt/Azkaban-exec-server目录下执行
1 bin/start-exec.sh2 curl http://${executorHost}:${executorPort}/executor?action=activate
- /opt/Azkaban-web-server目录下执行
bin/start-web.sh
- 浏览器地址 https://{ip}:8443查看服务界面
原文:https://www.cnblogs.com/bujunpeng/p/9093124.html
内容总结
以上是互联网集市为您收集整理的azkaban的部署全部内容,希望文章能够帮你解决azkaban的部署所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。