首页 / 日志 / java – 为什么我的应用程序级别日志在oozie中执行时会消失？

java – 为什么我的应用程序级别日志在oozie中执行时会消失？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java – 为什么我的应用程序级别日志在oozie中执行时会消失？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1691字，纯文字阅读大概需要3分钟。

内容图文

我在CDH5环境中使用oozie.我也在使用oozie网络控制台.我无法从我的应用程序中看到任何日志.我可以看到hadoop日志,火花日志等;但我看不到特定于应用程序的日志.

在我的应用程序中,我已经包含了src / main / resources / log4j.properties

# Root logger option
log4j.rootLogger=INFO, stdout

# Direct log messages to stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

在我的oozie工作流程中,我有java-actions和spark-actions.

同样重要的是要注意,当我从命令行运行我的应用程序时,我会看到我的应用程序级别日志.

解决方法:

Oozie在一个不同的“启动器”工作中运行每个Action – 实际上是一个具有单个映射器的YARN工作(参见下面的例外).

每当您在表单job_000000000_0000中看到“外部ID”时,您就可以到达application_000000_0000的YARN日志(是的,“job”是Hadoop 1的遗留命名约定,仍由JobHistory服务使用,但YARN有另一个命名约定).

您的应用程序输出实际上被转储到该Oozie“启动器”的YARN日志中

>您的StdErr按原样转储,可以在“stderr”部分中检索
>你的StdOut被转储,每行都有一个前缀(Oozie使用该前缀来管理它的< capture_output /> Shell和Pig动作的技巧)在atrocely详细的“stdout”部分的末尾
>并且没有任何东西进入“系统日志”部分AFAIK

底线：

>运行oozie job -info ******以获取操作列表以及Oozie工作流程执行的相应“外部ID”
>对于每个作业_ ***** _ **遗留ID,运行yarn logs -applicationId application _ ***** _ ** |更多地浏览全局YARN日志,然后放大您的特定应用程序日志
>现在你可以尝试自动化那件事……玩得开心B-)

“启动器”Oozie工作原理的例外 – 电子邮件操作/文件系统操作只是直接从Oozie服务器进程执行的API调用;并且MapReduce Action使用多个Mappers和Reducers生成常规Y??ARN作业.

内容总结

以上是互联网集市为您收集整理的java – 为什么我的应用程序级别日志在oozie中执行时会消失？全部内容，希望文章能够帮你解决java – 为什么我的应用程序级别日志在oozie中执行时会消失？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/706079.html

来源：【匿名】