MapReduce运行日志通过Shell脚本聚合统一查看

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MapReduce运行日志通过Shell脚本聚合统一查看，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1166字，纯文字阅读大概需要2分钟。

内容图文

 

MapReduce运行日志会在hadoop 安装目录logs/下的userlogs文件夹下，在不同的节点上有自己的jobid号的文件夹日志

查看MR任务报告：
命令：yarn application -status application_ID
查看mapreduce log日志：
命令：yarn logs -applicationId application_ID > log.txt
查看日志也可以通过网页的客户端进入查看

MR任务报告可以看到 application_ID job_ID

 

写个Shell脚本可以做到将每个slave节点的MR运行日志拉取过来  通过grep过滤查看到我们想要的MR任务的日志 不用再去找到那个节点再去节点上执行查看命令了。

-----------------------------------------分割线---------------------------------------------------

1.首先关闭MR的日志聚合功能

 修改yarn-site.xml 关闭日志聚合
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>false</value>
    </property>

2.创建脚本 scanLogShell.sh

if [ $# -le 0 ]
then
    echo 缺少参数
    exit 1
fi

logtype=out

if [ $# -ge 1 ]
then
    logtype=${2}
fi 

for n in `cat /opt/install/hadoop-2.5.2/etc/hadoop/slaves`
do
    echo ===========查看节点 $n============
    ssh $n "cat ~/logs/yarn/userlogs/${1}/container_*/*${logtype}|grep com.dingyufei"
done

3.修改脚本权限，运行脚本

    chmod +x scanLogShell.sh 

   ./scanLogShell.sh application_1558968514803_0001

4.大功告成~ 

内容总结

以上是互联网集市为您收集整理的MapReduce运行日志通过Shell脚本聚合统一查看全部内容，希望文章能够帮你解决MapReduce运行日志通过Shell脚本聚合统一查看所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---