crontab下执行hadoop命令
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了crontab下执行hadoop命令，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1990字，纯文字阅读大概需要3分钟。
内容图文
需求：通过hadoop查询指定目录下创建日期为180天之前的目录，将其删除，通过crontab定期执行
编辑shell脚本文件，其中调用hadoop命令，本地sh执行没有问题，但是通过crontab调用时未执行，原因可能是环境变量未设置导致
先查询本地环境变量
echo $PATH
然后将环境变量内容写入shell脚本中
hadoop fs -ls查询指定目录下的所有目录名称
[hdp-test@hadoopclient01v ~]$ hadoop fs -ls /home/hdp-xxx/test1/data/ Found 15 items drwxr-xr-x - work hdp-test 02020-02-0215:01 /home/hdp-test/test1/data/axx drwxr-xr-x - work hdp-test 02020-02-0214:46 /home/hdp-test/test1/data/bxx drwxr-xr-x - work hdp-test 02020-02-0214:46 /home/hdp-test/test1/data/cxx drwxr-xr-x - work hdp-test 02020-02-0214:46 /home/hdp-test/test1/data/dxx drwxr-xr-x - work hdp-test 02020-02-0217:26 /home/hdp-test/test1/data/exx drwxr-xr-x - work hdp-test 02020-02-0217:26 /home/hdp-test/test1/data/flow drwxr-xr-x - work hdp-test 02020-02-0214:46 /home/hdp-test/test1/data/ftp drwxr-xr-x - work hdp-test 02020-02-0214:46 /home/hdp-test/test1/data/ldap drwxr-xr-x - work hdp-test 02020-02-0214:47 /home/hdp-test/test1/data/login drwxr-xr-x - work hdp-test 02020-02-0214:47 /home/hdp-test/test1/data/mail drwxr-xr-x - work hdp-test 02020-02-0214:47 /home/hdp-test/test1/data/tcpxx drwxr-xr-x - work hdp-test 02020-02-0213:49 /home/hdp-test/test1/data/udpxx
因为文件名称是第8个字段，所以通过 | awk ‘{printf $8"\n"}‘ 可以只得到目录名称
判断目录创建日期是否为180天以前，是的话就删除该目录（hadoop fs -rm -r）
脚本内容如下：
#!/bin/sh PATH=/bin:/home/hdp-test/.local/bin:/root/.local/bin:/root/perl5/bin:/sbin:/usr/bin:/usr/bin/hadoop/software/distcp:/usr/bin/hadoop/software/hadoop//bin:/usr/bin/hadoop/software/hbase//bin:/usr/bin/hadoop/software/hive//bin:/usr/bin/hadoop/software/java//bin:/usr/bin/hadoop/software/spark//bin:/usr/sbin export $PATH dirs=$(hadoop fs -ls /home/hdp-test/test1/data | awk‘{printf $8"\n"}‘) fordirin $dirs do old_version=$(hadoop fs -ls $dir | awk‘BEGIN{ days_ago=strftime("%F", systime()-180*24*3600) }{ if($6<days_ago){printf "%s\n", $8} }‘) for version in $old_version do #printf $version‘\n‘ hadoop fs -rm -r $version donedone
原文：https://www.cnblogs.com/dxnui119/p/12252955.html
内容总结
以上是互联网集市为您收集整理的crontab下执行hadoop命令全部内容，希望文章能够帮你解决crontab下执行hadoop命令所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。