公司给出一个需求，指定时间内，统计请求driver.upload.position（司机位置上报接口）中，来源是华为push（come_from=huawei_push）的数量，要求是按天统计。 看一下url格式，url中，method参数就是所请求的接口地址api10 100.116.219.186 | - | 17/May/2019:02:00:17 +0800 | GET /rest?app_ver=5.1.2.0&appkey=30000001&come_from=huawei_push&from=internal&gps_timestamp=1558029615&gps_type=baidu&latitude=1.0&log_time=201...
在没有专业日志分析系统的情况下，我们有时需要对日志进行简单的分析，下面列出一些常用的shell命令分析日志的方法，一定要收藏 1、查看有多少个ip访问 awk {print $1} log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数： grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面： awk {++S[$1]} END {for (a in S) print a,S[a]} log_file > log.txtsort -n -t -k 2 log.txt 配合sort进一步排序 4、将每个...
nginx-log-rotate.sh： #!/bin/bash#---------------------------------------------# Comment:Used for rotating nginx log file.# Author: alin# Date: 09/27/2018# Version: 1.0#--------------------------------------------- LOG_FILE="*.log"LOG_DIR=/data/log/nginxLOG_SIZE=100CURR_TIME=$(date +%Y%m%d%H%M) for log in `ls $LOG_DIR/$LOG_FILE`do total_size=`stat -c %s $log` size=$(($total_size/1024/1024)) ...
我想使用shell脚本将我的程序(python程序启动连接到串口的无头嵌入式设备)输出到文本文件console_log.txt,为此,我编写了以下脚本：#!/bin/bash current_time=$(date "+%Y.%m.%d-%H.%M.%S") gnome-terminal -x bash -c "cd ~/Scripts;pwd;script -c \"python test.py $1\" ~/Output/console_log_$current_time.txt;exec $SHELL"以上内容将不可读(非ASCII)字符写入文件中：捓楲瑰猠慴瑲摥漠?桔牵摳祡??灁楲??????呼???呓?上?漠?慰慲敭...
shell进行Nginx日志分析日志格式log_format combined_realip '$remote_addr $http_x_forwarded_for [$time_local]'' $host "$request_uri" $status'' "$http_referer" "$http_user_agent"';日志条目95.213.177.126 - - [07/Jul/2019:13:17:30 +0800] "POST http://check.proxyradar.com/azenv.php?auth=156247664979&a=PSCN&i=2018476175&p=80 HTTP/1.1" 404 27 "http://best-proxies.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Wi...
MapReduce运行日志会在hadoop 安装目录logs/下的userlogs文件夹下，在不同的节点上有自己的jobid号的文件夹日志 查看MR任务报告： 命令：yarn application -status application_ID 查看mapreduce log日志： 命令：yarn logs -applicationId application_ID > log.txt 查看日志也可以通过网页的客户端进入查看 MR任务报告可以看到 application_ID job_ID 写个Shell脚本可以做到将每个slave节点的MR运行日志拉取过来 通过grep过滤...
背景：目前所有项目的部署路径都是/home/application_name/logs/catalina.out，每次查个log,都得进很深的目录，很麻烦，浪费时间。而且来来回回就几个命令。 需求：查看项目实时输出的日志脚本名称：cat_catalina_log.sh脚本运行方式：sh cat_catalina_log.sh tomcat-8108 代码：#!/bin/bash tail -f /home/$1/logs/catalina.out 知识点： shell 传参
原谅我的无知,但我对shell脚本和在Linux中使用环境变量有些新意. 我有一个执行MySQL数据库备份的脚本.我在脚本中有以下几行用于记录数据库的成功转储：output=`date; echo "Database export successful from $ENV_HOSTNAME to $BACKUP_HOSTNAME"` echo $output >> /var/log/errorLog我在/ etc / profile中定义了变量(ENV_HOSTNAME和BACKUP_HOSTNAME),如下所示：export ENV_HOSTNAME="env1.somename.com" export BACKUP_HOSTNAME="e...
前言 在使用Spark-shell做一些测试时候会产生大量无用的INFO级别的日志，因此想把它们给禁用掉。具体方法如下。 解决方法 - 使用自定义的Log4j.properties log4j.rootLogger=ERROR, console# set the log level for these components log4j.logger.com.test=DEBUG log4j.logger.org=ERROR log4j.logger.org.apache.spark=ERROR log4j.logger.org.spark-project=ERROR log4j.logger.org.apache.hadoop=ERROR log4j.logger.io.netty=...
http://man7.org/linux/man-pages/man7/capabilities.7.htmlhttp://www.cnblogs.com/LittleHann/p/3850653.html相关学习资料《The Linux Kernel API Book》 http://blog.csdn.net/orange_os/article/details/7485069 http://www.cnblogs.com/LittleHann/p/3850655.html http://blog.csdn.net/yeyuangen/article/details/6858062 http://linux.chinaunix.net/techdoc/develop/2008/01/15/976651.shtml http://www.cnblogs.com/Littl...
这个非常简单一行命令即可： log_path=/ccc/logs/nginx/ DAYS=5 find ${log_path} -name "access_*" -type f -mtime +$DAYS -exec rm {} \; 或者一行命令 find /usr/local/nginx/log -name "app_*" -type f -mtime +5 -exec rm -rfv {} \;参考： #10天以前所有，不包括第10天当天的文件 $ find -mtime +10 -exec rm -rfv {} \;# 10天前，当天一天的文件 $ find -mtime 10 -exec rm -rfv {} \;# 10天内，包括今天的文件，但不包括第...
Shell脚本实战之生成日志文件 1.代码如下 #!/bin/bash today=$(date +%y%m%d) #the cause to use the command ls is in that to bulit a new #file,not in that the command ls. ls /usr/bin -al > $today.log
#!/bin/bashlogstatus=du -sh /var/log/messagesdocker_image=docker imagesdocker_none=docker images|grep nonedocker_rm=docker images|grep none|awk '{print $3 }'disk=df -hcleanlog(){echo "######start clean messages#######"echo "目前日志大小 $logstatus"read -p "是否清理messages日志，请输入(yes/no)： " messlogif [ ${messlog} = "yes" ];thencat /dev/null > /var/log/messageslogstatus=du -sh /var/log/messa...
#!/bin/bash#此脚本用于自动分割php日志,error.log#每天00:01执行此脚本 将前一天的errors.log重命名为errors-xxxx-xx-xx.log格式，并重新打开日志文件#Nginx日志文件所在目录LOG_PATH=/data/services/logs/php/#获取昨天的日期YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)#获取pid文件路径PID=/var/run/php-fpm.pid#分割日志for logfile in php_errors jlog;do ls -l ${LOG_PATH}${logfile}.log mv ${LOG_PATH}${logfile}....
#!/bin/bash #script_version=v110 db_host=127.0.0.1 db_port=3306 db_username=db_test_inst db_passwd=`XXXXXXXXXXX` db_name=test MYDATE=`date +%Y%m%d%H%M%S` ROOT_PATH=`XXXX/${script_version}` MYSQL_PATH=${ROOT_PATH}/sql LOG_DIR=${LOG_DIR}/log LOG_FILE=${LOG_DIR}/exec_${MYDATE}.log if [ ! -d "$LOG_DIR" ] ;then mkdir $LOG_DIR fi for file in ${MYSQL_PATH}/* do if [ -f "$file" ] ; then postfix=`echo $fil...