1、把IP数量直接输出显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l2、把IP数量输出到文本显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l > ip.txt总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的...
一、需求背景 因此次项目的生产环境中部署了多套系统，每天会产生大量的日志(数百GB的量)，侵占了服务器宝贵的存储资源空间。为了有效缓解服务器存储压力，考虑通过Linux的Shell脚本结合crontab定时每周一对上周7天的日志打包压缩，并删除原被打包的日志文件，以腾出更多可利用的存储资源空间。 对于初次接触Shell脚本的同学，建议先花几个小时时间学习一下Shell。附Shell教程链接如下： http://www.runoob.c...
#!/bin/bashlogs_path="/opt/nginx/logs/"pid_path="/opt/nginx/logs/nginx.pid"mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").logkill -USR1 `cat ${pid_path}`crontab -e00 00 * * * sh /opt/shell/cutnginx.sh该脚本不能执行可能原因:脚本没有X权限在非root用户下调用时需要密码，放到root用户下即可本文出自 “dba天空” 博客，请务必保留此出处http://9425473.blog.51cto.com/9415473/166...
默认nginx只会生成一个访问日志，在每天的积累下，日志文件会变的非常大，如果需要做一下日志的分析，无论是使用脚本分析，还是把日志下载本地分析，都不太方便。每天分割Nginx的访问日志，有利于分析日志。一：新建脚本文件vim cut_nginx_log.sh #!/bin/bash#nginx access log segmentation shell script#www.webyang.net#日志目录log_dir="/usr/local/nginx/logs/"cd $log_dirtime=`date +%Y%m%d --date="-1 day"`#nginx启动目录...
PHP版本： 代码如下:/** * 删除7天前的日志 * @param $logPath */ function del7daysAgoLog($logPath) { if(empty($logPath))return; $handle = opendir($logPath); while(($file = readdir($handle)) !== false){ $pos = strpos($file, .log); if ($pos !== false && (strtotime("-1 week") > fileatime($logPath . $file))) { unlink($logPath . $file); } } } shell 版本 代码如下:#!/bin/sh function del7daysAgoLog (){ for...
PHP版本： 代码如下:/** * 删除7天前的日志 * @param $logPath */ function del7daysAgoLog($logPath) { if(empty($logPath))return; $handle = opendir($logPath); while(($file = readdir($handle)) !== false){ $pos = strpos($file, .log); if ($pos !== false && (strtotime("-1 week") > fileatime($logPath . $file))) { unlink($logPath . $file); } } } shell 版本 代码如下:#!/bin/sh function del7daysAgoLog (){ fo...
PHP版本： 代码如下:/** * 删除7天前的日志 * @param $logPath */ function del7daysAgoLog($logPath) { if(empty($logPath))return; $handle = opendir($logPath); while(($file = readdir($handle)) !== false){ $pos = strpos($file, .log); if ($pos !== false && (strtotime("-1 week") > fileatime($logPath . $file))) { unlink($logPath . $file); } } } shell 版本 代码如下:#!/bin/sh function del7daysAgoLog (){ fo...
Linux下使用RMAN和控制文件备份删除归档日志的SHELL脚本 在Oracle用户下的定时器设置 [oracle@SHARKDB dbscripts]$ crontab -l# minute hour day month week15 1 * * 0 sh /home/oracle/dbscripts/backup_full.sh05 3 * * * sh /home/oracle/dbscripts/del_arc.sh全备脚本 先配置保留时间窗口,配置备份目录和格式,然后交叉检查所有备份集. 删除无效备份集,删除过期对象,进行全备份并压缩.. [oracle@SHARKDB dbscripts]$ cat ba...
使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担，如常见的对实例的监控，监听的监控，告警日志的监控，以 使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担，如常见的对实例的监控，监听的监控，告警日志的监控，，以及数据库的备份，AWR report的自动邮件等。本文给出Linux 下使用 shell 脚本来监控 Oracle 告警日志(monitor alter log file)。 Linux Shell的相关参考： Linux/Unix sh...
全部 #linux apache nginx awk {a[$1]=a[$1]+$10}END{for(i in a)print a[i]/1024/1024"MB",i} access.log|sort -nr ip_tarffic_bbs.linuxtone.org.20110114 #iis awk {a[$7]=a[$7]+$NF}END{for(i in a)print a[i]/1024/1024"MB",i} access.log|sort -nr全部#linux apache nginxawk {a[$1]=a[$1]+$10}END{for(i in a)print a[i]/1024/1024"MB",i} access.log|sort -nr >ip_tarffic_bbs.linuxtone.org.20110114 #iis awk {a[$7]=a...
想把Apache已经生成的access.log文件中的[01/Aug/2008:14:06:30 +0800] 部分， 转换 成UTC 时间 的形式，然后输出为一个新的 日志 文件，如何用Shell实现 一下是access.log中记录的一个例子： 192.168.10.174 - - [01/Aug/2008:14:06:30 +0800] GET / HTTP/1.想把Apache已经生成的access.log文件中的[01/Aug/2008:14:06:30 +0800] 部分，转换成UTC时间的形式，然后输出为一个新的日志文件，如何用Shell实现 一下是access.log中记录...
目标 实现记录SHELL执行的开始时间，结束时间，运行状态，错误信息等，以函数封装日志记录的方式，脚本调用函数 源码 通用函数脚本program_log_new.sh function init_log(){sqlplus -S test/passw0rd@orcl EOFinsert into program_log values($id,$day,$1, s目标 实现记录SHELL执行的开始时间，结束时间，运行状态，错误信息等，以函数封装日志记录的方式，脚本调用函数 源码 通用函数脚本program_log_new.shfunction init_log() {...
PHP版本： 代码如下:/** * 删除7天前的日志 * @param $logPath */ function del7daysAgoLog($logPath) { if(empty($logPath))return; $handle = opendir($logPath); while(($file = readdir($handle)) !== false){ $pos = strpos($file, .log); if ($pos !== false && (strtotime("-1 week") > fileatime($logPath . $file))) { unlink($logPath . $file); } } } shell 版本 代码如下:#!/bin/sh function del7daysAgoLog (){ fo...
使用percona公司的pt-query-digest分析慢查询日志，分析、统计的结果的比较清晰 #!/bin/shslowlog_path=/root/slow_query_log everyslow=/tmp/everydayslow ##需要下载pt-query-digest pt_digest=/root/pt-query-digeststart_string=$(grep `date --date="0 days ago" %y%m%d` ${slowlog_path}|head -1) start_pos=$(grep -n `date --date="0 days ago" %y%m%d` ${slowlog_path}|head -1|awk -F: ‘{print $1}‘) end_pos=$(grep -...
PHP版本： 代码如下:/** * 删除7天前的日志 * @param $logPath */ function del7daysAgoLog($logPath) { if(empty($logPath))return; $handle = opendir($logPath); while(($file = readdir($handle)) !== false){ $pos = strpos($file, .log); if ($pos !== false && (strtotime("-1 week") > fileatime($logPath . $file))) { unlink($logPath . $file); } } } shell 版本 代码如下:#!/bin/sh function del7daysAgoLog (){ fo...