１、查询系统是否已安装sudo、syslog程序[root@shangke ~]# rpm -qa|egrep "sudo|syslog" rsyslog-5.8.10-10.el6_6.x86_64 sudo-1.8.6p3-19.el6.x86_64 如果没有安装，则用yum安装，yum install -y sudo syslog2、配置/etc/sudoers增加配置“Defaults logfile=/var/log/sudo.log”到/etc/sudoers中[root@shangke ~]# echo "Defaults logfile=/var/log/sudo.log" >>/etc/sudoers [root@shangke ~]# tail -1 /etc/sudoers ##检查...
1.统计ip访问量前10的 ip地址 cat access.log | awk ‘{print $1}‘ | sort | uniq -c | sort -nr | head -n 102.查看当天ip访问量统计 cat access.log |grep "21/Apr/2016" |awk ‘{print $1}‘|sort|uniq -c|sort -nr3.查看访问前10的页面统计 cat access.log | grep "21/Apr/2016" | awk ‘{print $7}‘ | sort | uniq -c | sort -nr | head -n 104.查看当天访问次数最多的时间段 tail -n 1000 access.log | awk ‘{pri...
复制代码 代码如下:$useragent = addslashes(strtolower($_SERVER[‘HTTP_USER_AGENT‘])); if (strpos($useragent, ‘googlebot‘)!== false){$bot = ‘Google‘;} elseif (strpos($useragent,‘mediapartners-google‘) !== false){$bot = ‘Google Adsense‘;} elseif (strpos($useragent,‘baiduspider‘) !== false){$bot = ‘Baidu‘;} elseif (strpos($useragent,‘sogou spider‘) !== false){$bot = ‘Sogou‘;} elseif (...
本文实例讲述了Python统计日志中每个IP出现次数的方法。分享给大家供大家参考。具体如下：这脚本可用于多种日志类型,本人测试MDaemon的all日志文件大小1.23G左右,分析用时2~3分钟代码很简单,很适合运维人员,有不足的地方请大家指出哦 #-*- coding:utf-8 -*- import re,time def mail_log(file_path):global countlog=open(file_path,‘r‘)C=r‘\.‘.join([r‘\d{1,3}‘]*4)find=re.compile(C)count={}for i in log:for ip in find...
uid是服务端给客户端种下的cookie。比如访问百度，同一台电脑同一个浏览器，不管是百度哪个页面，都是这个uid：原文：https://blog.51cto.com/5660061/2380378
点击日志统计for d in {17..26}; doecho -n "$d " a1=`grep 423770_201910$d ./counter.log-2019-10-$d* |wc -l `a2=`grep 418805_201910$d ./counter.log-2019-10-$d* |wc -l`echo -n "$a1 $a2 "echo""donefor d in {17..26}; doecho -n "$d " ;awk -F"\t"‘{if($32==423770){a++} else if($32==418805){b++} }END{print a , b } ‘ click.log-2019-10-$d* echo""donecat click.log-2019-10-17* |awk -F"\t"‘{ print $32 } ‘awk...
在平时的运维工作中，我们运维人员需要清楚自己网站每天的总访问量、总带宽、ip统计和url统计等。虽然网站已经在服务商那里做了CDN加速，所以网站流量压力都在前方CDN层了像每日PV，带宽，ip统计等数据也都可以在他们后台里查看到的。------------------------------------------------------------------------------在这里，还是分享一个很早前用到过的shell统计脚本，可以结合crontab计划任务，每天给你的邮箱发送一个统计报告~...
统计ip及此ip访问的pv数#awk ‘{s[$1]++}END{for(key in s) print key,s[key]}‘ 12.log | sort -k2rn | head650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109015919947.jpg" title="NTT5(WKP9ZIO[$LM@OSKS8C.png" />统计当前网络各种状态的连接数#netstat -na | awk ‘/^tcp/{s[$6]++}END{for(key in s) print key,s[key]}‘650) this.width=650;" src="/upload/getfiles/default/2022/11/9/202211090159...
#!/bin/bashlist=`awk ‘/19:/,/21:/{print $10}‘ /data/opt/nginx/logs/access.log | tr -d "[[:punct:]]|[[:alpha:]]"` sum=0 for i in $list;do sum=$[$sum+$i] done echo $sum本文出自 “学無止境” 博客，请务必保留此出处http://dashui.blog.51cto.com/11254923/1901954原文：http://dashui.blog.51cto.com/11254923/1901954
如果想看看Nginx有多少IP访问量，有哪些国家访问，并显示IP地址的归属地分布，python可以结合使用高春辉老师ipip.net【免费版 IP 地址数据库】，Shell可以使用nali，我这边主要使用python语言来实现需求,并将查询结果以邮件形式发送，也是为了学习和回顾python语言。很感谢高春辉老师提供的免费版IP地址数据库。一、Ningx日志如下：41.42.97.104 - - [26/Feb/2015:03:35:40 -0500] "GET /root/ HTTP/1.1" 301 20 "http://baibai.12...
本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析，具体如下：1，列出当天访问最多次数的ip地址cut -d- -f 1 /usr/local/nginx/logs/20160329/access_2016032913.log |uniq -c | sort -rn | head -20 [root@httpservera 20160329]# cut -d- -f 1 /usr/local/nginx/logs/20160329/access_2016032913.log |uniq -c | sort -rn | head -20 69 180.116.214.31 45 180.116.214.31 45 180.116.214.31 ...
#! /bin/sh#############################split today and yesterdayfor i in $(seq 10)do echo " " >> /u1/hadoop-stat/stat.logdoneecho "begin["`date "+%Y-%m-%d" -d "-1 days"`"]" >> /u1/hadoop-stat/stat.log#############################remove filefunction removeFilepathNotCurrentMonth(){month=`date "+%Y-%m" -d "-1 days"`for file in ` ls $1 `doif [ "$month" != "$file" ]; thenrm -rf $1"/"$filefidone}GYLOG...
日志样本： 囧，日志格式是我随便定得（莫喷，在明珠时有专门的数据组统计日志，日志都非常规范，在这完全乱套了），为了方便统计支付成功的总金额旁边都空了个空格，这样的话方便使用awk取出金额！ ?12[INFO] 2014-11-0515:30:31,067[http-bio-8060-exec-24] [com.xxxx.service.impl.PayServiceImpl.updatePayOver:56]module:[PAY],orderid:[xxxxxxx],trade_no:[xxxxxxxx],total_fee:[2560.0],payMethod:[百度钱包][INFO] 2014-11...
标题：日志统计小明维护着一个程序员论坛。现在他收集了一份"点赞"日志，日志共有N行。其中每一行的格式是：ts id 表示在ts时刻编号id的帖子收到一个"赞"。 现在小明想统计有哪些帖子曾经是"热帖"。如果一个帖子曾在任意一个长度为D的时间段内收到不少于K个赞，小明就认为这个帖子曾是"热帖"。 具体来说，如果存在某个时刻T满足该帖在[T, T+D)这段时间内(注意是左闭右开区间)收到不少于K个赞，该帖就曾是"热帖"。 给定日志，请你帮...
1、把IP数量直接输出显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l2、把IP数量输出到文本显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l > ip.txt总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的...