需求： 在阿里云-CDN管理控制台的监控页面里，有对PV、UV和热点资源的统计。于是自己也写了脚本来获取相关数据。分析： PV：指网站的访问请求数。包含同一来源IP的多次请求。 UV：值网站的独立访客数。同一来源IP的多次请求只计算一次。 来看一条Nginx的access日志信息：# head -1 access.log 192.165.158.238 - - 2017-03-06T20:47:04+08:00 "GET http://download.helloworld.com/ HTTP/1.1" 200 851 425 "-" "Mozil...
查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk ‘{print $1}‘ | sort | uniq -c| sort -nr | wc -l 查看访问最频繁的前100个IP awk ‘{print $1}‘ access.log | sort -n |uniq -c | sort -rn | head -n 100 查看访问100次以上的IP awk ‘{print $1}‘ access.log | sort -n |uniq -c |awk ‘{if($1 >100) print $0}‘|sort -rn 查询某个IP的详细访问情况,按访问频率排序 grep ‘104.217.108.6...
Nginx Access Log日志统计分析常用命令Nginx Access Log日志统计分析常用命令IP相关统计统计IP访问量awk ‘{print $1}‘ access.log | sort -n | uniq | wc -l查看某一时间段的IP访问量(4-5点)grep "07/Apr/2017:0[4-5]" access.log | awk ‘{print $1}‘ | sort | uniq -c| sort -nr | wc -l查看访问最频繁的前100个IPawk ‘{print $1}‘ access.log | sort -n |uniq -c | sort -rn | head -n 100查看访问100次以上的IPawk ‘{pri...
日志统计 题目描述核心思路 典型的固定大小窗口问题，只需要用双指针移动即可。把所有日志按照时间先后顺序排序，然后利用双指针法，维护一个长度为D但是窗口的大小应该是D-1(因为是左闭右开)的区间，当存在点赞数大于等于 K 的帖子时，就将它记录下来。i指针在前面跑，j指针在后面追。如果j指针所指向的内容以及划出了窗口，则将左指针所指向的id帖子的点赞取消，然后让j指针指向下一个，之后再右移i指针，再将当前右指针所指时刻...
公司给出一个需求，指定时间内，统计请求driver.upload.position（司机位置上报接口）中，来源是华为push（come_from=huawei_push）的数量，要求是按天统计。 看一下url格式，url中，method参数就是所请求的接口地址api10 100.116.219.186 | - | 17/May/2019:02:00:17 +0800 | GET /rest?app_ver=5.1.2.0&appkey=30000001&come_from=huawei_push&from=internal&gps_timestamp=1558029615&gps_type=baidu&latitude=1.0&log_time=201...
统计tomcat的access日志的ip次数，并按次数排序 awk '{sum[$1]++}END{for(i in sum) print i "\t" sum[i]}' localhost_access_log.* | sort -n -k2统计某个接口的调用时间 awk '{if($7~/.*xxxxxx.*/) print $NF "\t" $7 "\t" $1 "\t" $4}' localhost_access_log.* | sort -n -k13.统计某个接口、某个IP的调用次数 awk '{if($7~/.*getProductMatchRel.*/ && $1 =="10.30.5.195") print $NF "\t" $7 "\t" $1 "\t" $4}' localhost_acc...
通过双指针维护\([T_i,T_i+D)\)这段时间窗口内，每个日志出现的次数。 const int N=1e5+10; PII a[N]; int cnt[N]; int n,d,k;int main() {cin>>n>>d>>k;for(int i=0;i<n;i++)cin>>a[i].fi>>a[i].se;sort(a,a+n);int l=0,r=0;set<int> res;while(r<n){while(r<n && a[r].fi - a[l].fi < d){int id=a[r].se;cnt[id]++;if(cnt[id] >= k) res.insert(id);r++;}int id=a[l].se;cnt[id]--;l++;}for(auto t:res)printf("%d\n",t);//syste...
新上线了一个自己的小服务 每天都有很多来扫描服务器的 很烦人 就想着吧这些IP地址都记下来 然后去读apache的access_log 太多了实在麻烦 写了一个小工具类。写小记一下吧 需要说一下 1 IPAddress.class中读取IP地址的归属地我找了4个API（有些是抓包来的：） 其中IP138返回的相对最好，不过需要付费 IP126方式暂时不受限制，以后不知道 2 hosts.deny是我自己弄的黑名单，主要是放在http配置中，用来将这些IP直接403干掉 3 Apache/2...
nginx访问量统计 awk {print $1} access.log|sort | uniq -c |wc -l awk {print $7} access.log|wc -l awk {print $7} access.log|sort | uniq -c |sort -n -k 1 -r|more awk {print $1} access.log|sort | uniq -c |sort -n -k 1 -r|more
1.概述 在日常开发中，数据安全一般也是企业关注的重点问题，因此对于数据的操作记录也是关注的重点对象。采集操作日志也成为企业生产中必不可少的一环，如何在不影响业务且不需要新增大量记录日志的代码就能实现日志记录的功能，一直是企业所探索的方案。本文将详细分析利用Spring AOP特性，在不影响业务且不需要新增多余代码的前提下，实现该功能。同时基于Servlet拦截器的功能，实现同样的功能。最后分别对比方案的优劣，并提供...
统计前一天nginx的访问记录#!/bin/bash date=`date -d "1 day ago" +%Y%m%d` #前一天 #date=`date +%Y-%m-%d` log_dir=/var/log/nginx #日志目录 f_log=/var/log/nginx/access.log-$date.gz #日志文件 if [ -f "$f_log" ]; thenif [ ! -f "$log_dir/access_...
shell命令： grep -rn "XXX" | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}" |sort |awk '{S[$1]++} END{for(a in S) {print a,S[a]}}'说明： （其中XXX是关键字） 1、获取日志信息 grep -rn "XXX"2、匹配IP地址信息 -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"3、分组统计 |sort |awk '{S[$1]++} END{for(a in S) {print a,S[a]}}'
awk 数组应用案例 一、四个案例解析 1.1 案例1 查酒店 假设我们有一个酒店: 酒店<===>hotel 酒店里面有几个房间110,119,120,114,401 酒店的110房间<===> hotel[110] 酒店的119房间<===> hotel[119] 酒店的120房间<===> hotel[120]如何查看房间里住的是哪位客人？ # awk 'BEGIN{hotel[110]="tom"; hotel[119]="jack";hotel[121]="owen";print hotel[110],hotel[121],hotel[119]}' tom owen jack使用for语句，对酒店进行循环/查房 # ...
由于线上用户访问量突然增加，有时候需要查看是那些ip经常访问、访问了哪些网站之类或者有人使用蜘蛛来爬等等 记录下来方便查看，也好预警是那些IP或者网站有问题等等原因~~~ 统计日志文件ip和访问次数awk {a[$1]++}END{for(i in a)print i,a[i]} access.log 统计日志文件的ip和前20访问次数awk {a[b[$1]++]}END{for(i=length(a);i>0;i--)for(j in b)if(b[j]==i){c++;if(c<=20)print j,i}} access.log 统计访问 ip 的UVawk {p...
Nginx access.log 日志统计分析常用命令 我的 nginx 日志格式log_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l查看某一时间段的IP访问量（4-5点） grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq ...