统计访问最多的ip 1. tail -n 10000 xxaccess_log | cut -d " " -f 1 |sort|uniq -c|sort -rn|head -10 |more 2.tail -n 10000 xx-access_log | awk ‘{print $1}‘|sort|uniq -c|sort -rn|head -10 | more 统计访问最多的url tail -n 10000 xx-access_log |awk ‘{print $7}‘| sort|uniq -c| sort -rn| head -10 | more 指定ip统计访问最多的url tail -n 1000 xx-access_log | grep ‘00.00.00.00’|awk ‘{print $7}‘| ...
前言WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyth...
统计tomcat的access日志的ip次数，并按次数排序 awk ‘{sum[$1]++}END{for(i in sum) print i "\t" sum[i]}‘ localhost_access_log.* | sort -n -k2统计某个接口的调用时间 awk ‘{if($7~/.*xxxxxx.*/) print $NF "\t" $7 "\t" $1 "\t" $4}‘ localhost_access_log.* | sort -n -k13.统计某个接口、某个IP的调用次数 awk ‘{if($7~/.*getProductMatchRel.*/ && $1 =="10.30.5.195") print $NF "\t" $7 "\t" $1 "\t" $4}‘ localho...
#Software: Microsoft Internet Information Server 4.0#Version: 1.0#Date: 1998-11-19 22:48:39#Fields: date time c-ip cs-username s-ip cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs-bytes time-taken cs-version cs(User-Agent) cs(Cookie) cs(Referrer)1998-11-19 22:48:39 206.175.82.5 - 208.201.133.173 GET /global/images/navlineboards.gif - 200 540 324 157 HTTP/1.0 Mozilla/4.0+(compatible;+MSIE+...
来消除文件名中的日期。本文出自 “悟透的杂货铺” 博客，请务必保留此出处http://wutou.blog.51cto.com/615096/1770383去掉tomcat日志localhost_access_log修改去掉文件名日期标签：tomcat 日志名字修改 本文系统来源：http://wutou.blog.51cto.com/615096/1770383
Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" pattern="%h %l %u %t "%r" %s %b" prefix="localhost_access_log." suffix=".txt"/>此配置会在logs下生成一个localhost_access_log.日期.txt，里面记录每次外部访问的一些信息，信息的内容是根据pattern来配置的，%后加不同的字母表示不同的信息，如上述默认的pattern配置会记录“访问端ip 用户名 时间 第一行请求内容 http状态码 发送字...
1.安装组件#yum groupinstall ‘Development Tools‘#yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP GeoIP-devel#yum -y install nginx2.下载源码包安装#wget http://tar.goaccess.io/goaccess-1.0.1.tar.gz#tar xf goaccess-1.0.1.tar.gz #cd goaccess-1.0.1/#./configure --prefix=/usr/local/goaccess#make && make install3.编辑文件vim /usr/local/goaccess/etc/goaccess.conf 去除下面13，33行的注释，增加...
一.下载下载地址：http://goaccess.io/二.安装yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP*./configure –enable-geoip –enable-utf8make && make install 三.使用1.命令行直接查看goaccess -f access.log-c-a2.输出到html中配置~/.goaccessrc文件color_scheme 0 date_format %d/%b/%Y log_format %h%^[%d:%^] “%r” %s%b “%R” “%u” %T生成命令goaccess -f /web/nginx/logs/access.log-a> report.html参考...
Apache apache 的 access_log 每天都会增加500MB，累计已经40多GB了，严重影响服务器空间。 40GB，查询或者备份的话都超不方便。 有什么方法给access_log减肥吗？比如gzip压缩或者简化格式之类的。 请教各位大虾了。 回复讨论(解决方案) 可以在装一个cronolog， 将日志切开， 以后日志就可以按日期生成了。 这样，按网监要求保留60天就可以了。60天前的压缩下载备份即可。 恩，按天来生产日志！ 直接配置httpd.c...
很早就知道Nginx日志分析工具GoAccess，但之前由于只能静态分析，感觉不太强大。最近发现它能够实时显示报表而且报表也比之前强大很多能做趋势分析。因此果断下载安装。以下是基于CentOS的安装配置步骤。 1、安装 GeoIPsudo yum install geoip geoip-devel 2、安装centos: yum install go access或源码安装$ wget http://tar.goaccess.io/goaccess-1.1.1.tar.gz $ tar -xzvf goaccess-1.1.1.tar.gz $ cd goaccess-1.1.1/ $ ./confi...
生成html文件分析nginx日志vi ~/.goaccessrctime-format %Tdate-format %d/%b/%Ylog-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"各参数详解： man goaccess或Nginx Variable GoAccess Variable$remote_addr %h$remote_user %^ (ignored)$time_local %d:%^$upstream_cache_status %^ (...
#nginx访问日志的格式，方便使用filebeat通过json的格式收集和推送到logstash解析； log_format elk ‘{"@timestamp": "$time_iso8601", ‘‘"request_id": "$request_id", ‘‘"remote_addr": "$remote_addr", ‘‘"remote_user": "$remote_user", ‘‘"body_bytes_sent": $body_bytes_sent, ‘‘"request_time": $request_time, ‘‘"status": $status, ‘‘"request": "$request", ‘‘"request_method": "$request_method", ‘...
https://tar.goaccess.io/goaccess-1.3.tar.gz $ tar -xzvf goaccess-1.3.tar.gz $ cd goaccess-1.3/ $ ./configure --enable-utf8 --enable-geoip=legacy $ make # make installQ1:在执行第四步./configure时，遇到问题： configure: error: *** Missing development files for the GeoIP library 解决方法：$ wget https://github.com/maxmind/geoip-api-c/releases/download/v1.6.11/GeoIP-1.6.11.tar.gz $ tar -xzvf GeoIP-1.6...
2.6 GoAccess高级阶段 尽管 GoAccess 很强大，但是它无法制定自定义监控规则，无法满足对站点更细粒度更全面的监控需求。到 2018 年底，另站已经使用 ELK 日志平台 来分析站点的访问情况和流量分析了，效果见 ELK 集中式日志平台。 GoAccess日志分析标签：默认 ogr 自定义监控 高级 ret -o date only lan 本文系统来源：https://www.cnblogs.com/syf-com/p/10185271.html
最近项目要求选用Access数据库，但日志管理采用log4net，但保存到数据库一直没有成功，后按照如下配置在程序退出时可以成功保存。 开始新建文件应用log4net.dll ,重新编译就报缺少log4net的库，后参考网上资料在项目属性中把目标框架由 Framework client 改为Framwork4 就可以了 本程序演示如何利用log4net记录程序日志信息。log4net是一个功能著名的开源日志记录组件。利用log4net可以方便地将日志信息记录到文件、控制台...