网站日志实时分析工具GoAccess使用系统环境CentOS release 5.5 (Final) GoAccess是一款开源的网站日志实时分析工具。 GoAccess 的工作方式就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排名，访客使用的操作系统，访客使用的浏览器，来路域名，404 错误，搜索爬虫，搜索关键词等...
nginx的log日志分为access log 和 error log 其中access log 记录了哪些用户，哪些页面以及用户浏览器、ip和其他的访问信息 error log 则是记录服务器错误日志 错误日志的形式如下：12201.158.69.116 - - [03/Jan/2013:21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.007 0.007 MX pythontab.com GET /html/test.html HTTP/1.1 "200" 2426 "http://a.com" "es-ES,es;q=0.8" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (K...
一、配置与说明tomcat访问日志格式配置，在config/server.xml里Host标签下加上<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="localhost_access_log." suffix=".txt" pattern="%h %l %u %t "%r" [%{postdata}r] %s %{Referer}i %{User-Agent}i %T %b" />我们在日志文件中将看到如下文本：10.217.14.16 - - [21/Oct/2016:15:48:54 +0800] "POST /u...
Apache bitsCN.comapache访问日志access.log的解析以及如何将其导入mysql access.log导入mysqlload data local inf首先，我们对apache访问日志进行一个解读， 220.181.108.92 - - [22/Aug/2013:23:59:59 +0800] "GET /min/f=/media/js/jquery-1.7.2.media/js/global_interaction.js&201308221836 HTTP/1.1" 200 70550 "http://adfdfs.com.cn1071-2130-1.html" "Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9) Gecko ...
今天在确认实习生不能帮忙搭建数据库后，自己根据业务需求尝试搭了一个小型access数据库。 主要目的：储存历史月度数据，避免每次从公司数据库下载数据的麻烦，节省数据拉取时间。 搭建了以acct id为主键的两种数据。 1）客户信息，包括 由业务人员手工更新今天在确认实习生不能帮忙搭建数据库后，自己根据业务需求尝试搭了一个小型access数据库。
主要目的：储存历史月度数据，避免每次从公司数据库下载数据的麻烦，节省数据拉取时...
目录一、GoAccess简介1.1 存储方式1.2 编译配置参数1.2 使用选项1.21 日志/日期/时间 格式1.22 用户交互选项1.23 服务器选项1.24 FILE OPTIONS1.25 解析选项1.26 地理位置选项1.27 其他选项1.28 磁盘存储选项1.3 自定义日志/日期格式1.31 自定义示例1.4 使用示例1.41 不同的输出1.42多日志文件1.43 实时 HTML 输出1.44 日期处理1.45 虚拟主机1.46 文件 & 状态码处理不断增长中的日志1.5 goaccess命令选项二、简单使用2.1 web页面显...
[root@hdss7-11 opt]# wget https://tar.goaccess.io/goaccess-1.3.tar.gz
[root@hdss7-11 opt]# tar xf goaccess-1.3.tar.gz -C /opt/
[root@hdss7-11 goaccess-1.3]# ./configure --enable-utf8 --enable-geoip=legacy
configure: error:
*** Missing development files for the GeoIP library
[root@hdss7-11 goaccess-1.3]# yum install -y GeoIP-devel
configure: error: *** Missing development libraries for ncurse...
https://blog.csdn.net/weixin_30470643/article/details/98077260
https://www.cnblogs.com/yyxianren/p/10843065.html
https://www.cnblogs.com/canflyfish/p/11568588.html
如果任由访问日志写下去，日志文件会变得越来越大，甚至是写满磁盘。
所以，我们需要想办法把日志做切割，比如每天生成一个新的日志，旧的日志按规定时间删除即可。
实现日志切割可以通过写shell脚本或者系统的日志切割机制实现。
shell脚本切割Nginx日...
101.226.61.184 - - [22/Nov/2015:11:02:00 +0800] "GET /mobile/sea-modules/gallery/zepto/1.1.3/zepto.js HTTP/1.1" 200 24662 "http://m.oldboyedu.com/mobile/theme/oldboyedu/home/index.html" "Mozilla/5.0 (Linux; U; Android 5.1.1; zh-cn; HUAWEI CRR-UL00 Build/HUAWEICRR-UL00) AppleWebKit/533.1 (KHTML, like Gecko)Version/4.0 MQQBrowser/5.4 TBS/025478 Mobile Safari/533.1 MicroMessenger/6.3.7.51_rbb7fa12.66...
1.配置Logstash[root@Logstash logstash]# vim /usr/local/logstash/config/nginx_log.conf
input {
beats {
port => "5044"
}
}
filter {
if [type] == "nginx"{
grok {
match => { "message" => "%{NGINXACCESS}" }
}
}
date {
match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
target => ["datetime"]
}
geoip {
source => "clientip"
}
}
output {
if [fiel...
前言
WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyt...
apache日志管理以及大日志清除方法web服务器日志轮循比较好的方式有三种：第一种方法是利用Linux系统自身的日志文件轮循机制：logrotate；第二种方法是利用apache自带的日志轮循程序rotatelogs；第三种是使用在apache的FAQ中推荐发展已经比较成熟的一个日志轮循工具cronolog。这里我给大家带来的是用apache自带的日志轮循程序rotatelogs，并用shell脚本定期删除日志文件，只保留近3天的文件，以免日志文件占满磁盘空间。修改主配置...
GoAccess 是一个用来统计 Apache Web 服务器的访问日志的工具，可即时生成统计报表，速度非常快查看的统计信息有：统计概况，流量消耗等
访客排名
动态Web请求
静态web请求，如图片、样式表、脚本等。
来路域名
404 错误
操作系统
浏览器和搜索引擎
主机、DNS和IP地址
HTTP 响应代码
引荐网站
键盘布局
自定义显示
支持超大日志
2、安装yum -y install glib2 glib2-devel ncurses ncurses-devel geoIP geoIP-devel
wget http://tar...
统计访问最多的ip
1. tail -n 10000 xxaccess_log | cut -d " " -f 1 |sort|uniq -c|sort -rn|head -10 |more
2.tail -n 10000 xx-access_log | awk ‘{print $1}‘|sort|uniq -c|sort -rn|head -10 | more
统计访问最多的url
tail -n 10000 xx-access_log |awk ‘{print $7}‘| sort|uniq -c| sort -rn| head -10 | more
指定ip统计访问最多的url
tail -n 1000 xx-access_log | grep ‘00.00.00.00’|awk ‘{print $7}‘| ...
前言WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyth...
