首页 / ACCESS / 如何分析accesslog

如何分析accesslog

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何分析accesslog，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2531字，纯文字阅读大概需要4分钟。

内容图文

一.简介

accesslog是apache或者nginx等web service生成的日志，对应于网页的每一次请求，包含有大量的信息，分析好accesslog可以对网站的运行情况有一个整体的认识，在出现问题的情况下，也可以通过对accesslog的数据分析结果，大致定位出问题所在。负责网站的运维、架构相关的工程师需要对accesslog非常熟悉，策略效果相关的工程师也可以通过对accesslog的分析，得到用户的行为数据。

二.查看accesslog的工具

xlog

三.简介

一条典型的accesslog：

101.226.166.254 - - [21/Oct/2013:20:34:28 +0800] "GET /movie_cat.php?year=2013 HTTP/1.1" 200 5209 "http://www.baidu.com" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDR; .NET4.0C; .NET4.0E; .NET CLR 1.1.4322; Tablet PC 2.0); 360Spider"

下面我们来说说这一行记录的意思:

1）101.226.166.254:(用户IP)

2）[21/Oct/2013:20:34:28 +0800]：(访问时间)

3）GET：http请求方式，有GET和POST两种

4）/movie_cat.php?year=2013：当前访问的网页是动态网页，movie_cat.php即请求的后台接口，year=2013为具体接口的参数

5）200：服务状态，200表示正常，常见的还有，301永久重定向、4XX表示请求出错、5XX服务器内部错误

6）5209：传送字节数为5209，单位为byte

7）"http://www.baidu.com"：refer:即当前页面的上一个网页

8）"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDR; .NET4.0C; .NET4.0E; .NET CLR 1.1.4322; Tablet PC 2.0); 360Spider"： agent字段：通常用来记录操作系统、浏览器版本、浏览器内核等信息

四.数据统计及分析

接口请求频次：分接口、按天和小时分别统计。了解网站的运行情况，每个接口的请求频次，用户的行为习惯等。

响应时间：一天的平均响应时间、分接口的平均响应时间、分接口按小时统计平均响应时间。响应时间过长的请求可能说明服务性能上存在缺陷，就需要对相应的接口进行优化了。

异常分析：状态码非200的请求、响应时间超过一定域值的请求。大量的404不利用SEO，应该尽量避免。

具体参数统计：对于动态页面，一个接口通常带有多个参数，其中某个或者某几个参数特别重要，可以进一步细化，产生接口对应的参数的统计结果

ip来源的统计：可以统计出网页访问的ip来源，进一步通过ip定位，可以产生网站按地域的访问情况，同时对ip的统计，也可以对一些可能的攻击或者黑客行为进行识别。

蜘蛛抓取情况分析：搜索引擎的蜘蛛通常会设置agent字段，通过分析agent字段，可以得到网站一天被百度、谷歌等搜索引擎抓取的次数，以及哪些网页经常被spider爬过，这也是SEO的基础。

五.注意事项

可以通过apache或者nginx的配置可以加上响应时间，默认accesslog是没有输出响应时间。

如何分析accesslog

标签：

本文系统来源：http://my.oschina.net/xsh1208/blog/492464

内容总结

以上是互联网集市为您收集整理的如何分析accesslog全部内容，希望文章能够帮你解决如何分析accesslog所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/455053.html

来源：【匿名】

【上一篇】关于uitableviewcell的accessoryType属性【下一篇】多个系统共用一个微信公众号，在上传图片的时候会返回access_token过期，怎么解决？

更多 ►

【如何分析accesslog】教程文章相关的互联网学习教程文章

iOS 开发之EXC_BAD_ACCESS异常分析

一：EXC_BAD_ACCESS异常介绍在调试objective-c程序的过程中，程序crash的现象在所难免，但大部分的错误都能够通过显示的错误原因结合NSLog的方式来解决，比如NSInvalidArgumentException（名字就能看出来是什么错误）等，实在搞不定还有debug这个杀手锏。但唯独EXC_BAD_ACCESS这个异常太难处理了，名字看不出来是什么原因，其他提示也没有，debug都搞不定。先来介绍下EXC_BAD_ACCES：这个异常基本上是内存使用不当造成的，而且90%的...

如何分析accesslog

一.简介 accesslog是apache或者nginx等web service生成的日志，对应于网页的每一次请求，包含有大量的信息，分析好accesslog可以对网站的运行情况有一个整体的认识，在出现问题的情况下，也可以通过对accesslog的数据分析结果，大致定位出问题所在。负责网站的运维、架构相关的工程师需要对accesslog非常熟悉，策略效果相关的工程师也可以通过对accesslog的分析，得到用户的行为数据。二.查看accesslog的工具 xlog三.简介...

网站日志实时分析工具GoAccess使用

网站日志实时分析工具GoAccess使用系统环境CentOS release 5.5 (Final) GoAccess是一款开源的网站日志实时分析工具。 GoAccess 的工作方式就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排名，访客使用的操作系统，访客使用的浏览器，来路域名，404 错误，搜索爬虫，搜索关键词等...

Linux服务器access_log日志分析及配置详解（一）

nginx的log日志分为access log 和 error log 其中access log 记录了哪些用户，哪些页面以及用户浏览器、ip和其他的访问信息 error log 则是记录服务器错误日志错误日志的形式如下：12201.158.69.116 - - [03/Jan/2013:21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.007 0.007 MX pythontab.com GET /html/test.html HTTP/1.1 "200" 2426 "http://a.com" "es-ES,es;q=0.8" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (K...

Linux------------GoAccess-可视化WEB日志分析工具【代码】

目录一、GoAccess简介1.1 存储方式1.2 编译配置参数1.2 使用选项1.21 日志/日期/时间格式1.22 用户交互选项1.23 服务器选项1.24 FILE OPTIONS1.25 解析选项1.26 地理位置选项1.27 其他选项1.28 磁盘存储选项1.3 自定义日志/日期格式1.31 自定义示例1.4 使用示例1.41 不同的输出1.42多日志文件1.43 实时 HTML 输出1.44 日期处理1.45 虚拟主机1.46 文件 & 状态码处理不断增长中的日志1.5 goaccess命令选项二、简单使用2.1 web页面显...

GoAccess日志分析工具【图】

[root@hdss7-11 opt]# wget https://tar.goaccess.io/goaccess-1.3.tar.gz [root@hdss7-11 opt]# tar xf goaccess-1.3.tar.gz -C /opt/ [root@hdss7-11 goaccess-1.3]# ./configure --enable-utf8 --enable-geoip=legacy configure: error: *** Missing development files for the GeoIP library [root@hdss7-11 goaccess-1.3]# yum install -y GeoIP-devel configure: error: *** Missing development libraries for ncurse...

利用python分析access日志的方法

前言 WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyt...

Nginx日志分析利器之GoAccess【代码】【图】

GoAccess 是一个用来统计 Apache Web 服务器的访问日志的工具，可即时生成统计报表，速度非常快查看的统计信息有：统计概况，流量消耗等访客排名动态Web请求静态web请求，如图片、样式表、脚本等。来路域名 404 错误操作系统浏览器和搜索引擎主机、DNS和IP地址 HTTP 响应代码引荐网站键盘布局自定义显示支持超大日志 2、安装yum -y install glib2 glib2-devel ncurses ncurses-devel geoIP geoIP-devel wget http://tar...

分析nginx access log日志的命令

统计访问最多的ip 1. tail -n 10000 xxaccess_log | cut -d " " -f 1 |sort|uniq -c|sort -rn|head -10 |more 2.tail -n 10000 xx-access_log | awk ‘{print $1}‘|sort|uniq -c|sort -rn|head -10 | more 统计访问最多的url tail -n 10000 xx-access_log |awk ‘{print $7}‘| sort|uniq -c| sort -rn| head -10 | more 指定ip统计访问最多的url tail -n 1000 xx-access_log | grep ‘00.00.00.00’|awk ‘{print $7}‘| ...

利用python分析access日志的方法

前言WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyth...

nginx日志分析利器GoAccess(转)【代码】【图】

#Software: Microsoft Internet Information Server 4.0#Version: 1.0#Date: 1998-11-19 22:48:39#Fields: date time c-ip cs-username s-ip cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs-bytes time-taken cs-version cs(User-Agent) cs(Cookie) cs(Referrer)1998-11-19 22:48:39 206.175.82.5 - 208.201.133.173 GET /global/images/navlineboards.gif - 200 540 324 157 HTTP/1.0 Mozilla/4.0+(compatible;+MSIE+...

Goaccess 日志分析工具【代码】

1.安装组件#yum groupinstall ‘Development Tools‘#yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP GeoIP-devel#yum -y install nginx2.下载源码包安装#wget http://tar.goaccess.io/goaccess-1.0.1.tar.gz#tar xf goaccess-1.0.1.tar.gz #cd goaccess-1.0.1/#./configure --prefix=/usr/local/goaccess#make && make install3.编辑文件vim /usr/local/goaccess/etc/goaccess.conf 去除下面13，33行的注释，增加...

Nginx系列（十六）nginx日志分析goaccess

一.下载下载地址：http://goaccess.io/二.安装yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP*./configure –enable-geoip –enable-utf8make && make install 三.使用1.命令行直接查看goaccess -f access.log-c-a2.输出到html中配置~/.goaccessrc文件color_scheme 0 date_format %d/%b/%Y log_format %h%^[%d:%^] “%r” %s%b “%R” “%u” %T生成命令goaccess -f /web/nginx/logs/access.log-a> report.html参考...

使用GoAccess构建简单实时日志分析系统【图】

很早就知道Nginx日志分析工具GoAccess，但之前由于只能静态分析，感觉不太强大。最近发现它能够实时显示报表而且报表也比之前强大很多能做趋势分析。因此果断下载安装。以下是基于CentOS的安装配置步骤。 1、安装 GeoIPsudo yum install geoip geoip-devel 2、安装centos: yum install go access或源码安装$ wget http://tar.goaccess.io/goaccess-1.1.1.tar.gz $ tar -xzvf goaccess-1.1.1.tar.gz $ cd goaccess-1.1.1/ $ ./confi...

goaccess_nginx日志分析工具

生成html文件分析nginx日志vi ~/.goaccessrctime-format %Tdate-format %d/%b/%Ylog-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"各参数详解： man goaccess或Nginx Variable GoAccess Variable$remote_addr %h$remote_user %^ (ignored)$time_local %d:%^$upstream_cache_status %^ (...

ACCESS - 最热教程

python接口自动化全局变量access_token...解决ubuntu下mysql的'Access denied fo...homebrew 安装问题fatal: unable to ac...PHP学习----Accessdeniedforuserroot@l...WIN7(64位)系统发现数据源ODBC里面没有...sqlmap从入门到精通-第五章-5-1 使用sq...fastadmin微信小程序获取access_token 使用Access-Control-Allow-Origin解决跨...Access denied for user 'root&#39...centos7.2 apache开启.htaccess

首页 / ACCESS / 如何分析accesslog

如何分析accesslog

内容导读

内容图文

一.简介

二.查看accesslog的工具

三.简介

四.数据统计及分析

五.注意事项

内容总结

内容备注

内容手机端

【如何分析accesslog】教程文章相关的互联网学习教程文章

ACCESS - 最新教程

ACCESS - 最热教程