一：EXC_BAD_ACCESS异常介绍在调试objective-c程序的过程中，程序crash的现象在所难免，但大部分的错误都能够通过显示的错误原因结合NSLog的方式来解决，比如NSInvalidArgumentException（名字就能看出来是什么错误）等，实在搞不定还有debug这个杀手锏。但唯独EXC_BAD_ACCESS这个异常太难处理了，名字看不出来是什么原因，其他提示也没有，debug都搞不定。先来介绍下EXC_BAD_ACCES：这个异常基本上是内存使用不当造成的，而且90%的...
一.简介 accesslog是apache或者nginx等web service生成的日志，对应于网页的每一次请求，包含有大量的信息，分析好accesslog可以对网站的运行情况有一个整体的认识，在出现问题的情况下，也可以通过对accesslog的数据分析结果，大致定位出问题所在。负责网站的运维、架构相关的工程师需要对accesslog非常熟悉，策略效果相关的工程师也可以通过对accesslog的分析，得到用户的行为数据。二.查看accesslog的工具 xlog三.简介...
网站日志实时分析工具GoAccess使用系统环境CentOS release 5.5 (Final) GoAccess是一款开源的网站日志实时分析工具。 GoAccess 的工作方式就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排名，访客使用的操作系统，访客使用的浏览器，来路域名，404 错误，搜索爬虫，搜索关键词等...
nginx的log日志分为access log 和 error log 其中access log 记录了哪些用户，哪些页面以及用户浏览器、ip和其他的访问信息 error log 则是记录服务器错误日志 错误日志的形式如下：12201.158.69.116 - - [03/Jan/2013:21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.007 0.007 MX pythontab.com GET /html/test.html HTTP/1.1 "200" 2426 "http://a.com" "es-ES,es;q=0.8" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (K...
目录一、GoAccess简介1.1 存储方式1.2 编译配置参数1.2 使用选项1.21 日志/日期/时间 格式1.22 用户交互选项1.23 服务器选项1.24 FILE OPTIONS1.25 解析选项1.26 地理位置选项1.27 其他选项1.28 磁盘存储选项1.3 自定义日志/日期格式1.31 自定义示例1.4 使用示例1.41 不同的输出1.42多日志文件1.43 实时 HTML 输出1.44 日期处理1.45 虚拟主机1.46 文件 & 状态码处理不断增长中的日志1.5 goaccess命令选项二、简单使用2.1 web页面显...
[root@hdss7-11 opt]# wget https://tar.goaccess.io/goaccess-1.3.tar.gz [root@hdss7-11 opt]# tar xf goaccess-1.3.tar.gz -C /opt/ [root@hdss7-11 goaccess-1.3]# ./configure --enable-utf8 --enable-geoip=legacy configure: error: *** Missing development files for the GeoIP library [root@hdss7-11 goaccess-1.3]# yum install -y GeoIP-devel configure: error: *** Missing development libraries for ncurse...
前言 WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyt...
GoAccess 是一个用来统计 Apache Web 服务器的访问日志的工具，可即时生成统计报表，速度非常快查看的统计信息有：统计概况，流量消耗等 访客排名 动态Web请求 静态web请求，如图片、样式表、脚本等。 来路域名 404 错误 操作系统 浏览器和搜索引擎 主机、DNS和IP地址 HTTP 响应代码 引荐网站 键盘布局 自定义显示 支持超大日志 2、安装yum -y install glib2 glib2-devel ncurses ncurses-devel geoIP geoIP-devel wget http://tar...
统计访问最多的ip 1. tail -n 10000 xxaccess_log | cut -d " " -f 1 |sort|uniq -c|sort -rn|head -10 |more 2.tail -n 10000 xx-access_log | awk ‘{print $1}‘|sort|uniq -c|sort -rn|head -10 | more 统计访问最多的url tail -n 10000 xx-access_log |awk ‘{print $7}‘| sort|uniq -c| sort -rn| head -10 | more 指定ip统计访问最多的url tail -n 1000 xx-access_log | grep ‘00.00.00.00’|awk ‘{print $7}‘| ...
前言WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyth...
#Software: Microsoft Internet Information Server 4.0#Version: 1.0#Date: 1998-11-19 22:48:39#Fields: date time c-ip cs-username s-ip cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs-bytes time-taken cs-version cs(User-Agent) cs(Cookie) cs(Referrer)1998-11-19 22:48:39 206.175.82.5 - 208.201.133.173 GET /global/images/navlineboards.gif - 200 540 324 157 HTTP/1.0 Mozilla/4.0+(compatible;+MSIE+...
1.安装组件#yum groupinstall ‘Development Tools‘#yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP GeoIP-devel#yum -y install nginx2.下载源码包安装#wget http://tar.goaccess.io/goaccess-1.0.1.tar.gz#tar xf goaccess-1.0.1.tar.gz #cd goaccess-1.0.1/#./configure --prefix=/usr/local/goaccess#make && make install3.编辑文件vim /usr/local/goaccess/etc/goaccess.conf 去除下面13，33行的注释，增加...
一.下载下载地址：http://goaccess.io/二.安装yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP*./configure –enable-geoip –enable-utf8make && make install 三.使用1.命令行直接查看goaccess -f access.log-c-a2.输出到html中配置~/.goaccessrc文件color_scheme 0 date_format %d/%b/%Y log_format %h%^[%d:%^] “%r” %s%b “%R” “%u” %T生成命令goaccess -f /web/nginx/logs/access.log-a> report.html参考...
很早就知道Nginx日志分析工具GoAccess，但之前由于只能静态分析，感觉不太强大。最近发现它能够实时显示报表而且报表也比之前强大很多能做趋势分析。因此果断下载安装。以下是基于CentOS的安装配置步骤。 1、安装 GeoIPsudo yum install geoip geoip-devel 2、安装centos: yum install go access或源码安装$ wget http://tar.goaccess.io/goaccess-1.1.1.tar.gz $ tar -xzvf goaccess-1.1.1.tar.gz $ cd goaccess-1.1.1/ $ ./confi...
生成html文件分析nginx日志vi ~/.goaccessrctime-format %Tdate-format %d/%b/%Ylog-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"各参数详解： man goaccess或Nginx Variable GoAccess Variable$remote_addr %h$remote_user %^ (ignored)$time_local %d:%^$upstream_cache_status %^ (...