httpd.conf中CustomLog logs/access.log common 改成 CustomLog "|c:/apache/bin/rotatelogs.exe c:/apache/logs/access_%Y_%m_%d.log 86400" common 其中把c:改成你安装apache所在的路径. 重启Apache 其中c:/apache/是你安装apache的路径这样每一天生成一个日志文件在apache的配置文件中找到 ErrorLog logs/error_log CustomLog logs/access_log commonLinux系统配置方法：将其改为 ErrorLog "| /usr/local/apache/bin/rotatelog...
最近排查支付宝交易成功后异步通知执行失败的原因，需要查看Apache的日志，发现之前一直没对日志进行设置，结果日志文件都1.5G多了，于是搜索了如何按天记录日志。但公司的网站是通过阿里云的SLB分发到两个服务器的，会每5秒做一次健康检查，因此会产生很多无用的日志内容，于是又搜索了如何过滤请求，为了防止遗忘，将相应的配置记录一下。SetEnvIf Request_URI /health-check.html notlog
<FilesMatch "\.(ico|gif|jpg|png|swf|c...
cronolog切割apache和tomcat日志http://cronolog.org tar zxvf cronolog-1.6.2.tar.gzcd cronolog-1.6.2./configure --prefix=/data/cronologmakemake install查看 cronolog 安装后所在目录which cronolog/data/cronolog/sbin/cronlog一.分割tomcat日志要想分割 tomcat 的 catalina.out，需作如下工作：1.注释掉##touch "$CATALINA_OUT"较老版本注释：touch “$CATALINA_BASE”/logs/catalina.out2.修改 tomcat bin 目录下的 catal...
Apache Flume 1.6.0 发布，此版本现已提供下载：http://flume.apache.org/download.html 更新日志和文档：http://flume.apache.org/releases/1.6.0.html Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。相关链接Apache Flume 的详细介绍：请点这里Apache Flume 的下载地址：请点这里原文：http://www.cnblogs.com/qq458978/p/587...
#!/bin/shzcat www_access_log.2013-12-31.gz|awk -F"\"" ‘BEGIN{ OFS="@" #输出字段之间的分隔符，用别的也可以}{ ip="" ips="" logtime="" if(match($1,/([^-]+[0-9]|-) [^ ]+ ([^ ]+ )?\[[^:]+:([^ ]+)/,f)) { ip=f[1] logtime="2013-12-30 "f[3] } ip=ip=="-"?"":ip if(length(ip)>15) { #ips=ip;ip="...
1、CustomLog "|bin/rotatelogs.exe logs/access_%Y_%m_%d.log 86400 480" combined这里修改成上图所示，然后重启apache.重启以后如下图：他会打开一个命令行窗口一直守护着，关不掉的。而且你也可以把带日期的日志文件删掉，然后关掉这个命令窗口。命令窗口关掉以后会自己再启动起来，这时候再访问就会生成新的日志文件。 原文：http://www.cnblogs.com/wamptao/p/7267014.html
Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最方便的就是，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。本篇指南主要介绍Log4j 1.x版本的配置与使用Log4j最新版下载...
如题，分析首先最简单的取出ipcd /usr/local/nginx/logs
awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list
#在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是 把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() {
for i in `cat list`
do
TransCoding="/usr/bin/python TransCoding.py"
JsonDate="curl -s...
日志分割
随着网站的访问量增加，默认情况下Apache的单个日志文件也会越来越大日志文件占用磁盘空间很大查看相关信息不方便两种日志分割工具Apache自带rotatelogs分割工具实现第三方工具cronolog分割rotatelogs分割工具实验（1）安装httpd服务。[root@localhost ~]# yum install httpd -y
........省略安装过程（2）安装完毕后，我们可以查看，日志文件存放目录“/var/log/httpd/”可以看到并没有日志文件。当我们开启服务后再次查...
11.18 Apache用户认证
编辑httpd-vhosts.conf配置文件[root@taoyuan ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf #内容参数如下：
<VirtualHost *:80>DocumentRoot "/data/wwwroot/123.com"ServerName 123.com<Directory /data/wwwroot/123.com>AllowOverride AuthConfigAuthName "123.com user auth"AuthType BasicAuthUserfile /data/.htpasswdrequire valid-user</Directory>ServerAlias www.123.comErrorLog "...
apache与nginx 日志切割web的日志是重中之重，可以通过分析日志得到丰富的网站信息；如果对日志没有很好的处理，比如所有的日志都记录在一个文件上，那日积月累后，那么这个文件会很庞大，也会影响到分析日志的效率，最重要的是单个日志过于庞大，会影响web服务往日志文件写入信息的速度，所以合理的处理和分配日志是非常有必要的；下面就记录一些web日志分割的方法；1、apache 让apache的日志按天分割，即每天生成一个新的日志记...
问题导读：1.Flume传输的数据的基本单位是是什么？2.Event是什么，流向是怎么样的？3.Source:完成对日志数据的收集，分成什么打入Channel中？4.Channel的作用是什么？5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成？6.Flume支那些数据格式？7.对于直接读取文件Source,有两种方式，分别是什么？8.Channel有多种方式有哪些方式？
概述Flume是Cloudera公司的一款高性能、高可能的分布式日...
假设apache日志格式为：118.78.199.98 – -
[09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 –
“http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0;
Windows NT 5.1; SV1; GTB6.3)”问题1：在apachelog中找出访问次数最多的10个IP。awk ‘{print $1}‘ apache_log |sort |uniq -c|sort -nr|head -n 10awk 首先将每条日志中的IP抓出来，如日志格式被自定义过，可以 -F 定义分...
用Apache自带的rotatelogs程序处理apache生成的日志自动截断重新生成，rotatelogs是一个配合Apache管道日志功能使用的简单程序。设置方法如下：编辑Apache的主配置文件，更改内容如下：注释掉如下两行ErrorLog logs/error_logCustomLog logs/access_log common然后添加如下两行 ErrorLog "|/path/to/bin/rotatelogs logs/errorlog.%Y-%m-%d-%H_%M_%S 20M +480"CustomLog "|/path/to/bin/rotatelogs logs/accesslog.%Y-%m-%d-%H_%M_...
1、把IP数量直接输出显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l2、把IP数量输出到文本显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l > ip.txt总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的...