Apache Flume 1.6.0 发布，此版本现已提供下载：http://flume.apache.org/download.html 更新日志和文档：http://flume.apache.org/releases/1.6.0.html Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。相关链接Apache Flume 的详细介绍：请点这里Apache Flume 的下载地址：请点这里原文：http://www.cnblogs.com/qq458978/p/587...
#!/bin/shzcat www_access_log.2013-12-31.gz|awk -F"\"" ‘BEGIN{ OFS="@" #输出字段之间的分隔符，用别的也可以}{ ip="" ips="" logtime="" if(match($1,/([^-]+[0-9]|-) [^ ]+ ([^ ]+ )?\[[^:]+:([^ ]+)/,f)) { ip=f[1] logtime="2013-12-30 "f[3] } ip=ip=="-"?"":ip if(length(ip)>15) { #ips=ip;ip="...
1、CustomLog "|bin/rotatelogs.exe logs/access_%Y_%m_%d.log 86400 480" combined这里修改成上图所示，然后重启apache.重启以后如下图：他会打开一个命令行窗口一直守护着，关不掉的。而且你也可以把带日期的日志文件删掉，然后关掉这个命令窗口。命令窗口关掉以后会自己再启动起来，这时候再访问就会生成新的日志文件。 原文：http://www.cnblogs.com/wamptao/p/7267014.html
Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最方便的就是，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。本篇指南主要介绍Log4j 1.x版本的配置与使用Log4j最新版下载...
如题，分析首先最简单的取出ipcd /usr/local/nginx/logs
awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list
#在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是 把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() {
for i in `cat list`
do
TransCoding="/usr/bin/python TransCoding.py"
JsonDate="curl -s...
日志分割
随着网站的访问量增加，默认情况下Apache的单个日志文件也会越来越大日志文件占用磁盘空间很大查看相关信息不方便两种日志分割工具Apache自带rotatelogs分割工具实现第三方工具cronolog分割rotatelogs分割工具实验（1）安装httpd服务。[root@localhost ~]# yum install httpd -y
........省略安装过程（2）安装完毕后，我们可以查看，日志文件存放目录“/var/log/httpd/”可以看到并没有日志文件。当我们开启服务后再次查...
11.18 Apache用户认证
编辑httpd-vhosts.conf配置文件[root@taoyuan ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf #内容参数如下：
<VirtualHost *:80>DocumentRoot "/data/wwwroot/123.com"ServerName 123.com<Directory /data/wwwroot/123.com>AllowOverride AuthConfigAuthName "123.com user auth"AuthType BasicAuthUserfile /data/.htpasswdrequire valid-user</Directory>ServerAlias www.123.comErrorLog "...
apache与nginx 日志切割web的日志是重中之重，可以通过分析日志得到丰富的网站信息；如果对日志没有很好的处理，比如所有的日志都记录在一个文件上，那日积月累后，那么这个文件会很庞大，也会影响到分析日志的效率，最重要的是单个日志过于庞大，会影响web服务往日志文件写入信息的速度，所以合理的处理和分配日志是非常有必要的；下面就记录一些web日志分割的方法；1、apache 让apache的日志按天分割，即每天生成一个新的日志记...
问题导读：1.Flume传输的数据的基本单位是是什么？2.Event是什么，流向是怎么样的？3.Source:完成对日志数据的收集，分成什么打入Channel中？4.Channel的作用是什么？5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成？6.Flume支那些数据格式？7.对于直接读取文件Source,有两种方式，分别是什么？8.Channel有多种方式有哪些方式？
概述Flume是Cloudera公司的一款高性能、高可能的分布式日...
假设apache日志格式为：118.78.199.98 – -
[09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 –
“http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0;
Windows NT 5.1; SV1; GTB6.3)”问题1：在apachelog中找出访问次数最多的10个IP。awk ‘{print $1}‘ apache_log |sort |uniq -c|sort -nr|head -n 10awk 首先将每条日志中的IP抓出来，如日志格式被自定义过，可以 -F 定义分...
用Apache自带的rotatelogs程序处理apache生成的日志自动截断重新生成，rotatelogs是一个配合Apache管道日志功能使用的简单程序。设置方法如下：编辑Apache的主配置文件，更改内容如下：注释掉如下两行ErrorLog logs/error_logCustomLog logs/access_log common然后添加如下两行 ErrorLog "|/path/to/bin/rotatelogs logs/errorlog.%Y-%m-%d-%H_%M_%S 20M +480"CustomLog "|/path/to/bin/rotatelogs logs/accesslog.%Y-%m-%d-%H_%M_...
1、把IP数量直接输出显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l2、把IP数量输出到文本显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l > ip.txt总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的...
方式一：
nginx cronolog日志分割配置文档，根据下面方法，每分钟分割一次NGINX访问日志。1.nginx日志配置access_log access_log /data/access_log_pipe main;
2.先创建一个命名管道
mkfifo /www/log/access_log_pipe
3.配置cronolog：
nohup cat /data/access_log_pipe | /usr/local/sbin/cronolog /data/log/domain.access_%Y%m%d%H%M.log &
4.启动Nginx
/usr/local/nginx/sbin/nginx注意：
cronolog必须在nginx启动前启动
没有安...
新浪微博虚拟机开发配置步骤及介绍。1、由于后面虚拟机中需要用到Rewrite所以先编辑Apache的conf目录下的httpd.conf文件。（可根据实际需要操作）添加mod_rewrite.so模块支持。去掉下列行中前面的#号。LoadModule rewrite_module modules/mod_rewrite.so2、配置apache支持虚拟机。这一步很重要。# Virtual hosts#Include conf/extra/httpd-vhosts.conf找到 上面相关文本，去掉#Include conf/extra/httpd-vhosts.conf前的#。# Virtu...
分析nginx日志
$s_line = 1.202.39.44 - - [22/Mar/2016:17:12:25 +0800] "POST /auth/login HTTP/1.1" 200 261 "http://www.halfcookie.cn/auth/login" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" "-";
$p = /^(\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3})\s-\s(.*)\s\[(.*)\]\s"(.*)\"\s(\d{3})\s(\d+)\s"(.*)"\s"(.*)"\s\"(.*)\"$/u;
preg_match($p,$s_line,$a_m...
