如题，分析首先最简单的取出ipcd /usr/local/nginx/logs awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list #在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是 把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() { for i in `cat list` do TransCoding="/usr/bin/python TransCoding.py" JsonDate="curl -s...
日志分割 随着网站的访问量增加，默认情况下Apache的单个日志文件也会越来越大日志文件占用磁盘空间很大查看相关信息不方便两种日志分割工具Apache自带rotatelogs分割工具实现第三方工具cronolog分割rotatelogs分割工具实验（1）安装httpd服务。[root@localhost ~]# yum install httpd -y ........省略安装过程（2）安装完毕后，我们可以查看，日志文件存放目录“/var/log/httpd/”可以看到并没有日志文件。当我们开启服务后再次查...
11.18 Apache用户认证 编辑httpd-vhosts.conf配置文件[root@taoyuan ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf #内容参数如下： <VirtualHost *:80>DocumentRoot "/data/wwwroot/123.com"ServerName 123.com<Directory /data/wwwroot/123.com>AllowOverride AuthConfigAuthName "123.com user auth"AuthType BasicAuthUserfile /data/.htpasswdrequire valid-user</Directory>ServerAlias www.123.comErrorLog "...
apache与nginx 日志切割web的日志是重中之重，可以通过分析日志得到丰富的网站信息；如果对日志没有很好的处理，比如所有的日志都记录在一个文件上，那日积月累后，那么这个文件会很庞大，也会影响到分析日志的效率，最重要的是单个日志过于庞大，会影响web服务往日志文件写入信息的速度，所以合理的处理和分配日志是非常有必要的；下面就记录一些web日志分割的方法；1、apache 让apache的日志按天分割，即每天生成一个新的日志记...
问题导读：1.Flume传输的数据的基本单位是是什么？2.Event是什么，流向是怎么样的？3.Source:完成对日志数据的收集，分成什么打入Channel中？4.Channel的作用是什么？5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成？6.Flume支那些数据格式？7.对于直接读取文件Source,有两种方式，分别是什么？8.Channel有多种方式有哪些方式？ 概述Flume是Cloudera公司的一款高性能、高可能的分布式日...
假设apache日志格式为：118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)”问题1：在apachelog中找出访问次数最多的10个IP。awk ‘{print $1}‘ apache_log |sort |uniq -c|sort -nr|head -n 10awk 首先将每条日志中的IP抓出来，如日志格式被自定义过，可以 -F 定义分...
用Apache自带的rotatelogs程序处理apache生成的日志自动截断重新生成，rotatelogs是一个配合Apache管道日志功能使用的简单程序。设置方法如下：编辑Apache的主配置文件，更改内容如下：注释掉如下两行ErrorLog logs/error_logCustomLog logs/access_log common然后添加如下两行 ErrorLog "|/path/to/bin/rotatelogs logs/errorlog.%Y-%m-%d-%H_%M_%S 20M +480"CustomLog "|/path/to/bin/rotatelogs logs/accesslog.%Y-%m-%d-%H_%M_...
1、把IP数量直接输出显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l2、把IP数量输出到文本显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l > ip.txt总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的...
方式一： nginx cronolog日志分割配置文档，根据下面方法，每分钟分割一次NGINX访问日志。1.nginx日志配置access_log access_log /data/access_log_pipe main; 2.先创建一个命名管道 mkfifo /www/log/access_log_pipe 3.配置cronolog： nohup cat /data/access_log_pipe | /usr/local/sbin/cronolog /data/log/domain.access_%Y%m%d%H%M.log & 4.启动Nginx /usr/local/nginx/sbin/nginx注意： cronolog必须在nginx启动前启动 没有安...
新浪微博虚拟机开发配置步骤及介绍。1、由于后面虚拟机中需要用到Rewrite所以先编辑Apache的conf目录下的httpd.conf文件。（可根据实际需要操作）添加mod_rewrite.so模块支持。去掉下列行中前面的#号。LoadModule rewrite_module modules/mod_rewrite.so2、配置apache支持虚拟机。这一步很重要。# Virtual hosts#Include conf/extra/httpd-vhosts.conf找到 上面相关文本，去掉#Include conf/extra/httpd-vhosts.conf前的#。# Virtu...
分析nginx日志 $s_line = 1.202.39.44 - - [22/Mar/2016:17:12:25 +0800] "POST /auth/login HTTP/1.1" 200 261 "http://www.halfcookie.cn/auth/login" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" "-"; $p = /^(\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3})\s-\s(.*)\s\[(.*)\]\s"(.*)\"\s(\d{3})\s(\d+)\s"(.*)"\s"(.*)"\s\"(.*)\"$/u; preg_match($p,$s_line,$a_m...
nginx默认的日志是统一写到 安装目录的log下的 ，访问日志是 access.log，错误日志是error.log 而且并没有提供一个可配置的地方，对于生产环境，日志都集中在一块儿，没过几天日志文件就可以大到几个G，只能是使用操作系统的定时任务，自己写脚本定时执行，将log日志进行切割。参考网上前辈的文章，自己写了一个脚本出来。代码如下：#定义日志的源路径，即nginx的默认log路径source_log_path=/usr/local/nginx/logs #定义保存后的路...
教大家如何用php代码提取出apache日志中日期的方法，代码很简单，适合初学的朋友参考。以下代码可用于匹配apache日志中的日期，然后得到类似：17 Dec 06 03:26:49 -0500的返回结果。 php得到apache日志中的日期，如下：
为何选择Stackless？ http://www.stackless.com Stackless可以简单的认为是Python一个增强版，最吸引眼球的非“微线程”莫属。微线程是轻量级的线程，与线程相比切换消耗的资源更小，线程内共享数据更加便捷。相比多线程代码更加简洁和可读。此项目是由EVE O为何选择Stackless？ http://www.stackless.com Stackless可以简单的认为是Python一个增强版，最吸引眼球的非“微线程”莫属。微线程是轻量级的线程，与线程相比切换消耗的资...
Apache bitsCN.comapache访问日志access.log的解析以及如何将其导入mysql access.log导入mysqlload data local inf首先，我们对apache访问日志进行一个解读， 220.181.108.92 - - [22/Aug/2013:23:59:59 +0800] "GET /min/f=/media/js/jquery-1.7.2.media/js/global_interaction.js&201308221836 HTTP/1.1" 200 70550 "http://adfdfs.com.cn1071-2130-1.html" "Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9) Gecko ...