首页 / 日志 / nginx日志数据提取nginxapachenginxphpnginxrewrite

nginx日志数据提取nginxapachenginxphpnginxrewrite

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了nginx日志数据提取nginxapachenginxphpnginxrewrite，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2523字，纯文字阅读大概需要4分钟。

内容图文

nginx日志数据提取nginxapachenginxphpnginxrewrite

分析nginx日志
$s_line = '1.202.39.44 - - [22/Mar/2016:17:12:25 +0800] "POST /auth/login HTTP/1.1" 200 261 "http://www.halfcookie.cn/auth/login" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" "-"';
$p = '/^(\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3})\s-\s(.*)\s\[(.*)\]\s"(.*)\"\s(\d{3})\s(\d+)\s"(.*)"\s"(.*)"\s\"(.*)\"$/u';
preg_match($p,$s_line,$a_match);
var_dump($a_match);
array(13) {
  [0] =>
  string(233) "1.202.39.44 - - [22/Mar/2016:17:12:25 +0800] "POST /auth/login HTTP/1.1" 200 261 "http://www.halfcookie.cn/auth/login" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" "-""
  'ip' =>
  string(11) "1.202.39.44"
  [1] =>
  string(11) "1.202.39.44"
  [2] =>
  string(1) "-"
  'time' =>
  string(26) "22/Mar/2016:17:12:25 +0800"
  [3] =>
  string(26) "22/Mar/2016:17:12:25 +0800"
  [4] =>
  string(25) "POST /auth/login HTTP/1.1"
  'status' =>
  string(3) "200"
  [5] =>
  string(3) "200"
  [6] =>
  string(3) "261"
  [7] =>
  string(35) "http://www.halfcookie.cn/auth/login"
  [8] =>
  string(108) "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"
  [9] =>
  string(1) "-"
}

$s_line = '1.202.39.44 - - [22/Mar/2016:17:12:25 +0800] "POST /auth/login HTTP/1.1" 200 261 "http://www.halfcookie.cn/auth/login" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" "-"';
$p = '/^(?P\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3})\s-\s(.*)\s\[(?P.*)\]\s"(.*)"\s(?P\d{3})\s(\d+)\s\"(.*)\"\s\"(.*)"\s\"(.*)"/u';
preg_match($p,$s_line,$a_match);
var_dump($a_match);
array(13) {
  [0] =>
  string(233) "1.202.39.44 - - [22/Mar/2016:17:12:25 +0800] "POST /auth/login HTTP/1.1" 200 261 "http://www.halfcookie.cn/auth/login" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" "-""
  'ip' =>
  string(11) "1.202.39.44"
  [1] =>
  string(11) "1.202.39.44"
  [2] =>
  string(1) "-"
  'time' =>
  string(26) "22/Mar/2016:17:12:25 +0800"
  [3] =>
  string(26) "22/Mar/2016:17:12:25 +0800"
  [4] =>
  string(25) "POST /auth/login HTTP/1.1"
  'status' =>
  string(3) "200"
  [5] =>
  string(3) "200"
  [6] =>
  string(3) "261"
  [7] =>
  string(35) "http://www.halfcookie.cn/auth/login"
  [8] =>
  string(108) "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"
  [9] =>
  string(1) "-"
}

解析：
?P :命名捕获组
nginx配置日志文档。。
https://www.ttlsa.com/linux/the-nginx-log-configuration/

以上就介绍了nginx日志数据提取，包括了nginx方面的内容，希望对PHP教程有兴趣的朋友有所帮助。

内容总结

以上是互联网集市为您收集整理的nginx日志数据提取nginxapachenginxphpnginxrewrite全部内容，希望文章能够帮你解决nginx日志数据提取nginxapachenginxphpnginxrewrite所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/158642.html

来源：【匿名】

【上一篇】phpyii调试sql的日志yii2.0视频教程yii2.0yii官【下一篇】php错误日志怎么看

更多 ►

【nginx日志数据提取nginxapachenginxphpnginxrewrite】教程文章相关的互联网学习教程文章

Apache Flume 1.6.0 发布，日志服务器【图】

Apache Flume 1.6.0 发布，此版本现已提供下载：http://flume.apache.org/download.html 更新日志和文档：http://flume.apache.org/releases/1.6.0.html Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。相关链接Apache Flume 的详细介绍：请点这里Apache Flume 的下载地址：请点这里原文：http://www.cnblogs.com/qq458978/p/587...

nginx或apache日志清洗脚本

#!/bin/shzcat www_access_log.2013-12-31.gz|awk -F"\"" ‘BEGIN{ OFS="@" #输出字段之间的分隔符，用别的也可以}{ ip="" ips="" logtime="" if(match($1,/([^-]+[0-9]|-) [^ ]+ ([^ ]+ )?\[[^:]+:([^ ]+)/,f)) { ip=f[1] logtime="2013-12-30 "f[3] } ip=ip=="-"?"":ip if(length(ip)>15) { #ips=ip;ip="...

phpstudy----------------------------开启apache日志并且按照日期划分创建。【图】

1、CustomLog "|bin/rotatelogs.exe logs/access_%Y_%m_%d.log 86400 480" combined这里修改成上图所示，然后重启apache.重启以后如下图：他会打开一个命令行窗口一直守护着，关不掉的。而且你也可以把带日期的日志文件删掉，然后关掉这个命令窗口。命令窗口关掉以后会自己再启动起来，这时候再访问就会生成新的日志文件。原文：http://www.cnblogs.com/wamptao/p/7267014.html

Apache开源日志框架Log4j配置指南【代码】【图】

Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最方便的就是，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。本篇指南主要介绍Log4j 1.x版本的配置与使用Log4j最新版下载...

如何从apache/nginx日志分析ip的来源并写入到数据库【代码】

如题，分析首先最简单的取出ipcd /usr/local/nginx/logs awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list #在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() { for i in `cat list` do TransCoding="/usr/bin/python TransCoding.py" JsonDate="curl -s...

Apache服务的日志分割与日志分析【代码】【图】

日志分割随着网站的访问量增加，默认情况下Apache的单个日志文件也会越来越大日志文件占用磁盘空间很大查看相关信息不方便两种日志分割工具Apache自带rotatelogs分割工具实现第三方工具cronolog分割rotatelogs分割工具实验（1）安装httpd服务。[root@localhost ~]# yum install httpd -y ........省略安装过程（2）安装完毕后，我们可以查看，日志文件存放目录“/var/log/httpd/”可以看到并没有日志文件。当我们开启服务后再次查...

Apache用户认证、域名跳转、Apache访问日志【代码】【图】

11.18 Apache用户认证编辑httpd-vhosts.conf配置文件[root@taoyuan ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf #内容参数如下： <VirtualHost *:80>DocumentRoot "/data/wwwroot/123.com"ServerName 123.com<Directory /data/wwwroot/123.com>AllowOverride AuthConfigAuthName "123.com user auth"AuthType BasicAuthUserfile /data/.htpasswdrequire valid-user</Directory>ServerAlias www.123.comErrorLog "...

apache与nginx 日志切割【代码】

apache与nginx 日志切割web的日志是重中之重，可以通过分析日志得到丰富的网站信息；如果对日志没有很好的处理，比如所有的日志都记录在一个文件上，那日积月累后，那么这个文件会很庞大，也会影响到分析日志的效率，最重要的是单个日志过于庞大，会影响web服务往日志文件写入信息的速度，所以合理的处理和分配日志是非常有必要的；下面就记录一些web日志分割的方法；1、apache 让apache的日志按天分割，即每天生成一个新的日志记...

分布式日志收集系统Apache Flume的设计详细介绍【图】

问题导读：1.Flume传输的数据的基本单位是是什么？2.Event是什么，流向是怎么样的？3.Source:完成对日志数据的收集，分成什么打入Channel中？4.Channel的作用是什么？5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成？6.Flume支那些数据格式？7.对于直接读取文件Source,有两种方式，分别是什么？8.Channel有多种方式有哪些方式？概述Flume是Cloudera公司的一款高性能、高可能的分布式日...

Linux下apache日志分析与状态查看方法

假设apache日志格式为：118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)”问题1：在apachelog中找出访问次数最多的10个IP。awk ‘{print $1}‘ apache_log |sort |uniq -c|sort -nr|head -n 10awk 首先将每条日志中的IP抓出来，如日志格式被自定义过，可以 -F 定义分...

Apache自带的rotatelogs实现日志轮转

用Apache自带的rotatelogs程序处理apache生成的日志自动截断重新生成，rotatelogs是一个配合Apache管道日志功能使用的简单程序。设置方法如下：编辑Apache的主配置文件，更改内容如下：注释掉如下两行ErrorLog logs/error_logCustomLog logs/access_log common然后添加如下两行 ErrorLog "|/path/to/bin/rotatelogs logs/errorlog.%Y-%m-%d-%H_%M_%S 20M +480"CustomLog "|/path/to/bin/rotatelogs logs/accesslog.%Y-%m-%d-%H_%M_...

统计Apache或Nginx访问日志里的独立IP访问数量的Shell【代码】

1、把IP数量直接输出显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l2、把IP数量输出到文本显示：cat access_log_2011_06_26.log |awk ‘{print $1}’|uniq -c|wc -l > ip.txt总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的...

Nginx常用日志分割方法nginxapachenginxphpnginxrewrite

方式一： nginx cronolog日志分割配置文档，根据下面方法，每分钟分割一次NGINX访问日志。1.nginx日志配置access_log access_log /data/access_log_pipe main; 2.先创建一个命名管道 mkfifo /www/log/access_log_pipe 3.配置cronolog： nohup cat /data/access_log_pipe | /usr/local/sbin/cronolog /data/log/domain.access_%Y%m%d%H%M.log & 4.启动Nginx /usr/local/nginx/sbin/nginx注意： cronolog必须在nginx启动前启动没有安...

Apache服务器中配置虚拟机的方法apache手册apache教程apache日志

新浪微博虚拟机开发配置步骤及介绍。1、由于后面虚拟机中需要用到Rewrite所以先编辑Apache的conf目录下的httpd.conf文件。（可根据实际需要操作）添加mod_rewrite.so模块支持。去掉下列行中前面的#号。LoadModule rewrite_module modules/mod_rewrite.so2、配置apache支持虚拟机。这一步很重要。# Virtual hosts#Include conf/extra/httpd-vhosts.conf找到上面相关文本，去掉#Include conf/extra/httpd-vhosts.conf前的#。# Virtu...