前言 WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyt...
01 前言 数据——可以简单理解为人们动作行为的符号表示。信息技术的发展，使得计算机每时每刻记录着人们的数据，人们在计算机面前，早已经是“透明人”。 万物皆在运动，对于数据来说，也是一直在变化的。我们对数据进行分析，就是希望可以从不断变化的数据中发现规律、发现趋势，提炼有价值的内容。 好的数据是一座未被发掘的金矿，而好的数据分析报告，可以帮助经营管理者明确战略，不断优化和调整策略，也可以帮助产品经理更好...
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 以下文章来源于大话数据分析，作者：尚天强 网站的日志数据记录了所有Web对服务器的访问活动，本节通过Python第三方库解析网站日志，利用pandas对网站日志数据进行预处理，并用可视化技术，对于网站日志数据进行分析。 PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取 可以免费领...
因为MySQL数据库增删改突然暴增，需要查询是那些表的操作特别频繁，写了一个用来分析bin-log的小工具，找出增删改查的表，并按照操作次数降序排列，以下是代码： #for mysql5.5 binlog import os,sys #python binlog.py binglog-0001 ‘2013-07-01 00:00:00‘ ‘2013-07-02 00:00:00‘ def log_w(type,text): logfile = "%s.txt" % (type,text) #now = time.strftime("%Y-%m-%d %H:%M:%S") tt = str(text) + "\n" ...
使用Python 分析Nginx access 日志，根据Nginx日志格式进行分割并存入MySQL数据库。一、Nginx access日志格式如下： 代码如下:$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" #使用的是nginx默认日志格式二、Nginx access 日志内容如下： 代码如下:182.19.31.129 - - [2013-08-13T00:00:01-07:00] "GET /css/anniversary.css HTTP/1...
这两周组里面几位想学习python，于是我们就创建了一个这样的环境和氛围来给大家学习。 昨天在群里，贴了一个需求，就是统计squid访问日志中ip 访问数和url的访问数并排序，不少同学都大体实现了相应的功能，我把我简单实现的贴出来，欢迎拍砖： 日志格式如下：代码如下: %ts.%03tu %6tr %{X-Forwarded-For}>h %Ss/%03Hs %<st %rm %ru %un %Sh/%h" "%{User-Agent}>h" %{Cookie}>h 代码如下: 1372776321.285 0 100.64.19.225 ...
前段时间有个需求是要求查一段时间的dns上的域名访问次数排行(top100)，没办法，只好慢慢的去解析dns日志呗，正好学习了python，拿来练练手。 1.原始数据分析： 首先看下原始数据文件，即dns日志内容，下面是抽取的几条有代表性的日志，28.21.2x.15 这种中间的x是相应的数字被我抹去了。代码如下: 13-08-30 03:11:34,226 INFO : queries: – |13.28.20.20|config.dengluqi.net||config.34245.com.;127.0.0.1;||A|success|+|–G—- ...
这篇文章主要介绍了利用Python中的pandas库进行cdn日志分析的相关资料，文中分享了pandas对cdn日志分析的完整示例代码，然后详细介绍了关于pandas库的相关内容，需要的朋友可以参考借鉴，下面来一起看看吧。前言最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有...
这篇文章主要介绍了利用Python中的pandas库进行cdn日志分析的相关资料，文中分享了pandas对cdn日志分析的完整示例代码，然后详细介绍了关于pandas库的相关内容，需要的朋友可以参考借鉴，下面来一起看看吧。前言最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有...
python脚本log_format main ‘$remote_addr – $remote_user [$time_iso8601] “$request” ‘‘$status $body_bytes_sent “$http_referer” ‘‘”$http_user_agent” “$http_x_forwarded_for” ‘‘ “$upstream_addr” “$upstream_status” “$request_time"`;cat website.access.log| awk ‘{print $(NF)}’ | awk -F “\”” ‘{print $2′}>a.txtpaste -d ” ” website.access.log a.txt > b.txtcat b.txt |awk ‘($NF>...
前言最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有些力不从心，处理时间过长。于是研究了下Python pandas这个数据处理库的使用。一千万行日志，处理完成在40s左右。代码#!/usr/bin/python # -*- coding: utf-8 -*- # sudo pip install pandas __author__ = ...
前言本文的脚本是分析nginx的访问日志， 主要为了检查站点uri的访问次数的，检查的结果会提供给研发人员做参考，因为谈到分析嘛，那肯定要用到正则表达式了，所以请没有接触过正则的小伙伴自行补脑，因为涉及正则的内容，实在没法展开写，正则的内容太过庞大，根本不是一篇两篇能写清楚的。开始前，我们先看看要分析的日志结构：127.0.0.1 - - [19/Jun/2012:09:16:22 +0100] "GET /GO.jpg HTTP/1.1" 499 0 "http://domain.com/htm_...
前言WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能update WAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用pyth...
python又一力作，感受python的强大。用70行代码实现日志分析程序功能介绍：可直接对文本日至进行分组和排序功能，完了输出结果粘贴到excel里就可以直接生成图表，对于排查一些生产环境问题有很大的作用。代码：#encoding=utf-8 from optparse import OptionParser import redef get_args():def get_parser():usage = u"""%prog -f filename -r rule [-d] [-c] 用途：对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意...
由于N种原因，一个分析入侵日志的任务落在了我身上，1G的日志，怎么去快速分析呢？？刺总说可以搞个脚本解析入库，再到数据库分析。。。算了，那就蛋疼了，直接码个脚本把有问题的日志拿出来分析吧。于是就有了这个小脚本。至于怎么用就要看你自己了，哈哈，比如查到sql注入语句，然后看到IP，就可以改下脚本，用IP为特征取出日志，分析入侵过程。速度很快哦，我那破机器，跑1G日志文件也就几秒钟的啦。在工作中写程序完成任务是很...