python又一力作,感受python的强大。用70行代码实现日志分析程序功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。代码:#encoding=utf-8 from optparse import OptionParser import redef get_args():def get_parser():usage = u"""%prog -f filename -r rule [-d] [-c] 用途:对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意...
由于N种原因,一个分析入侵日志的任务落在了我身上,1G的日志,怎么去快速分析呢??刺总说可以搞个脚本解析入库,再到数据库分析。。。算了,那就蛋疼了,直接码个脚本把有问题的日志拿出来分析吧。于是就有了这个小脚本。至于怎么用就要看你自己了,哈哈,比如查到sql注入语句,然后看到IP,就可以改下脚本,用IP为特征取出日志,分析入侵过程。速度很快哦,我那破机器,跑1G日志文件也就几秒钟的啦。在工作中写程序完成任务是很...
受控节点slave.py代码如下:import socketimport reclass Log(object): file_list=[access.log,C:\\access.log] master_ip=192.168.0.103 def __init__(self): s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.bind((,3333)) s.listen(1) while True: conn,addr=s.accept() print addr[0] if addr[0]==self.master_ip: reg=conn.recv...
下面为大家分享一篇python+pandas分析nginx日志的实例,具有很好的参考价值,希望对大家有所帮助。一起过来看看吧需求通过分析nginx访问日志,获取每个接口响应时间最大值、最小值、平均值及访问量。实现原理将nginx日志uriuriupstream_response_time字段存放到pandas的dataframe中,然后通过分组、数据统计功能实现。实现1.准备工作#创建日志目录,用于存放日志 mkdir /home/test/python/log/log #创建文件,用于存放从nginx日志中...
#!/usr/bin/env python # coding=utf-8 #------------------------------------------------------ # Name: nginx 日志分析脚本 # Purpose: 此脚本只用来分析nginx的访问日志 # Version: 1.0 # Author: LEO # Created: 2013-05-07 # Modified: 2013-05-07 # Copyright: (c) LEO 2013 #------------------------------------------------------ import sys import time #该类是用来打印格式 class displ...
维护脚本一例,写得有点乱,只是作为一个实例,演示如何快速利用工具快速达到目的:应用到:shell与python数据交互、数据抓取,编码转换代码如下:#coding:utf-8#!/usr/bin/python程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711 程序说明:应用到:shell与python数据交互、数据抓取,编码转换import osimport jsonimport httplibimport codecs LogFile=/var/log/apache2/access...
用git来管理工程的开发,git log是非常有用的‘历史'资料,需求就是来自这里,我们希望能对git log有一个定制性强的过滤。此段脚本就是在完成这种类型的任务。对于一个repo所有branch中的commit,脚本将会把message中存在BUG ID的一类commits给提取整理出来,并提供了额外的search_key, 用于定制过滤。 代码如下:# -*- coding: utf-8 -*-# created by vince67 Feb.2014# nuovince@gmail.com import reimport osimport subprocess d...
本文实例讲述了python实现分析apache和nginx日志文件并输出访客ip列表的方法。分享给大家供大家参考。具体如下: 这里使用python分析apache和nginx日志文件输出访客ip列表ips = {} fh = open("/var/log/nginx/access.log", "r").readlines() for line in fh:ip = line.split(" ")[0]if 6 < len(ip) <=15:ips[ip] = ips.get(ip, 0) + 1 print ips希望本文所述对大家的Python程序设计有所帮助。
#!/usr/bin/env python # coding=utf-8#------------------------------------------------------ # Name: Apache 日志分析脚本 # Purpose: 此脚本只用来分析Apache的访问日志 # Version: 2.0 # Author: LEO # Created: 2013-4-26 # Modified: 2013-5-4 # Copyright: (c) LEO 2013 #------------------------------------------------------import sys import time#该类是用来打印格式 class displayFormat(object...
#!/usr/bin/python # -*- coding:utf-8 -*-import re import sys import time import MySQLdbdef create_table():db=MySQLdb.connect(host="localhost", user="root", passwd="mysql", db="slow_log")cursor=db.cursor()cursor.execute("DROP TABLE IF EXISTS `mysql_slow_log`;")sql="""CREATE TABLE `mysql_slow_log` (`id` int(11) unsigned NOT NULL AUTO_INCREMENT,`IP_HOST` varchar(150) NOT NULL,`Query_time` float(11,6)...
(本文已不再同步更新,最新代码请见github)日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。目前,开源的ELK系统是成熟且功能强大的选择。但是部署及学习成本亦然不低,这里我实现了一个方法上相对简单(但准确度和效率是有保证的)的实现。另外该脚本的侧重点不是通常的PV,UV等展示,而是短期内(如三天历史or一周历史)提供细粒度的异常和性能分析。 先说一下我想实现这个功能的驱动力(痛点)吧:我们有不少站...
把做工程过程中比较好的代码片段做个备份,下面资料是关于python分析apache和nginx日志文件输出访客ip列表的代码。 ips = {}fh = open("/var/log/nginx/access.log", "r").readlines() for line in fh:ip = line.split(" ")[0]if 6 < len(ip) <=15:ips[ip] = ips.get(ip, 0) + 1 print ips
项目情况介绍:基于Python 3.6.6 ,实现对nginx访问的日志分析代码,实现了对日志中code的占比统计和浏览器类型和访问情况统计实现的代码段有:1.编写窗户函数,实现在一定的时间内对数据进行分析2.通过正则表达式对日志进行匹配,加载日志文件,提取出文本里每行的日志信息3.编写消费端代码,即使得提取到的数据能够按照消费端的代码进行处理4.消息分发代码实现,通过queue,将提取的的文本放到队列里,供消费端代码处理项目代码如...
python分析Mysql慢查询。通过Python调用开源分析工具pt-query-digest生成json结果,Python脚本解析json生成html报告。 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/10/12 下午3:00 # @Author : Kionf # @Site : https://kionf.com # @Software: Sublime import subprocess import json import os import re import sys import time from jinja2 import Environment, FileSystemLoader # reload(sys) # s...
上周咳嗽比较厉害,暂停了一周更新,收到很多小伙伴的留言,真是非常感动,非常感谢大家关心和支持,现在吃了几天药,基本好的差不多了,这周咱们接着谈python在运维中的技术实践,今天的脚本是分析nginx的访问日志, 主要为了检查站点uri的访问次数,检查的结果会提供给研发人员做参考,因为谈到分析嘛,那肯定要用到正则表达式了,所以请没有接触过正则的小伙伴自行补脑,因为涉及正则的知识点过于庞大,所以一篇两篇是根本不能写...