前段时间有个需求是要求查一段时间的dns上的域名访问次数排行(top100)，没办法，只好慢慢的去解析dns日志呗，正好学习了python，拿来练练手。 1.原始数据分析： 首先看下原始数据文件，即dns日志内容，下面是抽取的几条有代表性的日志，28.21.2x.15 这种中间的x是相应的数字被我抹去了。代码如下: 13-08-30 03:11:34,226 INFO : queries: – |13.28.20.20|config.dengluqi.net||config.34245.com.;127.0.0.1;||A|success|+|–G—- ...
大家一般都用logging日志打印，但logging是线程安全的，多进程也有很多介绍，引入一些文件锁，对logging做好配置，能过支持。但通过测试，发现多进程时还是容易出现重复写入文件或者打印正常漏写入文件的问题。我的日志需求比较简单，能够区分文件，正确的写入日志文件。引入文件锁；日志写入函数封装到一个操作_Logger类中； 日志名称和写入级别封装到一个业务类Logger中。本范例基于python3实现。本范例20个进程并发，分别写入3个...
下面为大家分享一篇python 日志增量抓取实现方法，具有很好的参考价值，希望对大家有所帮助。一起过来看看吧实例如下所示：import time import pickle import os import re class LogIncScaner(object):def __init__(self,log_file, reg_ex,seek_file=/tmp/log-inc-scan.seek.temp):self.log_file = log_fileself.reg_ex = reg_exself.seek_file = seek_filedef scan(self):seek = self._get_seek()file_mtime = os.path.getmtime(...
下面为大家分享一篇python实现log日志的示例代码，具有很好的参考价值，希望对大家有所帮助。一起过来看看吧# coding=utf-8 import logging import os import time LEVELS={debug:logging.DEBUG, info:logging.INFO, warning:logging.WARNING, error:logging.ERROR, critical:logging.CRITICAL,} logger=logging.getLogger() level=default def createFile(filename):path=filename[0:filename.rfind(/)]if not os.path.isdir(...
这篇文章主要介绍了Python记录详细调用堆栈日志的方法,涉及Python调用堆栈日志的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下本文实例讲述了Python记录详细调用堆栈日志的方法。分享给大家供大家参考。具体实现方法如下：import sys import os def detailtrace(info):retStr = ""curindex=0f = sys._getframe()f = f.f_back # first frame is detailtrace, ignore itwhile hasattr(f, "f_code"):co = f.f_coderetStr = ...
这篇文章主要介绍了利用Python中的pandas库进行cdn日志分析的相关资料，文中分享了pandas对cdn日志分析的完整示例代码，然后详细介绍了关于pandas库的相关内容，需要的朋友可以参考借鉴，下面来一起看看吧。前言最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有...
这篇文章主要介绍了利用Python中的pandas库进行cdn日志分析的相关资料，文中分享了pandas对cdn日志分析的完整示例代码，然后详细介绍了关于pandas库的相关内容，需要的朋友可以参考借鉴，下面来一起看看吧。前言最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有...
python又一力作，感受python的强大。用70行代码实现日志分析程序功能介绍：可直接对文本日至进行分组和排序功能，完了输出结果粘贴到excel里就可以直接生成图表，对于排查一些生产环境问题有很大的作用。代码：#encoding=utf-8 from optparse import OptionParser import redef get_args():def get_parser():usage = u"""%prog -f filename -r rule [-d] [-c] 用途：对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意...
受控节点slave.py代码如下:import socketimport reclass Log(object): file_list=[access.log,C:\\access.log] master_ip=192.168.0.103 def __init__(self): s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.bind((,3333)) s.listen(1) while True: conn,addr=s.accept() print addr[0] if addr[0]==self.master_ip: reg=conn.recv...
由于一些原因，需要SAE上站点的日志文件，从SAE上只能按天下载，下载下来手动处理比较蛋疼，尤其是数量很大的时候。还好SAE提供了API可以批量获得日志文件下载地址，刚刚写了python脚本自动下载和合并这些文件 调用API获得下载地址 文档位置在这里 设置自己的应用和下载参数 请求中需要设置的变量如下代码如下: api_url = http://dloadcenter.sae.sina.com.cn/interapi.php? appname = xxxxx from_date = 20140101 to_date = 20140...
本文实例讲述了python操作ssh实现服务器日志下载的方法。分享给大家供大家参考。具体实现方法如下：#coding:utf-8 """ssh操作例子 实现了服务器日志下载2012-08-24yywolf """ import paramiko import time hostname="????" port=22 username="app" password="????" if __name__=="__main__": # paramiko.util.log.log_to_file(paramiko.log)s = paramiko.SSHClient()s.load_system_host_keys()s.set_missing_host_key_policy(para...
本文实例讲述了Python实现监控程序执行时间并将其写入日志的方法。分享给大家供大家参考。具体实现方法如下：# /usr/bin/python # -*- coding:utf-8 -*- from time import time def logged(when):def log(f,*args,**kargs):print called:functions:%sargs: %rkargs: %r % (f,args,kargs)def pre_logged(f):def wrapper(*args,**kargs):log(f,*args,**kargs)return f(*args,**kargs)return wrapperdef post_logged(f):def wrapper(...
本文实例讲述了Python使用logging结合decorator模式实现优化日志输出的方法。分享给大家供大家参考，具体如下： python内置的loging模块非常简便易用, 很适合程序运行日志的输出。 而结合python的装饰器模式，则可实现简明实用的代码。测试代码如下所示:#! /usr/bin/env python2.7 # -*- encoding: utf-8 -*- import logging logging.basicConfig(format=[%(asctime)s] %(message)s, level=logging.INFO) def time_recorder(func):...
维护脚本一例，写得有点乱，只是作为一个实例，演示如何快速利用工具快速达到目的：应用到：shell与python数据交互、数据抓取，编码转换代码如下:#coding:utf-8#!/usr/bin/python程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711 程序说明：应用到：shell与python数据交互、数据抓取，编码转换import osimport jsonimport httplibimport codecs LogFile=/var/log/apache2/access...
本文实例讲述了python实现分析apache和nginx日志文件并输出访客ip列表的方法。分享给大家供大家参考。具体如下： 这里使用python分析apache和nginx日志文件输出访客ip列表ips = {} fh = open("/var/log/nginx/access.log", "r").readlines() for line in fh:ip = line.split(" ")[0]if 6 < len(ip) <=15:ips[ip] = ips.get(ip, 0) + 1 print ips希望本文所述对大家的Python程序设计有所帮助。