python又一力作，感受python的强大。用70行代码实现日志分析程序功能介绍：可直接对文本日至进行分组和排序功能，完了输出结果粘贴到excel里就可以直接生成图表，对于排查一些生产环境问题有很大的作用。代码：#encoding=utf-8 from optparse import OptionParser import redef get_args():def get_parser():usage = u"""%prog -f filename -r rule [-d] [-c] 用途：对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意...
受控节点slave.py代码如下:import socketimport reclass Log(object): file_list=[access.log,C:\\access.log] master_ip=192.168.0.103 def __init__(self): s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.bind((,3333)) s.listen(1) while True: conn,addr=s.accept() print addr[0] if addr[0]==self.master_ip: reg=conn.recv...
由于一些原因，需要SAE上站点的日志文件，从SAE上只能按天下载，下载下来手动处理比较蛋疼，尤其是数量很大的时候。还好SAE提供了API可以批量获得日志文件下载地址，刚刚写了python脚本自动下载和合并这些文件 调用API获得下载地址 文档位置在这里 设置自己的应用和下载参数 请求中需要设置的变量如下代码如下: api_url = http://dloadcenter.sae.sina.com.cn/interapi.php? appname = xxxxx from_date = 20140101 to_date = 20140...
本文实例讲述了python操作ssh实现服务器日志下载的方法。分享给大家供大家参考。具体实现方法如下：#coding:utf-8 """ssh操作例子 实现了服务器日志下载2012-08-24yywolf """ import paramiko import time hostname="????" port=22 username="app" password="????" if __name__=="__main__": # paramiko.util.log.log_to_file(paramiko.log)s = paramiko.SSHClient()s.load_system_host_keys()s.set_missing_host_key_policy(para...
本文实例讲述了Python实现监控程序执行时间并将其写入日志的方法。分享给大家供大家参考。具体实现方法如下：# /usr/bin/python # -*- coding:utf-8 -*- from time import time def logged(when):def log(f,*args,**kargs):print called:functions:%sargs: %rkargs: %r % (f,args,kargs)def pre_logged(f):def wrapper(*args,**kargs):log(f,*args,**kargs)return f(*args,**kargs)return wrapperdef post_logged(f):def wrapper(...
本文实例讲述了Python使用logging结合decorator模式实现优化日志输出的方法。分享给大家供大家参考，具体如下： python内置的loging模块非常简便易用, 很适合程序运行日志的输出。 而结合python的装饰器模式，则可实现简明实用的代码。测试代码如下所示:#! /usr/bin/env python2.7 # -*- encoding: utf-8 -*- import logging logging.basicConfig(format=[%(asctime)s] %(message)s, level=logging.INFO) def time_recorder(func):...
维护脚本一例，写得有点乱，只是作为一个实例，演示如何快速利用工具快速达到目的：应用到：shell与python数据交互、数据抓取，编码转换代码如下:#coding:utf-8#!/usr/bin/python程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711 程序说明：应用到：shell与python数据交互、数据抓取，编码转换import osimport jsonimport httplibimport codecs LogFile=/var/log/apache2/access...
本文实例讲述了python实现分析apache和nginx日志文件并输出访客ip列表的方法。分享给大家供大家参考。具体如下： 这里使用python分析apache和nginx日志文件输出访客ip列表ips = {} fh = open("/var/log/nginx/access.log", "r").readlines() for line in fh:ip = line.split(" ")[0]if 6 < len(ip) <=15:ips[ip] = ips.get(ip, 0) + 1 print ips希望本文所述对大家的Python程序设计有所帮助。
在Android软件开发中，增加日志的作用很重要，便于我们了解程序的执行情况和数据。Eclipse开发工具会提供了可视化的工具，但是还是感觉终端效率会高一些，于是自己写了一个python的脚本来通过包名来过滤某一程序的日志。 原理 通过包名得到对应的进程ID（可能多个），然后使用adb logcat 过滤进程ID即可得到对应程序的日志。 源码代码如下: #!/usr/bin/env python #coding:utf-8 #This script is aimed to grep logs by applicatio...
文章目录 使用阿里云的SLB与日志服务的Python sdk实现自动封禁恶意访问用户IP使用阿里云的SLB与日志服务的Python sdk实现自动封禁恶意访问用户IP 场景说明： 使用阿里云的SLB作为所有服务的网关流量入口，且该SLB 开启访问控制黑名单功能与日志收集到阿里云日志服务的功能。 解决问题 出现很大一批不太正常访问用户IP，在日志服务中心看到基本都是同一个IP访问，状态码基本都是4xx，因此需要开发一个可以在自动封禁IP与指定时间外自...
（本文已不再同步更新，最新代码请见github）日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。目前，开源的ELK系统是成熟且功能强大的选择。但是部署及学习成本亦然不低，这里我实现了一个方法上相对简单（但准确度和效率是有保证的）的实现。另外该脚本的侧重点不是通常的PV，UV等展示，而是短期内（如三天历史or一周历史）提供细粒度的异常和性能分析。 先说一下我想实现这个功能的驱动力（痛点）吧：我们有不少站...
本文实例讲述了python使用urllib2实现发送带cookie的请求。分享给大家供大家参考。具体实现方法如下：import urllib2 opener = urllib2.build_opener() opener.addheaders.append((Cookie,cookiename=cookievalue)) f = opener.open(http://example.com/)希望本文所述对大家的Python程序设计有所帮助。
计数器(Counter)是一个非常常用的功能组件，这篇blog以未读消息数为例，介绍了在 Django中实现一个高性能计数器的基本要点。 故事的开始：.count() 假设你有一个Notification Model类，保存的主要是所有的站内通知：代码如下: class Notification(models.Model):"""一个简化过的Notification类，拥有三个字段：- `user_id`: 消息所有人的用户ID- `has_readed`: 表示消息是否已读"""user_id = models.IntegerField(db_index=True)ha...
【unix域套接口】 或 【本地套接口】，它用于位于同一台机器（操作系统）的进程间通信。它已经被纳入POSIX Operating Systems标准。它支持以下三种方式数据传输：（1） 可靠的字节流传输（SOCK_STREAM, 对应TCP）；（2） 无序、不可靠的数据包传输（SOCK_DGRAM，对应UDP）。（3）有序、可靠的数据包传输（SOCK_SEQPACKET）原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的I...
我们参考C源码的逻辑，试着用python去模拟一下大整数的实现，这里 只实现了加减法的操作。 （感谢作者的专栏，收获很大，参考 慕课网：《Python 源码深度剖析》） （1）类： Int32() 这是设计出来的，用来模仿 int类型 4字节的整形数据。定义了加减乘除4个基本运算利用数据描述器，对数据进行限制。最大的取值只有 -2 **31 到 2 **31 -1当运算结果大于 这个范围，便会抛出异常，提示你 整数溢出提供一个转换函数，当结果取值大时，...