首页 / 日志 / python日志增量抓取实现方法
python日志增量抓取实现方法
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python日志增量抓取实现方法,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1803字,纯文字阅读大概需要3分钟。
内容图文
![python日志增量抓取实现方法](/upload/InfoBanner/zyjiaocheng/430/4634f7b4161341f08c805b411bc46195.jpg)
实例如下所示:
import time import pickle import os import re class LogIncScaner(object): def __init__(self,log_file, reg_ex,seek_file='/tmp/log-inc-scan.seek.temp'): self.log_file = log_file self.reg_ex = reg_ex self.seek_file = seek_file def scan(self): seek = self._get_seek() file_mtime = os.path.getmtime(self.log_file) if file_mtime <= seek['time']: print 'file mtime not change since last scan' seek['time'] = file_mtime self._dump_seek(seek) return [] file_size = os.path.getsize(self.log_file) if file_size <= seek['position']: print 'file size not change since last scan' seek['position'] = file_size self._dump_seek(seek) return [] print 'file changed,start to scan' matchs = [] with open(self.log_file, 'rb') as logfd: logfd.seek(seek['position'],os.SEEK_SET) for match in re.finditer(self.reg_ex, logfd.read()): matchs.append(match) seek = {'time':time.time(),'position': logfd.tell()} print seek self._dump_seek(seek) return matchs def _get_seek(self): seek = {'time':time.time(),'position':0} if os.path.exists(self.seek_file): with open(self.seek_file,'rb') as seekfd: try: seek = pickle.load(seekfd) except: pass print seek return seek def _dump_seek(self, seek): with open(self.seek_file,'wb') as seekfd: pickle.dump(seek,seekfd) def reset_seek(self): self._dump_seek({'time':time.time(),'position':0}) if __name__ == "__main__": scaner = LogIncScaner('/var/log/messages',r'(\w+ \d+ \d+:\d+:\d+) .+?exception') scaner.reset_seek() while True: matchs = scaner.scan() for match in matchs: print 'fond at:' + match.group(1) + ' content:' + match.group(0) time.sleep(5)
相关推荐:
浅谈python日志的配置文件路径问题
详解python日志打印和写入并发实现代码
以上就是python 日志增量抓取实现方法的详细内容,更多请关注Gxl网其它相关文章!
内容总结
以上是互联网集市为您收集整理的python日志增量抓取实现方法全部内容,希望文章能够帮你解决python日志增量抓取实现方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。