1 日志采集概述 1 日志采集流程生产过程中会产生大量的系统日志，应用程序日志，安全日志等等日志，通过对日志的分析可以了解服务器的负载，健康状况，可以分析客户的分布情况，客户的行为，甚至于这些分析可以做出预测一般采集流程日志产出---采集 (logstash,flume,scribe) --- 存储---分析---存储(数据库、NoSQL)---可视化 2 半结构化数据日志是半结构化数据，是有组织的，有格式的数据，可以分割成行和列，就可以当做表理解和...
#需求： #1. 每分钟监控服务器日志，每分钟请求超过200次，加入黑名单# 编写思路 # 1. 读文件，获取每行的内容 open readlines # 178.210.90.90 - - [04/Jun/2017:03:44:13 +0800] #2. 找到IP地址，按照空格分割字符串，取第一个元素 split #3. 把IP存到字典里面，每个IP出现一次，IP次数就加1 # {ip1:1,ip2:2,ip3:1} # [178.210.90.90,178.210.90.90,178.210.90.90] #4. 判断IP次数是否大于200，加入黑名单import time point=0 wh...
1 2 写一个删除日志的程序，删除5天前或为空的日志，不包括当天的3 1.删除5天前的日志文件4 2.删除为空的日志文件5 6 import os7 import time8 9 def delete_logs_file():#清理日志 10 for cur_dir,dirs,files in os.walk(logs): 11 print(cur_dir,dirs,files) 12 if files:#当文件列表不为空是，开始删除 13 for file_name in files: 14 file_time = get_filename_time(file_nam...
三次握手、四次挥手图示意图基于TCP开发一款远程cmd程序 # server.pyimport socket import subprocessserver = socket.socket()# 设置服务端IP和端口 server.bind(('127.0.0.1', 8888) )# 半连接池 server.listen(5)while True:# 等待客户端连接conn, addr = server.accept()print(addr)while True:try:# 接收客户端数据cmd = conn.recv(1024).decode('gbk')print(cmd)res = subprocess.Popen(cmd, shell=True, stdout=subprocess....
01 内容回顾可迭代对象：可以更新迭代的实实在在的值内部含有 '__iter__'方法的。str list tuple dict set range优点：操作方法多，操作灵活，直观缺点：占用内存。迭代器：可更新迭代的一个工具（数据结构）。内部含有 '__iter__' '__next__'方法的文件句柄优点：节省内存。惰性机制。缺点：不直观，速度相对慢，操作方法单一，一条路走到黑。格式化输出。函数名的应用。02 练习 # 1.请写出下列代码的执行结果：? # 例一：...
python基础练习题:语法错误:数组函数【难度:1级】: 我有一个愚蠢的错误实际上花了我15分钟…因为我不能复制和粘贴我的代码,享受这个问题的设计重新创建. 找到这个错误后,我觉得我必须与世界分享它. 编程目标: from functools import partial class Foo(object):def __init__(self):self.func = intself.arr_of_funcs = [ partial(int, base=2) partial(int, base=8) ]def convert(self, num, base):r...
利用python的list 与 字典 分别实现： 要求把all_nums平均分成两份，统计前半部分数据中有哪些数字出现在后半部分中，并输出，数字不能重复。 也就是说：假如all_nums = [1,3,3,1,2,3]，那最终的输出结果为[1,3]，而不是[1,3,3] list实现： # ecoding=utf-8import random import time# 生成一个长度为100000的随机list def gen_list():return [random.randint(0, 6000) for i in range(100000)]# 要求这个函数对all_nums进行统计，...
Python视频教程讲解装饰器推荐免费：Python视频教程装饰器概念装饰器，说白了，就是用来装饰函数的一个函数。装饰器遵循 开放封闭原则、依赖倒置原则，这两个原则概念，自行百度下，装饰器长啥样def wrapper(f): def inner(*args,**kwargs): ret = f(*args,**kwargs)return retreturn inner上述代码是装饰器的固定格式调用装饰器@wrapper # 简称语法糖 def test():print(1) test()@wrapper是调用装饰器，相比于wrapper(test())，...
Python的前景光明不许要过多赘述了，那么作为新人如何快速上手这门语言呢？废话不多说，今天给大家分享一个极实用的Python爬虫案例。爬取网站美图爬取图片是最常见的python入门项目，不复杂却能很好地熟悉Python语法、掌握爬虫思路。当然有两个点要注意：一、不要侵犯版权，二、要注意营养。思路流程第一步：图集分页，解析后提取图片的下载地址。第二步：获取网址的response，图集分页，解析后提取图片的下载地址。第三步：下载图...
首先说明一下在编写Python脚本时，如何在里面使用中文在脚本的开头可以加上如下代码段：# _*_ coding:utf-8 _*_ 其效果和#coding=utf-8 是一样的下面总结一下在学习Python定义函数时如何传参的问题：1、首先是位置传参以及默认值：定义一个函数func_name，其中形式参数为arg,arg1,arg2,arg3,arg4在这几个参数中arg3和arg4是有默认值的，如果调用函数时只给了三个值，那后面的arg3和arg4就会使用默认值，当给出的参数是...
1、有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？ 2、企业发放的奖金根据利润提成。利润(I)低于或等于10万元时，奖金可提10%；利润高于10万元，低于20万元时，低于10万元的部分按10%提成，高于10万元的部分，可提成7.5%；20万到40万之间时，高于20万元的部分，可提成5%；40万到60万之间时高于40万元的部分，可提成3%；60万到100万之间时，高于60万元的部分，可提成1.5%，高于100万元时，超过100万...
Tuple: 1. __add__1 a = (1,2,3,4,5,6,7,8,9,) 2 b = (10,11,22,33,44,55,66,), 3 c = (110,112,113,114,), 4 result = a.__add__(b) 5 print(result) #(1, 2, 3, 4, 5, 6, 7, 8, 9, (10, 11, 22, 33, 44, 55, 66)) add(b)里面只能加一个参数，否则会报错 6 print(a+b+c) #(1, 2, 3, 4, 5, 6, 7, 8, 9, (10, 11, 22, 33, 44, 55, 66), (110, 112, 113, 114))1 a = (1,2,3,4,5,6,7,8,9,) 2 b = (10...
作业一： 利用*字典*输出目录，可以选择目录进入，可以回退、退出！#conding:utf8menu = {北京:{昌平:{沙河:{昌平妇幼,}},海淀:{海淀一区:{海淀二区},}},} #字典嵌套current_layer = menu #利用此变量来记录当前的层的位置pre_menu = [] ...
下载指定网站上的妹子图片，这里只抓了前100页的图片，可根据需要自己设置页数cat值为图片类型，大家可以自行更改cat值体验一下，有问题留言给我，看到就会解答2 ＝ 大胸妹3 ＝ 美腿控4 ＝ 有颜值5 ＝ 大杂烩6 ＝ 小翘臀import requests import re import time from bs4 import BeautifulSoupcat =2 img = http://www.dbmeinv.com/dbgroup/show.htm?cid=+ cat end = /dbgroup/show.htm?cid=+ cat + &pager_offset=100 urls = [ ] d...
#!/usr/bin/env python # -*- coding:utf8 -*- w_sex = "女" m_sex = "男" w_age = 23 m_age = 25 sex_input = input("请输入您的性别:").strip() age_input = int(input("请输入您的年龄:")) if sex_input == w_sex and age_input >= w_age: print ("您的信息如下:\n性别:%s\n年龄:%s\n您属于晚婚年龄" %(sex_input,age_input)) elif sex_input == m_sex and age_input >= m_age: print ("您的信息如下:\n性别:%...