之前的文章我们介绍了一下 Python 中的正则表达式和与爬虫正则相关的 re 模块，本章我们就利用正则表达式和 re 模块来做一个案例，爬取《糗事百科》的糗事并存储到本地。 我们要爬取的网站链接是 https://www.qiushibaike.com/text/page/1/ 。我们要爬取的是里面的糗事，在之前的文章中我们已经可以爬取整个 url 链接里的 html 内容，那么我们就可以根据爬取到的 html 代码，再通过 re 模块匹配我们想要的内容即可。我们通过调用开...
在之前的文章中我们介绍了一下 requests 模块，今天我们再来看一下 Python 爬虫中的正则表达的使用和 re 模块。 实际上爬虫一共就四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据（按照我们想要的方式存储和使用）我们在之前写的爬虫程序中，都只是获取到了页面的全部内容，也就是只进行到了第2步，但是大部分的东西是我们不关心的，因此...
我们在https://www.cnblogs.com/yinsedeyinse/p/9976280.html中学习了面向对象的编程方法。现在学习他的进阶用法。 1. 静态方法 2. 类方法 3. 属性方法 4. 类的特殊功能方法 静态方法、类方法以及属性方法：我们先定义一个类，在类里定义一个方法 1 class Person(object):2 def __init__(self,name):3 self.name = name4 5 6 def eat(self,food):7 print("%s is eating %s"%(self.name,food))8 9 ...
面向对象是一种编程方式，此编程方式的实现是基于对 类 和 对象 的使用 类 是一个模板，模板中包装了多个“函数”供使用（可以讲多函数中公用的变量封装到对象中） 对象，根据模板创建的实例（即：对象），实例用于调用被包装在类中的函数 面向对象三大特性：封装、继承和多态本篇将详细介绍Python 类的成员、成员修饰符、类的特殊成员。 类的成员 类的成员可以分为三大类：字段、方法和属性注：所有成员中，只有普通字段的内容保...
cookie设置 设置Cookieimport requestscookie = {hero: alix}r_cookie = requests.get(base_url + /cookies, cookies= cookie)print(r_cookie.text)运行结果{"cookies": {"hero": "alix"} } 获取cookie 请求百度首页，然后获取cookie，实现如下：r = requests.get(http://www.baidu.com)print(type(r.cookies))print(r.cookies) for key,value in r.cookies.items():print(key + ":" + value)调用cookies属性即可成功得到cookies，...
1、如何快速入门 Python ？ 我之前给大家说过，速成一门技能是不可能的，你需要花很多时间才能真正的掌握一门技能，但是快速入门是有可能的，而且也是必要的，你需要掌握最少且最必要的知识点，先进门再说。 其实编程，都有最基础的知识点，而且这些知识点都是共通的，什么意思？就是如果知道了这些知识点，那么你学习其他编程语言的时候，会很快就上手。这是因为编程有最少且最必要的知识。 回到 Python 来， Python 的最少且最必...
Python进阶(十)----规范化格式目录, time模块, datatime模块,random模块,collection模块(python额外数据类型) 一丶规范化格式目录 六个目录: #### 对某某项目进行一个标准化的开发,进行规范化. #bin : 启动项目程序的主入口#conf : 项目的配置文件#core : 主要逻辑(业务逻辑)#db : 存放数据()#lib : 辅助文件(存放公共的一些方法)#README : 项目文档说明 ? 二丶time模块(时间模块) 时间的三种方式: ? 1.时间戳 ,用于计时...
一、带参数的装饰器 (必须会) 针对不同的app的验证,比如:天猫和天猫超市,京东商城和京东超市 def wrapper_out(n):print(n)def wrapper(f):def inner(*args,**kwargs):if n == '腾讯':user_input = input('请输入用户名: ').strip()pass_input = input('请输入密码: ').strip()with open('qq.txt',mode='r+',encoding='utf-8') as f1:for i in f1:username,password = i.strip().split('|')if username == user_input and password ...
Python进阶(九)----os,sys,hashlib模块 一丶序列化模块 什么是序列化: ? 将一种数据结构,转换成一个特殊的序列(特殊字符串,用于网络传输,或文件保存) ? 真正的意义:变量从内存中变成可存储或传输的过程称之为序列化 json模块: ? 是所有语言公认的一种序列,最常用,支持的数据结构有限:"list(tuple), int .str ,bool,None,float." ### dumps ,loads : 主要网络传输 , 用于文件的读取. import json# 写入 json文件 dumps() 将内...
HackPython 致力于有趣有价值的编程教学 简介 当我们希望将自己编写好的程序传送给他人使用时，如果对方没有安装 Python 环境就无法使用程序了，我们难以让每个使用者都安装 Python 环境，是否可以在不必安装 Python 环境的前提下使用 Python 程序呢
在之前的文章中我们带入了 opener 方法，接下来我们看一下 opener 应用中的 ProxyHandler 处理器（代理设置）。 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 urllib.request 中通过Pr...
Python进阶(七)----带参数的装饰器,多个装饰器修饰同一个函数和递归简单案例(斐波那契数列) 一丶带参数的装饰器 def wrapper_out(pt):def wrapper(func):def inner(*args,**kwargs):useinput = input('请输入用户名:>>').strip()password = input('请输入密码:>>').strip()with open(pt,encoding='utf-8') as f:for line in f:us,pwd=line.strip().split('|')if useinput==us and password ==pwd:print(f'登录{pt}成功')ret=func()...
起步 前面有讲到复合类型的概念以及一些要素和掌握方法，还有元组的使用。但实际上来说，python实际开发过程中，真正用的多的是列表和字典，所以掌握了它俩，即使你说你不会元组不会集合都没有关系，当然这是不可能的，因为它们（元组、列表、字典、集合）彼此是相通的，基本上都可以举一反三。 在讲述列表、字典、集合之前，先了解下进阶概念。 复合类型中的进阶概念可变对象与不可变对象造成这个现象的原因是对象对内存的引用不是...
之前的文章我们做了一个简单的例子爬取了百度首页的 html，我们用到的是 urlopen 来打开请求，它是一个特殊的opener（也就是模块帮我们构建好的）。但是基本的 urlopen() 方法不支持代理、cookie等其他的HTTP/HTTPS高级功能，所以我们需要用到 Python 的 opener 来自定义我们的请求内容。 具体步骤：使用相关的 Handler处理器 来创建特定功能的处理器对象； 然后通过 build_opener()方法使用这些处理器对象，创建自定义opener对象；...
发现HiBench执行Python监控程序脚本的命令为：UID PID PPID C STIME TTY TIME CMDroot 32614 1 0 16:02 pts/0 00:00:00 python2 /home/cf/app/HiBench-master/bin/functions/monitor.py HadoopSort 32331 /home/cf/app/HiBench-master/report/sort/hadoop/conf/../monitor.log /home/cf/app/Hroot 32621 32331 0 16:02 pts/0 00:00:00 python2 /home/cf/app/HiBench-master/bin/functions/e...