在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。 如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？ 这种情况下，每个应用可能需要各自拥有一套“独立”的Python运行环境。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。 首...
1.datetime datetime是Python处理日期和时间的标准库。 获取当前日期和时间 我们先看如何获取当前日期和时间： >>> from datetime import datetime >>> now = datetime.now() # 获取当前datetime >>> print(now) 2015-05-18 16:28:07.198690 >>> print(type(now)) <class 'datetime.datetime'>注意到datetime是模块，datetime模块还包含一个datetime类，通过from datetime import datetime导入的才是datetime这个类。 如果仅导入im...
python中基于网络请求的模块有： urllib模块requests模块 √ 高效简洁 requests模块： 基于网络请求，功能强大，简单便捷，效率极高作用：模拟浏览器发请求 requests使用步骤拆分流程： 指定url对url发起请求获取响应数据持久化存储 环境安装： pip install requests 代码实战： 爬取搜狗首页数据 import requestsurl = 'https://www.sogou.com/'if __name__ == "__main__":#get方法会返回一个响应对象response = requests.get(url...
路飞学城IT_Python爬虫第二章 Requests模块基础 案例2.1 爬取搜狗搜索结果 课程视频链接：https://www.bilibili.com/video/BV1Yh411o7Sz/?p=7 UA检测：服务器会根据访问请求的User-Agent字段判断，访问自己的是什么类型的电脑和什么类型的浏览器。有的服务器会拒绝来自爬虫的访问请求 UA伪装：在调用get方法时把User-Agent字段伪装成浏览器访问时的字段，进而从服务器获取HTML数据 当需要动态选择爬取的URL链接时，可以通过带参调用...
urllib模块发起的POST请求 案例：爬取百度翻译的翻译结果 1.通过浏览器捉包工具，找到POST请求的url 针对ajax页面请求的所对应url获取，需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求，所对应的url 点击clear按钮可以把抓包工具，所抓到请求清空然后填上翻译字条发送ajax请求，红色框住的都是发送的ajax请求抓包工具All按钮代表 显示抓到的所有请求 ，包括GET、POST请求 、基于ajax的POST请求 XHR代表 只显示抓...
Url管理器：用来管理要抓取的url和已抓取的url,防止重复抓取和循环抓取，url管理器的五个最小功能:1、添加url到容器中2、获取一个url3、判断url是否已在容器中4、判断是否还有待爬取的url5、将待爬取的url移到已爬取的url 网页下载器：网页下载器是爬虫的核心组件，它将url对应的互联网网页已html的形式保存在本地。目前有两种网页下载器，1：urllib2(python基础模块) 2:requests（第三库）urllib2三种下载网页的方法：1、简单方式...
前言 昨晚学的有点晚 睡得很晚了，今天早上10点多起来吃完饭看了会电视剧就瞌睡了一直睡到12.50多起来洗漱给我弟去开家长会 开到快4点多才回家。耽搁了不少学习时间，现在就把今天所学的内容总结下吧。 BeautifulSoup模块介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 使用方法流程 1.解...
Python re 模块，提供了 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。 （1）re.match 函数match函数从字符串起始位置匹配一个模式。语法： re.match(pattern, string, flags=0)parttern 匹配模式 string 要匹配的字符串 flag 限定修正符re.i re.g re.m （2）re.search 函数search函数扫描整个字符串并返回第一个成功的匹配。语法：re.search(pattern, string, flags=0)parttern 匹配模式 string 要...
文档：从 pythoneer 到 pythonista 的100个模块 链接：http://note.youdao.com/noteshare?id=2b95bb3651c21af80ca1936f8ecb1e0f&sub=635CA99241664308947C4F3BC1B5DDBF 一、使用步骤 1 # 导包 2 import requests 3 # 确定基础url 4 base_url = https://www.baidu.com 5 # 发送请求，获取响应 6 response = requests.get(base_url) 7 # 处理响应内容二、requests.get()---get请求方法参数详解1、参数 1 requests.get( 2 ...
re是Python的一个第三方库。 为了能更直观的看出re的效果，我们先新建一个HTML网页文件（可直接复制）： index.html <!DOCTYPE html> <html lang="en"> <head><meta charset="UTF-8"><title>Title</title> </head> <body><footer><div><div class="email">Email:re@qq.com</div><div class="tel">手机号:88888888</div></div></footer> </body> </html>OK，然后我们进入主题。 re主要有三个功能：提取、匹配、替换。 1、提取findal...
### 2.requests模块- 概念:一个基于网络请求的模块.作用就是用来模拟浏览器发起请求. - 编码流程:- 指定url- 进行请求的发送- 获取响应数据(爬取到的数据)- 持久化存储- 环境的安装:- pip install requests**requests:**- get/post:- url- data/params:对请求参数的封装- headers:UA伪装- 什么是动态加载的数据:由另一个额外的请求请求到的数据- ajax- js- 如何鉴定页面中是否有动态加载的数据?- 局部搜索- 全局搜索- 对一个陌生网...
数据提取之JSON与JsonPATH JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它是的人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Python2.7中自带了JSON模块，直接import json就可以使用了。 官方博客：http://docs.python.org/library/json.html Json在线解析网站：http://www.json.cn/# JSON json简...
第三章.requests 模块 3.1基本概念什么是requests模块?一种基于网络请求的模块,作用就是用来模拟浏览器发起请求为什么要使用requests模块?因为在使用urllib模块的时候，会有诸多不便之处,总结如下手动处理url编码手动处理post请求参数处理cookie和代理操作繁琐.......如何使用requests模块安装：pip install requests使用流程指定url基于requests模块发起请求获取响应对象中的数据值持久化存储什么是动态加载的数据?由另一个额外的...
介绍：最近在学Python爬虫，在这里对数据解析模块lxml做个学习笔记。lxml、xpath及解析器介绍：lxml是Python的一个解析库，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。xpath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索xml文件/html文件结点关系：父节点(Parent)子节点(Children)同胞节点(Sibling)先辈节点(Ancest...
介绍：最近在学Python爬虫，在这里对数据解析模块bs4做个学习笔记。用途：bs4用于解析xml文档，而html只是xml的一种bs4 官方文档地址：https://www.crummy.com/software/BeautifulSoup/bs4/doc/学习笔记：from bs4 import BeautifulSouphtml_doc = """<html><head><title>The Dormouses story</title></head><body><p class="title"><b>The Dormouses story</b></p><p class="story">Once upon a time there were three little sis...