原文BeautifulSoup是一个解析HTML或XML文件的第三方库。HTML或XML文件可以用DOM模型解释。一般包含三种节点：元素节点 - 通常指HTML 或 XML的标签文本节点 - 标签内部的文本内容属性节点 - 每个标签的属性BeautifulSoup库可以对HTML或XML文件解析，查找到一个或多个标签元素，并获取每个标签里的文本和属性。BeautifulSoup很好的特性是它接受一个str或byte对象后会对编码自动检测，并对当前文档编码并转换成Unicode编码。这样可以不...
xpath的多线程爬虫#encoding=utf-8‘‘‘ pool = Pool(4) cpu的核数为4核 results = pool.map(爬取函数，网址列表) ‘‘‘from multiprocessing.dummy import Pool as ThreadPool import requests import timedef getsource(url):html = requests.get(url)urls = []for i in range(1,21):newpage = ‘http://tieba.baidu.com/p/3522395718?pn=‘ + str(i)urls.append(newpage)time1 = time.time() for i in urls:print igetsource(...
1. 文件上传import requestsfiles = {‘file‘: open(‘favicon.ico‘, ‘rb‘)} r = requests.post("http://httpbin.org/post", files=files) print(r.text){"args": {}, "data": "", "files": {"file": "data:application/octet-stream;base64,AAAAAA...="}, "form": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "6665", "Content-Type": "multipart/form-data; boundary=809f80b1...
爬取网页内容的时候，往往网页标签比较复杂，对于这种情况，需要用xpath的starts-with和string(.)功能属性来处理，具体看事例#encoding=utf-8from lxml import etree html1 = ‘‘‘ <!DOCTYPE html> <html> <head lang="en"><meta charset="UTF-8"><title></title> </head> <body><div id="test-1">需要的内容1</div><div id="test-2">需要的内容2</div><div id="testfault">需要的内容3</div> </body> </html> ‘‘‘#提取id属性...
1.安装BeautifulSoup4 easy_install安装方式,easy_install需要提前安装easy_install beautifulsoup4 pip安装方式,pip也需要提前安装.此外PyPi中还有一个名字是 BeautifulSoup 的包,那是 Beautiful Soup3 的发布版本.在这里不建议安装.pip install beautifulsoup4 Debain或ubuntu安装方式apt-get install Python-bs4 你也可以通过源码安装,下载BS4源码Python setup.py install2.小试牛刀# coding=utf-8 @通过BeautifulSoup下载百度...
pymongo import MongoClient client=MongoClient() #这是设置连接默认主机和端口，也可以明确指定主机和端口 from pymongo import MongoClient #client = MongoClient() client = MongoClient(‘localhost‘, 27017) #client = MongoClient(‘mongodb://localhost:27017/‘) #上面几种方法都可以。 获取数据库 如果连接已经成功的话， 那么我们就要开始访问数据库了： 第一种方法是用Client实例的属性方法，也就是.DatabaseName的方...
原文链接https://cuiqingcai.com/2621.html 前言 前面我们介绍了 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath。 参考来源 lxml 用法源自 lxml python 官方文档，更多内容请直接参阅官方文档，本文对其进行翻译与整理。 lxml XPath 语法参考 w3school w3school 视频...
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫 Beautiful Soup，有了它我们可以很方便地提取出 HTML 或 XML 标签中的内容，实在是方便，这一节就让我们一起来感受一下 Beautiful Soup 的强大吧。 1. Beautiful Soup 的简介 简单来说，Beautiful Soup 是 python 的一个...
注：Python 版本依然基于 2.7前言之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。官方文档以下内容大多来自于官方文档，本文进行了一些修改和总结。要了解更多可以参考官方文档http://docs.python-requests.org/en/master/安装利用 pip 安装...
1. 伪装自己 有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作1.1 设置请求头 其中User-Agent代表用的哪个请求的浏览器 代码如下： from urllib.request import urlopen from urllib.request import Requesturl = 'http://www.server.com/login' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } re...
应用场景： 01：去爬虫微信公众号文章，已知requests的执行方式实际就是执行里面request方法， 我们进行重写request方法的init，加入我们需要的字段：如 callback --获取response执行回调函数 need_proxy --是否需要代理fail_time --执行get获取url的失败次数 timeout = 10 from requests import Request TIMEOUT = 10 class WeixinRequest(Request):def __init__(self,url,callback,method=GET,headers=None,need_proxy...
原文链接：https://www.cnblogs.com/mzc1997/p/7813801.htmlrequests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 pip install requests 安装完成后import一下，正常则说明可以开始使用了。 基本用法： requests.get()用于请求目标网站，类型是一个HTTPresponse类型import requestsresponse = requests.get(http://www.baidu.com) print(response.status_code) # 打印状态码...
这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候，所以从这里我们可以知道下载中间件是介于Scrapy的request/response处理的钩子，用于修改Scrapy request和response。编写自己的下载器中间件 编写下载器中间件，需要定义以下一个或者多个方法的python类 为了演示这里的中间件的使用方法，这里创建一个项目作为学习，这...
Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。 XPath选择器 常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100个的内建函数。下面为常用的方法nodeName 选取此节点的所有节点 / ...
Spider类定义了如何爬去某个网站，包括爬取的动作以及如何从网页内容中提取结构化的数据，总的来说spider就是定义爬取的动作以及分析某个网页 工作流程分析以初始的URL初始化Request，并设置回调函数，当该request下载完毕并返回时，将生成response，并作为参数传给回调函数. spider中初始的requesst是通过start_requests()来获取的。start_requests()获取 start_urls中的URL，并以parse以回调函数生成Request 在回调函数内分析返...