一.HTTP协议1.官方概念：HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧......）2.白话概念：HTTP协议就是服务器（Server）和客户端（Client）之间进行数据交互（相互传输数据）的一种形式。我们可以将Server和...
Xpath简介一般来说，使用id、name、class等属性就能对节点进行定位就能解决绝大部分解析需求，但有时候遇到以下情况，使用Xpath就更方便：没有id、name、class等标签的属性或者文本特征不显著标签嵌套层次太复杂Xpath是XMLPath的简介，基于XML树状结构，可以在整个树中寻找锁定目标节点。由于HTML文档本身就是一个标准的XML页面，因此我们可以使用XPath的语法来定位页面元素。Xpath定位方法一、Xpath路径Xpath路径案例定位节点通配...
1、Requsets:最友好的网络爬虫功能库 http://www.python-requests.org/提供了简单易用的类HTTP协议网络爬虫功能 支持连接池、SSL，Cookies，HTTP(S)代理等 Python最主要的页面级网络爬虫功能库import requests r=requests.get('http://api.github.com/user',auth=('user','pass')) r.status_code r.headers['content-type'] r.encoding r.text2、Scrapy:优秀的网络爬虫框架 http://scrapy.org体哦概念股了构建网络爬虫系统的框架功...
一、网络爬虫基本介绍1. 什么是网络爬虫??网络爬虫（又被称为网页蜘蛛，网络机器人，在社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。2. 常见问题介绍爬虫可以爬取ajax信息么？??网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器，或者分析ajax的http请求，自己生成ajax请求的url，获取返回的...
爬虫介绍引入 之前在授课过程中，好多同学都问过我这样的一个问题：为什么要学习爬虫，学习爬虫能够为我们以后的发展带来那些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的，无论是从实际的应用还是从就业上。 我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集。 优酷推出的火...
一.正解解析单字符：. : 除换行以外所有字符[] ：[aoe] [a-w] 匹配集合中任意一个字符\d ：数字 [0-9]\D : 非数字\w ：数字、字母、下划线、中文\W : 非\w\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。\S : 非空白数量修饰：* : 任意多次 >=0+ : 至少1次 >=1? : 可有可无 0次或者1次{m} ：固定m次 hello{3,}{m,} ：至少m次{m,n} ：m-n次边界：$ : 以某某结尾 ^ : 以某某开头分组：(ab) 贪婪模式...
前几天小编连续写了四篇关于Python选择器的文章，分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器，让大家更加深刻的理解和熟悉Python选择器。 一、正则表达式 正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化，但又存在难以构造、可读性差的问题。当在爬京东网的时候，正则表达式如下图所示：利用正则表达式实现对目标信息的精...
引入今日概要图片懒加载 selenium phantomJs 谷歌无头浏览器知识点回顾验证码处理流程今日详情 动态数据加载处理 一.图片懒加载什么是图片懒加载？案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etreeif __name__ == "__main__":url = http://sc.chinaz.com/tupian/gudianmeinvtupian.htmlheaders = {User-Agent: Mozilla/5.0 (Macinto...
import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport jsonimport pandasimport sqlite3 commenturl = http://comment5.news.sina.com.cn/page/info?\version=1&format=js&channel=gn&newsid=comos-{}&\group=&compress=0&ie=utf-8&oe=utf-8&page=1&\page_size=20 #获取评论数量def getCommentCounts(newsurl): m = re.search(doc-i(.*).shtml, newsurl) newsid = m.group(1) comm...
又是一年双十一了，不知道从什么时候开始，双十一从“光棍节”变成了“双十一购物狂欢节”，最后一个属于单身狗的节日也成功被攻陷，成为了情侣们送礼物秀恩爱的节日。 翻着安静到死寂的聊天列表，我忽然惊醒，不行，我们不能这样下去，光羡慕别人有什么用，我们要行动起来，去找自己的幸福！！！ 我也想“谈不分手的恋爱” ！！！内牛满面！！！ 注册登陆一气呵成~ 筛选条件，嗯...性别女，年龄...18到24岁，身高嘛，无所谓...
爬虫介绍 爬取图片 爬取文本 实现交互式爬取 与服务器之间传递数据 获取 token 串 自动登录企业邮箱 自动登录126邮箱
一、动态渲染页面爬取 上节课我们了解了Ajax分析和抓取方式，这其实也是JavaScript动态渲染页面的一种情形，通过直接分析Ajax，借助requests和urllib实现数据爬取 但是javaScript动态渲染布置Ajax一种 例如中国青年网（http://news.youth.cn/gn/）分页部分由js生成，并非原始HTML代码，这其中并不包含ajax请求 比如ECharts官方示例（http://echarts.baidu.com/demo.html#bar-negative）图形都是经过js计算生成的，再有淘宝 即便是a...
乱码问题有三种解决方式，下面我们通过一个示例进行理解 示例： 爬取4k美女壁纸中的图片 ?http://pic.netbian.com/4kmeinv/ import requestsfrom lxml import etreeimport osfrom urllib import request if not os.path.exists("4kmeimei"): os.mkdir("4kmeimei") headers = { User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36} url = ...
前几天给大家分享了网络爬虫中深度优先算法的介绍及其代码实现过程，没来得及上车的小伙伴们可以戳这篇文章——浅谈网络爬虫中深度优先算法和简单代码实现。今天小编给大家分享网络爬虫中广度优先算法的介绍及其代码实现过程。 广度优先算法和深度优先算法恰好相反，这里继续以上图的二叉树为例。广度优先算法的主要思想是首先从顶级域名A开始，之后从中提取出两个链接B和C，待链接B抓取完成之后，下一个要抓取的链接则是链接B的...
前几天给大家分享了网络爬虫中深度优先算法的介绍及其代码实现过程，没来得及上车的小伙伴们可以戳这篇文章——浅谈网络爬虫中深度优先算法和简单代码实现。今天小编给大家分享网络爬虫中广度优先算法的介绍及其代码实现过程。广度优先算法和深度优先算法恰好相反，这里继续以上图的二叉树为例。广度优先算法的主要思想是首先从顶级域名A开始，之后从中提取出两个链接B和C，待链接B抓取完成之后，下一个要抓取的链接则是链接B的同级...