一.HTTP协议1.官方概念：HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧......）2.白话概念：HTTP协议就是服务器（Server）和客户端（Client）之间进行数据交互（相互传输数据）的一种形式。我们可以将Server和...
Xpath简介一般来说，使用id、name、class等属性就能对节点进行定位就能解决绝大部分解析需求，但有时候遇到以下情况，使用Xpath就更方便：没有id、name、class等标签的属性或者文本特征不显著标签嵌套层次太复杂Xpath是XMLPath的简介，基于XML树状结构，可以在整个树中寻找锁定目标节点。由于HTML文档本身就是一个标准的XML页面，因此我们可以使用XPath的语法来定位页面元素。Xpath定位方法一、Xpath路径Xpath路径案例定位节点通配...
爬虫介绍引入 之前在授课过程中，好多同学都问过我这样的一个问题：为什么要学习爬虫，学习爬虫能够为我们以后的发展带来那些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的，无论是从实际的应用还是从就业上。 我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集。 优酷推出的火...
一.正解解析单字符：. : 除换行以外所有字符[] ：[aoe] [a-w] 匹配集合中任意一个字符\d ：数字 [0-9]\D : 非数字\w ：数字、字母、下划线、中文\W : 非\w\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。\S : 非空白数量修饰：* : 任意多次 >=0+ : 至少1次 >=1? : 可有可无 0次或者1次{m} ：固定m次 hello{3,}{m,} ：至少m次{m,n} ：m-n次边界：$ : 以某某结尾 ^ : 以某某开头分组：(ab) 贪婪模式...
前几天小编连续写了四篇关于Python选择器的文章，分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器，让大家更加深刻的理解和熟悉Python选择器。 一、正则表达式 正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化，但又存在难以构造、可读性差的问题。当在爬京东网的时候，正则表达式如下图所示：利用正则表达式实现对目标信息的精...
引入今日概要图片懒加载 selenium phantomJs 谷歌无头浏览器知识点回顾验证码处理流程今日详情 动态数据加载处理 一.图片懒加载什么是图片懒加载？案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etreeif __name__ == "__main__":url = http://sc.chinaz.com/tupian/gudianmeinvtupian.htmlheaders = {User-Agent: Mozilla/5.0 (Macinto...
import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport jsonimport pandasimport sqlite3 commenturl = http://comment5.news.sina.com.cn/page/info?\version=1&format=js&channel=gn&newsid=comos-{}&\group=&compress=0&ie=utf-8&oe=utf-8&page=1&\page_size=20 #获取评论数量def getCommentCounts(newsurl): m = re.search(doc-i(.*).shtml, newsurl) newsid = m.group(1) comm...
又是一年双十一了，不知道从什么时候开始，双十一从“光棍节”变成了“双十一购物狂欢节”，最后一个属于单身狗的节日也成功被攻陷，成为了情侣们送礼物秀恩爱的节日。 翻着安静到死寂的聊天列表，我忽然惊醒，不行，我们不能这样下去，光羡慕别人有什么用，我们要行动起来，去找自己的幸福！！！ 我也想“谈不分手的恋爱” ！！！内牛满面！！！ 注册登陆一气呵成~ 筛选条件，嗯...性别女，年龄...18到24岁，身高嘛，无所谓...
爬虫介绍 爬取图片 爬取文本 实现交互式爬取 与服务器之间传递数据 获取 token 串 自动登录企业邮箱 自动登录126邮箱
乱码问题有三种解决方式，下面我们通过一个示例进行理解 示例： 爬取4k美女壁纸中的图片 ?http://pic.netbian.com/4kmeinv/ import requestsfrom lxml import etreeimport osfrom urllib import request if not os.path.exists("4kmeimei"): os.mkdir("4kmeimei") headers = { User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36} url = ...
前面说到了urllib2的简单入门，下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。 如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用代理。 新建test14来实现一个简单的代理Demo：import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'}) null_proxy_handler = urllib2.ProxyHandler({}) i...
了解HTTP协议请求与响应模式的协议： 用户提出对URL（用来定位网络中的资源位置）地址数据的操作请求，服务器给予相应。 无状态的应用层协议：两次请求之间不会互相影响。 HTTP协议支持的请求种类：如果URL处的资源很庞大，我们就可以用head方法读取部分信息。可以看到HTTP支持的操作与request库提供的六个操作是一样的patch和put的区别patch只修改部分字段。 put会用提交的内容完全覆盖原来的URL资源，比如我们put了UserNname字段...
很多网站都在其重要功能中依赖JavaScript,和单页面应用的简单事件不同，使用JavaScript时，不再是加载后立即喜爱在所有页面内容。这样就会造成许多网页在浏览器中显示的内容不会再HTML源码中。 什么是AJAX？ AJAX是指异步JavaScript和XML，描述了一种跨浏览器动态生成Web应用内容的功能。 动态网页示例 访问http://example.webscraping.com/search的搜索表单，产看网页元素，发现结果被存储在ID为‘result’的div中。尝试爬取这些结...
目的 学习如何从互联网上获取数据。数据科学必须掌握的技能之一。 本文所用到的第三方库如下: requests, parsel, selenium requests负责向网页发送HTTP请求并得到响应，parsel负责解析响应字符串，selenium负责JavaScript的渲染。 网络爬虫是什么 网络爬虫是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。 如何爬取网站信息 写爬虫之前，我们必须确保能够爬取目标网站的信息。 不过在此之前必须弄清以下三个问题:网站是否...
Python网络爬虫Scrapy+MongoDB +Redis实战爬取腾讯视频动态评论教学视频课程简介 学习Python爬虫开发数据采集程序啦！网络编程，数据采集、提取、存储，陷阱处理……一站式全精通！！！目标人群掌握Python编程语言基础，有志从事网络爬虫开发及数据采集程序开发的人群。学习目标了解Web前端，熟悉HTTP，系统学习Python urllib库HTTP编程模块，requests网络编程库，BeautifulSoup4 HTML转换解析，并发数据采集、提取、存储，熟悉Sel...