在python3中爬虫常用基本库为urllib以及requests 本文主要描述urllib的相关内容 urllib包含四个模块：requests——模拟发送请求error——异常处理模块parse——关于URL处理方法的工具模块robotparser——通过识别网站robot.txt判断网站的可爬取内容 一、发送请求urllib库发送请求主要使用request模块中的两个内容：urlopen()方法以及Requests类，其中Requests类是结合urlopen()方法来使用的。首先，看一下urlopen()方法的API：urll...
当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出如下异常： urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)> 解决方法：全局取消证书验证import ssl ssl._create_default_https_context = ssl._create_unverified_context
爬取豆瓣网站的电影信息，并保存到excel中。 代码： import re,xlwt,requests#初始化并创建一个工作簿 book = xlwt.Workbook() #创建一个名为sheetname的表单 sheet = book.add_sheet('movie') #重复写入数据headings = [u'排名', u'电影名称',u'导演',u'国家',u'年份',u'评分'] k =0 for j in headings:sheet.write(0, k, j)k = k+1url = ' https://movie.douban.com/top250' #头部信息 headers = {'user_agent': 'Mozilla/5.0 (W...
爬取背景 这套课程虽然叫爬虫入门类课程，但是里面涉及到的点是非常多，十分检验你的基础掌握的牢固程度，代码中的很多地方都是可以细细品味的。 为什么要写这么一个小东东呢，因为我生活在大河北，那雾霾醇厚的很，去了趟三亚，那空气，啧啧，舒服的很，所以爬取一下三亚天气，看看什么时候去最好，理想的温度为24~28，呵呵哒 代码走起来 ，天气类的网址多的很，重点关注历史天气 找到这么一个网站 https://www.tianqi.com/sanya/...
在实现这一功能时遇到了一些困难，由于按照《零基础入门python》中的代码无法实现翻译，会爆出“您的请求来源非法，商业用途使用请关注有道翻译API官方网站“有道智云”: http://ai.youdao.com”这种神奇的错误。无奈百度，在一篇不错的博主上找到一个优化的代码，可以实现。分享一下链接https://blog.csdn.net/c406495762/article/details/59095864#comments1 from urllib import request2 from urllib import parse3 import json...
这一篇博客，是关于反反爬虫的，我会分享一些我遇到的反爬虫的措施，并且会分享我自己的解决办法。如果能对你有什么帮助的话，麻烦点一下推荐啦。 一、UserAgentUserAgent中文名为用户代理，它使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本等信息。对于一些网站来说，它会检查我们发送的请求中所携带的UserAgent字段，如果非浏览器，就会被识别为爬虫，一旦被识别出来， 我们的爬虫也就无法正常爬取数据了...
笔记 1.安装 这个可以搜索自行安装。 2.scrapy基础使用 1.创建工程 scrapy startproject baidu 2.切换目录 cd baidu 3.创建爬虫 scrapy genspider example baidu.com 4.运行爬虫 scrapy crawl example 3.设置scrapy不遵守robots协议 在文件里有一个settings.py的文件 将robots改为False即可 4.使用python运行scrapy 创建一个main.py from scrapy import cmdline cmdline.execute("scrapy crawl example".split())5.scrapy 使用xpat...
一、写在前面 有时候你的爬虫刚开始的时候可以正常运行，能够正常的爬取数据，但是过了一会，却出现了一个“403 Forbidden"，或者是”您的IP访问频率太高“这样的提示，这就意味着你的IP被ban了，好一点的情况是过一段时间你就能继续爬取了，坏一点的情况就是你的IP已经进入别人的黑名单了，然后你的爬虫就GG了。怎么办呢？我们可以通过设置代理来解决，付费代理的效果自然不必多说，但是对于学习阶段的人来说，我觉得爬取网上的免...
一、动态渲染页面爬取 上节课我们了解了Ajax分析和抓取方式，这其实也是JavaScript动态渲染页面的一种情形，通过直接分析Ajax，借助requests和urllib实现数据爬取 但是javaScript动态渲染布置Ajax一种 例如中国青年网（http://news.youth.cn/gn/）分页部分由js生成，并非原始HTML代码，这其中并不包含ajax请求 比如ECharts官方示例（http://echarts.baidu.com/demo.html#bar-negative）图形都是经过js计算生成的，再有淘宝 即便是a...
一、写在前面 之前写过一篇用Python发送天气预报邮件的博客，但是因为要手动输入城市名称，还要打开邮箱才能知道天气情况，这也太麻烦了。于是乎，有了这一篇博客，这次我要做的就是用Python获取本机IP地址，并根据这个IP地址获取物理位置也就是我所在的城市名称，然后用之前的办法实现查询天气，再利用百度语音得到天气预报的MP3文件，最后播放，这样是不是就很方（tou）便（lan）了呢？ 二、具体步骤 这次有四个py文件：get_ip...
想要爬取某个博主的微博数据。在网络上寻找了很多关于爬取微博内容的教程，发现有些教程比较老旧了，已经无法再用，有些教程在我这里出现一些问题，比如爬取移动端的微博需要获取登陆cookie，而我的谷歌浏览器却无法显示，如下图所示。最终发现一博主分享的源码，亲测可用。博客链接为：https://blog.csdn.net/qq_16546829/article/details/79511997但是在程序调试的时候发现以上博客中的源码无法获取转发的微博的内容，红色框里的...
原文链接： Jack-Cui，http://blog.csdn.net/c406495762运行平台： Windows Python版本： Python3.x IDE： Sublime text31 前言 近期，有些朋友问我一些关于如何应对反爬虫的问题。由于好多朋友都在问，因此决定写一篇此类的博客。把我知道的一些方法，分享给大家。博主属于小菜级别，玩爬虫也完全是处于兴趣爱好，如有不足之处，还望指正。 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像...
PHP方式写的2019最新带番番滩平台 QQ2952777280【话仙源码论坛】 hxforum.com 一团糟所以就用python3重写了一遍，所以因为第二次写了，思路也更清晰了些。提醒：可能会有502的错误，所以做了异常以及数据库事务处理，暂时没有想到更好的优化方法，所以就先这样吧。待更懂python再进一步优化哈欢迎留言赐教~ #!C:\Users\12550\AppData\Local\Programs\Python\Python37\python.exe# -*- coding: utf-8 -*- from urllib.request impo...
《Python3网络爬虫实战案例（崔庆才著）》中文版PDF下载，附源代码+视频教程，带目录资料下载：https://pan.baidu.com/s/1OzxyHQMLOzWFMzjdQ8kEqQ
一、页面分析 首先打开猫眼电影，然后点击一个正在热播的电影（比如：毒液）。打开开发者工具，点击左上角的箭头，然后用鼠标点击网页上的票价，可以看到源码中显示的不是数字，而是某些根本看不懂的字符，这是因为使用了font-face定义字符集，并通过unicode去映射展示，所以我们在网页上看到的是数字，但是在源码中看到的却是别的字符。碰到这些根本看不懂的字符怎么办呢？不慌，右键选择查看网页源代码，然后找到相应的位置（如下...