此次爬虫要实现的是爬取某个微博用户的关注和粉丝的用户公开基本信息，包括用户昵称、id、性别、所在地和其粉丝数量，然后将爬取下来的数据保存在MongoDB数据库中，最后再生成几个图表来简单分析一下我们得到的数据。 一、具体步骤： 这里我们选取的爬取站点是https://m.weibo.cn，此站点是微博移动端的站点，我们可以直接查看某个用户的微博，比如https://m.weibo.cn/profile/5720474518。然后查看其关注的用户，打开开发者工具...
此次要实现的目标是登录12306网站和查看火车票信息。 具体步骤 一、登录 登录功能是通过使用selenium实现的，用到了超级鹰来识别验证码。没有超级鹰账号的先注册一个账号，充值一点题分，然后把下载这个Python接口文件，再在里面添加一个use_cjy的函数，以后使用的时候传入文件名就可以了（验证码类型和价格可以在价格体系查看）：1 def use_cjy(filename): 2 username = "" # 用户名 3 password = "" # 密码 4 ap...
课程简介: 这是一套目前为止我觉得最适合小白学习的体系非常完整的Python爬虫课程，使用的Python3.6的版本，用到anaconda来开发python程序，老师讲解的很细致，课程体系设置的也非常棒，完全是从浅入深一点点讲解，从Python爬虫环境的安装开始，讲解了最最基本的urllib包如何使用，如何解析request请求内容，刷选有用数据，像ajax，post,html,json等等都非常细致的一一讲解，然后逐步深入到如何利用cookie，ip代{过}{滤}理池的技...
在面对登陆问题的网站例如向拉钩，大街网，直聘等需要进行模拟登陆的问题， 这里我才用的selenium+chrome的方式，进行获取cookies 然后转化成requests中的cookie 再进行具体的内容的抓取 这里里面遇到问题如下： 1.登陆时候的验证码识别，这里我遇到的是滑块验证码与点击式验证码主要的解决方式借助第三方的平台识别，后面上传具体的代码 以及识别的原理 2.在进行requests访问的抓取的时候，需要...
任务区分 在pyspider判断两个任务是否是重复的是使用该任务对应的URL的MD5值作为任务的唯一ID，如果ID相同，那么两个任务就会判定为相同，其中一个就不会爬取了。很多情况下请求的链接可能是同一个，但是POST的参数不同。这时可以重写task_id()方法，改变这个ID的计算方式来实现不同的区分，如下所示： import json from pyspider.libs.utils import md5string def get_taskid(self, task):return md5string(task['url']+json.dump...
pyspider用法详解 命令行 前面实例通过如下命令启动pyspider： pyspider all命令行还有很多可配置参数，完整的命令行结构如下所示： pyspider [OPTIONS] COMMAND [ARGS]其中，OPTIONS为可选参数，它可以指定如下参数。 Options:-c, --config FILENAME 指定配置文件名称--logging-config TEXT 日志配置文件名称，默认：pyspider/pyspider/logging.conf--debug 开启调试模式--queue-maxsize INTEGER 队列...
1 # -*- coding:utf-8 -*-2 # author:zxy3 # Date:2018-10-214 5 import request6 from lxml import etree7 import threading8 from queue import Queue9 import csv 10 import requests 11 12 class Produce(threading.Thread): 13 headers = { 14 User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) 15 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36, 16...
普通爬取： 1 # -*- coding:utf-8 -*-2 # author:zxy3 # Date:2018-10-214 import requests5 from lxml import etree6 import re7 import urllib8 import os9 import time 10 11 12 13 def parse_page(url): 14 headers={ 15 User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) 16 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36, 17 Cookie:__cfdu...
1.cookies池的搭建Cookies池需要有自动生成 Cookies、定时检测 Cookies、提供随机 Cookies等几大核心功能。Cookies 池架构的基本模块分为 4 块:存储模块 、 生成模块、检测模块和接口模块 。 每个模块的 功能如下 。存储模块负责存储每个账号的用户名密码以及每个账号对应的 Cookies 信息，同时还需要提供一些方法来实现方便的存取操作 。 生成模块负责生成新的 Cookies。 此模块会从存储模块逐个拿取账号的用户名和密码， 然后模拟...
安装python3 sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev sudo apt-get install python3 sudo apt-get install ptyhon3-pip ubuntu安装mongo sudo apt-get install mongodb mongod mongo > show dbs admin (empty) local 0.078GB > use local switched to db local > db.test.insert({'a':'b'}) WriteResult({ "nInserted" : 1 }) mac安装mongo brew ...
1. TXT文本 1 import requests2 from pyquery import PyQuery as pq3 4 url = http://www.zhihu.com/explore5 headers = {6 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) 7 Chrome/69.0.3497.100 Safari/537.368 }9 html = requests.get(url, headers=headers).text 10 doc = pq(html) 11 items = doc(.explore-tab .feed-item).items() 12 for it...
1. urllib:request:它是最基本的 HTTP 请求模块，可以用来模拟发送请求 。 就像在浏览器里输入网挝 然后回车一样，只需要给库方法传入 URL 以及额外的参数，就可以模拟实现这个过程了 。 error: parse:一个工具模块，提供了许多 URL处理方法，比如拆分、解析 、 合并等。 robotparser:主要是用来识别网站的 robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬，它其实用得 比较少 。2. Handle类： 当需要实现高级的功能...
为什么会想要做这个模拟登录今日头条呢？因为这个难度偏低，而且用到了图片验证码，所以就想做个模拟登录今日头条练练手。 做这个的难点在于验证码图片的获取，虽然我们能够很轻松的得到验证码图片的链接，但是直接用requests去下载这个验证码图片的话，网页上的验证码又会变化。 所以我的思路是先截取整个屏幕，然后定位到验证码图片的位置，把验证码图片截取下来。 但是由于今日头条登录时候的验证码实在不怎么清晰，有时候靠人识...
本来是学着使用tesserocr来识别验证码的，但是由于tesserocr的识别率不高，还是学了一下使用云打码来识别验证码== 具体步骤如下： 1、首先是注册账号，然后进入这个网址（http://www.yundama.com/apidoc/YDM_SDK.html）选择PythonHTTP示例下载：2、下载后解压，可以看到有如下几个文件，因为我使用的Python版本是3.5，所以打开YDMHTTPDemo3.x：3、打开之后修改如下几个部分，用户名和密码就是你的用户名和密码，而appid和appkey需...
@python爬虫学习日记 python3爬虫学习日记（一）之概述 在学习了python3的基本语法知识后，小白要正式入门python啦，由于个人需要，所以从爬虫入门。在学习中持续更新，如有不足，请指教。 爬虫的定义及构成什么是爬虫？ 网络爬虫是一个自动提取网页的程序，它为搜索引擎从网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入...