爬虫 - 技术教程文章
小白学 Python 爬虫（8）：网页基础【代码】【图】
人生苦短，我用 Python前文传送门：小白学 Python 爬虫（1）：开篇小白学 Python 爬虫（2）：前置准备（一）基本类库的安装小白学 Python 爬虫（3）：前置准备（二）Linux基础入门小白学 Python 爬虫（4）：前置准备（三）Docker基础入门小白学 Python 爬虫（5）：前置准备（四）数据库基础小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装小白学 Python 爬虫（7）：HTTP 基础先赞后看是个好习惯网页的组成我们的数据来源是...
豆瓣搜索页爬虫【图】
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是ajax一部请求后再渲染到页面上去的。可是，当打开chrome的检查模式时，发现并没有发生异步请求。（xhr类型的文件就是异步请求后返回的结果） ...
python爬虫实例——爬取歌单【代码】【图】
学习自http://www.hzbook.com/index.php/Book/search.html书名：从零开始学python网络爬虫爬取酷狗歌单，保存入csv文件直接上源代码：（含注释）import requests #用于请求网页获取网页数据from bs4 import BeautifulSoup #解析网页数据import time #time库中的sleep()方法可以让程序暂停import csv‘‘‘ 爬虫测试 酷狗top500数据 写入csv文件 ‘‘‘ fp = open(‘D://kugou.c...
入门爬虫的干货
如果学会了python的基本语法，我认为入门爬虫是很容易的。 我写的第一个爬虫大概只需要10分钟，自学的 scrapyd , 看官方文档花了20分钟，因为我英文不是很好，很多单词需要搜索一下。(scrapy 并不是入门必须的） 再接触到了 requests , lxml ，配合基本库 urllib, urllib2 就几乎无所不能了。后来有人推荐我用 BeatufulSoup 之类的库，但其实原理都差不多。一、入门爬虫的干货 0. 爬虫的基本思路 a. 通过URL或者文件获取网页， b. ...
初识网络爬虫【图】
我们可以把互联网比作一张大网，而爬虫（网络爬虫）便是网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这里就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被爬行下来。 一、爬虫概述简单来说，爬虫就是获取网页并提取和...
爬虫库之BeautifulSoup学习（二）【图】
BeautifulSoup官方介绍文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 四大对象种类：BeautifulSoup 将复杂的html文件转换成一个复杂的树形结松，每个节点都是python对象。 所有对象可以分下以下四类：TagNavigableStringBeautifulSoupComment下面进行一一介绍：1、Tag 通俗点讲就是html中的一个个标签，例如：<title>Hello world </title><a class ="test",href="http://www.baidu.com" id="link1"...
Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据【代码】
目标：爬取安居客网站上前10页北京二手房的数据，包括二手房源的名称、价格、几室几厅、大小、建造年份、联系人、地址、标签等。网址为：https://beijing.anjuke.com/sale/BeautifulSoup官网：https://www.crummy.com/software/BeautifulSoup/直接上代码：import requests from bs4 import BeautifulSoupheaders={‘user-agent‘:‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0....
BeautifulSoup 爬虫【代码】【图】
一 安装BeautifulSoup安装Python的包管理器pip 然后运行$pip3 install beautifulsoup在终端里导入它测试下是否安装成功>>>from bs import BeautifulSoup 如果没有错误，说明导入成功了简单例子 http://sc.chinaz.com/biaoqing/baozou.html 爬取图片代码如下from urllib.request import urlopenfrom urllib.error import HTTPError,URLErrorfrom bs4 import BeautifulSoupimport reimport warningswarnings.filterwarnings("ignore"...
Scrapy-Web爬虫框架初识、安装、基本使用【代码】
一、Scrapy初识Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。- Scrapy内容- 基于框架发起请求- 数据解析- 持久化存储- 核心组件的工作原理- 全站数据爬取- 深度爬取- 中间件- 分布式- 增量式 原文：https://www.cnblogs.com/dai-zhe/p/14800745.html
win10python爬虫【图】
一:环境搭建1.安装python下载地址：http://www.python.org/downloads/python-2.7.12.amd64.msipython-3.5.2-amd64.exe若系统里安装了2个版本的python，可以将python35的python.exe改成python3.exe，这样python代表python27，python3代表python35（pip用同样方式区分） 配置环境变量：将以下路径添加到系统环境变量Path下 2.安装requests命令：pip3 install requests 3.安装BeautifulSoup命令：pip3 install beautifulsoup4 注：使用...
Python爬虫实战（一） 使用urllib库爬取拉勾网数据【代码】
本笔记写于2020年2月4日。Python版本为3.7.4，编辑器是VS code主要参考资料有：B站视频av44518113Python官方文档PS：如果笔记中有任何错误，欢迎在评论中指出，我会及时回复并修改，谢谢问题描述看B站学习视频的时候，老师讲得第一个实战也就是爬取拉勾网数据是怎么也爬取不下来，弹幕里的方法也都不管用。所以开始求助伟大的度娘，度娘中大部分的解决方法都是使用requests库来爬取的，但目前只学习的urllib库，所以没办法采用。但...
python分布式爬虫搭建开发环境（一）
目录：开发IDE----pycharm数据库--------mysql、redis、elasticsearch开发环境--virtualenvpycharm使用技巧:再设置里输入 interpreter 即可查看或者修改当前使用的python版本，输入keymap，可看查看当前快捷键 原文：http://www.cnblogs.com/Mjonj/p/7636542.html
系统学习下python网络爬虫 笔记一【代码】
系统学习下python网络爬虫的知识1、爬虫的定义Web Spider，把互联网定义为一个蜘蛛网，网络蜘蛛通过网页的链接地址来寻找网页。具体过程：从网站的某一个网页（通常是首页）开始，读取网页的内容，找到在网页中的其他链接地址，然后通过这些链接地址寻找下一个页面，这样一直循环下去，直到所有的网页都抓取完成为止。其实，网络爬虫就是一个爬行程序，一个抓取网页的程序。我们如何才能找到自己想要的网页和去掉网页中其他不相关的...
【Python3 爬虫】U24_多线程爬虫之Thread类创建多线程【代码】【图】
目录1.开篇知识补充2.继承自threading.Thread类1.开篇知识补充查看线程数 threading.enumerate()函数可以查看当前线程数量。查看当前线程的名字 使用threading.current_thread()可以查看当前线程的信息。2.继承自threading.Thread类为了让线程更好的封装，，可以使用threading模块下的Thread，继承这个类，然后实现run方法，线程就会自动运行run方法中的代码。示例代码如下：import threading import timeclass DanceThread(thread...
爬虫实现免登入【代码】【图】
近来身边很多人问，爬虫怎么实现免登入，这边介绍几种方法。1、scrapy的FormRequest模块2、requests的post实现免登入3、selenium实现自动化登入过程 接下来，我们来实现http://oursteps.com.au/的免登入 我们先说前两种的情况，使用scrapy和requests的模拟登入打开浏览器，输入http://www.oursteps.com.au/bbs/portal.php回车定义好请求的地址，使用fiddler抓包抓取到网页登入输入的信息 然后我们就知道他们的用户名和密码的键对...
[Python]网络爬虫：北邮图书馆排行榜【图】
最近对爬虫比较感兴趣，就研究了一下。推荐一个python爬虫博客http://blog.csdn.net/pleasecallmewhy/article/details/9305229点击打开链接。跟着博主的博客学了下来，自己动手编写了一个爬北邮图书馆排行榜的demo。#!/usr/bin/env python # -*- coding: utf-8 -*-#--------------------------------------- # 程序：bupt图书馆爬虫-排行榜 # 版本：0.1 # 作者：zhangxuan # 日期：2015-04-15 # 语言：Python 2.7 # 操...
[Python]网络爬虫（九）：百度贴吧的网络爬虫（v0.4）源码及解析【代码】【图】
转自：http://blog.csdn.net/pleasecallmewhy/article/details/8934726百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同，都是通过查看源码扣出关键数据，然后将其存储到本地txt文件。项目内容：用Python写的百度贴吧的网络爬虫。使用方法：新建一个BugBaidu.py文件，然后将代码复制到里面后，双击运行。程序功能：将贴吧中楼主发布的内容打包txt存储到本地。原理解释：首先，先浏览一下某一条贴吧，点击只看楼主并点击第二页之后u...
Beautiful Soup第三方爬虫插件【代码】
什么是BeautifulSoup？Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。安装Beautiful SoupBeautiful Soup的下载地址：https://www.crummy.com/software/BeautifulSoup/bs4/download/4.4/将下载的beautifulsoup4-4.4.1.tar.gz解压，进入beautifulsoup4-4.4.1目录，执行命...
python爬虫常用正则表达式组合匹配【图】
["\‘] ----------- 匹配单双引号 (.*?)xxx ----------- 匹配任意长度字符+xxx 正则表达式在线测试工具：http://tool.oschina.net/regex/?optionGlobl=global 未完待续~~~将一直补充~~ 原文：https://www.cnblogs.com/4wheel/p/8550426.html
selenium模块在爬虫中的应用【代码】
1. 相关概念1. selenium模块 是一个基于浏览器自动化的模块2. 与爬虫之间的关联 便捷的捕获到动态加载到的数据（可见即可得） 实现模拟登陆3.环境安装pip3 install selenium简单演示from selenium import webdriver from time import sleep# 后面是你的浏览器驱动位置，记得前面加r‘‘,‘r‘是防止字符转义的 driver = webdriver.Chrome(r‘chromedriver.exe‘)# 用get打开百度页面 driver.get("http://www.baidu.com")#...
潭州课堂25班：Ph201805201 爬虫基础 第五课 （案例） 豆瓣分析 (课堂笔记)【代码】【图】
动态讲求 ， # -*- coding: utf-8 -*- # 斌彬电脑 # @Time : 2018/9/1 0001 3:44import requests,jsonclass DouBan:def __init__(self):#请求头部信息self.headers = {‘User-Agent‘:"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"}self.offset = 0 # 翻页参数self.n = 0 # 页码self.file = open(‘dou...
node.js+mongodb 爬虫【代码】【图】
demo截图：本demo爬瓜子二手车北京区的数据 (注:需要略懂 node.js / mongodb 不懂也没关系 因为我也不懂啊~~~)之所以选择爬瓜子二手车网站有两点：一、网站无需登录，少做模拟登录；二、数据连接没有加密，直接可以用；网上很多node.js爬虫的栗子但大多是一个页面的栗子，很少跟数据库结合的 所以我这个栗子是糖炒的我的基本思路是这样的1、先在mongodb里存所有页的连接地址的集合2、在根据这些链接地址 一个一个的把详细信息爬下来...
python爬虫（二）【代码】【图】
一、BeautifulSoup库的使用1.对beautifulSoup库的理解HTML文档可以看作是有很多个标签相互嵌套形成的“标签树”，而BeautifulSoup库是解析、遍历、维护“标签树”的功能库。2.BeautifulSoup库的基本使用#HTML文档《==》标签树《==》BeautifulSoup类from bs4 import BeautifulSoup soup=BeautifulSoup("<html>data</html>","html.parser") #“html.parser”是beautiflSoup库解析器 soup2=BeautifulSoup(open("D://demo.html"),"html...
下载python爬虫需要的库文件bs4
新建文件 requirements.txt修改requirements.txt文件内容如下：# need to install module bs4pymongorequestsjson然后执行命令：sudo pip install -r requirements.txt 原文：https://www.cnblogs.com/rohens-hbg/p/14445957.html
python 利用爬虫获取页面上下拉框里的所有国家【代码】
前段时间，领导说列一下某页面上的所有国家信息，话说这个国家下拉框里的国家有两三百个，是第三方模块导入的，手动从页面拷贝，不切实际，于是想着用爬虫去获取这个国家信息，并保存到文件里。下面是具体的代码，写的也是比较简单，利用Selenium操作页面，获取下拉国家列表的信息，并保存到文件里from selenium import webdriver import xlwt driver = webdriver.Chrome(‘C:\Program Files (x86)\Google\Chrome\Application\chro...
利用Abot爬虫和visjs 呈现漫威宇宙【代码】【图】
1. 引言最近接触Abot爬虫也有几天时间了，闲来无事打算从IMDB网站上爬取一些电影数据玩玩。正好美国队长3正在热映，打算爬取漫威近几年的电影并用vis这个JS库呈现下漫威宇宙的相关电影。Abot是一个开源的C#爬虫，代码非常轻巧。可以参看这篇文章（利用Abot 抓取博客园新闻数据）入门Abot。Vis 是一个JS的可视化库类似于D3。vis 提供了像Network 网络图的可视化，TimeLine 可视化等等。这里用到了network,只需要给vis传入简单的节点...
Python爬虫 selenium【代码】
库的安装pip3 install selenium声明浏览器对象from selenium import webdriverbrowser = webdriver.Chrome() browser = webdriver.Firefox() browser = webdriver.Edge() browser = webdriver.PhantomJS() browser = webdriver.Safari()访问页面from selenium import webdriverbrowser = webdriver.Chrome() browser.get(‘https://www.taobao.com‘) print(browser.page_source) browser.close()查找元素查找单个元素的 element* ...
Python爬虫框架Scrapy安装使用步骤
一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，基于Twisted的异步网络库来处理网络通讯，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。二、Scrapy安装指南我们的安装...
爬虫开发python工具包介绍 （2）【代码】【图】
本文来自网易云社区作者：王涛可选参数我们一一介绍一下：参数释义示例params生成url中?号后面的查询Key=value示例1： >>>payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘} >>>r = requests.get("http://httpbin.org/get", params=payload) 查看结果: >>> print(r.url)http://httpbin.org/get?key2=value2&key1=value1示例2：>>> param = ‘httpparams‘ >>> r = requests.get("http://httpbin.org/get",params=param) >>>...
.net 爬虫技术【图】
关于爬虫从搜索引擎开始，爬虫应该就出现了，爬的对象当然也就是网页URL，在很长一段时间内，爬虫所做的事情就是分析URL、下载WebServer返回的HTML、分析HTML内容、构建HTTP请求的模拟、在爬虫过程中存储有用的信息等等，而伴随着App的发展以及CS系统通讯方式的HTTP化，对服务接口特别是HTTP RESTFul接口的爬虫也开始流行。爬虫的具体形式，包括模拟浏览器行为和模拟HTTP行为。在爬虫的发展过程中，也涌现出无数的工具和语言实践，...