爬虫 - 技术教程文章
Python爬虫：BeautifulSoup用法总结【代码】【图】
原文BeautifulSoup是一个解析HTML或XML文件的第三方库。HTML或XML文件可以用DOM模型解释。一般包含三种节点：元素节点 - 通常指HTML 或 XML的标签文本节点 - 标签内部的文本内容属性节点 - 每个标签的属性BeautifulSoup库可以对HTML或XML文件解析，查找到一个或多个标签元素，并获取每个标签里的文本和属性。BeautifulSoup很好的特性是它接受一个str或byte对象后会对编码自动检测，并对当前文档编码并转换成Unicode编码。这样可以不...
python爬虫---beautifulsoup（2）
之前我们使用的是python的自带的解析器html.parser。官网上面还有一些其余的解析器，我们分别学习一下。解析器使用方法优点缺点htm.parserBeautifulSoup(markup,‘html.parser‘)1、python自带的2、解析速度过得去3、容错强2.7之前的版本，和3.3之前不包括2.7的都不支持lxml`s HTML parserBeautifulSoup(markup,‘lxml‘)1、非常快2、容错强要安装C语言库lxml`s xml parser BeautifulSoup(markup,[‘lxml‘,‘xml‘])BeautifulSou...
python爬虫 Selenium库学习【代码】
一、自动化测试工具，支持多种浏览器，解决JS渲染问题二、安装pip3 install Selenium三、操作介绍（因为是学习别人的课程为了尊重知识产权，部分代码就不显示了）1驱动浏览器browser = webdriver.Chrome()try: browser.get(‘www.sina.com‘)#上网 2查找元素 一种方法：browser.find_element_by_name()browser.find_element_by_class_name()browser.find_element_by_id()browser.find_element_by_xpath()browser.find_elemen...
python爬虫:使用Selenium模拟浏览器行为【代码】【图】
前几天有位微信读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬取不完整，比首页看到的少。原因他也大概分析了下，就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。分析他的代码比较简单，主要有以下的步骤：使用BeautifulSoup库，打开百度贴吧的首页地址，再解析得到id为new_list标签底下的img标签，最后将img标签的图片保存下来。headers = {‘User-A...
爬虫--requests爬取猫眼电影排行榜【代码】
‘‘‘目标：使用requests分页爬取猫眼电影中榜单栏目中TOP100榜的所有电影信息，并将信息写入文件URL地址：http://maoyan.com/board/4 其中参数offset表示其实条数获取信息：{排名，图片，标题，主演，放映时间，评分}‘‘‘from requests.exceptions import RequestExceptionimport requestsimport re,time,jsondef getPage(url): ‘‘‘爬取指定url页面信息‘‘‘ try: #定义请求头信息 headers = { ...
网络爬虫（三）【代码】
在上一节中我们知道了URLopen()可以实现最基本的爬虫请求：但是几个参数根本不足以构建完整的请求。假如需要在请求中假如Header等信息，就可以尝试利用更加强大的Request类来进行构建。下面的例子是一个用法：# -*- coding:UTF-8 -*-__autor__ = ‘zhouli‘__date__ = ‘2018/6/17 12:02‘import urllib.request request = urllib.request.Request(‘https://python.org‘) response = urllib.request.urlopen(request) print(resp...
如何把Volley改成一个爬虫--HttpClient设置【代码】
闲的时候一直在自己研究爬虫相关的东西，看过一两个开源框架，自己照猫画虎的写了一个，目前看来我的爬虫可以用了，但还是有很多不足，把我目前的经验写出来跟大家分享一下。 国外爬虫的局限 1.太守规矩（如果有Robot文件就要按着爬） 2.无法自由切换代理，如果切换代理对所有线程都有影响，由于是单HtttpClient（我没有找到办法，crawler4j） 3.会把页面都爬下来，我只想要部分文字或者图片而已 4...
爬虫新手学习1-爬虫基础【代码】【图】
一、 为什么要做爬虫？首先：都说现在是"大数据时代"，那数据从何而来？企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克。数据管理咨询公司：麦肯锡、埃森哲、艾瑞咨询爬取网络数据：如果需要的数据市场上没有，或者不愿意购买，那么可以选择招/做...
1.爬虫基础【代码】
目录一、爬虫准备常见问题1、\ufeff一、爬虫准备user_agent列表user_agent_list = [‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER‘,‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)‘,‘Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE...
爬虫再探实战（五）———爬取APP数据——超级课程表【二】——词频分析【代码】【图】
上一篇已经将数据抓到手了，那么来分析一下吧。这里是用python简单处理数据，之后用EXCEL 作图，没错，，，还是EXCEL。其实分析这些数据有更好的工具，比如R。。。不过目前不会啊，就先EXCEL凑活着用吧。 这里一共分析了三个方面：TOP10 word；时间与发帖量的关系，日期与发帖量的关系。 PROJECT1：TOP10 WORD 注意这里的top_words.txt是我用xlrd取出文字后保存在记事本中，去掉标点后得到的（这个羞耻的过程...
python第一个爬虫脚本
import urllib.requestimport reimport osurl = "http://www.budejie.com/" # 爬的地址def get_page(url): page = urllib.request.urlopen(url).read() # 获取到该地址的所有内容 # page=page.decode(‘gbk‘) #转码 page = page.decode(‘utf8‘) return page#print(page)def get_content(html): zz = r‘<div class="j-r-list-c">.+?</div>.+?</div>‘ rge = re.findall(zz,html,re.S) # reg = re.compil...
Forward团队-爬虫豆瓣top250项目-团队编程项目开发环境搭建过程【图】
需要python环境开发软件、开发环境安装：python2.7.5： 安装pycharm（社区版）： 原文：http://www.cnblogs.com/mazhuangmz/p/7574366.html
Python 爬虫实例【代码】【图】
下面是我写的一个简单爬虫实例1.定义函数读取html网页的源代码2.从源代码通过正则表达式挑选出自己需要获取的内容3.序列中的htm依次写到d盘#!/usr/bin/python import re import urllib.request#定义函数读取html网页的源代码 def getHtml(url):page = urllib.request.urlopen(url)html = page.read()return html#从源代码通过正则表达式挑选出自己需要获取的内容 def getImg(html):reg = r‘href="(.*?\.htm)"‘imgre = re.compile...
爬虫之pyquery库【代码】
官方文档：https://pyquery.readthedocs.io/en/latest/PyQuery是一个强大又灵活的网页解析库。如果你觉得正则写起来太麻烦、BeautifulSoup语法太难记，而你熟悉jQury的语法，那么PyQuery就是你的绝佳选择。一、开始字符串初始化：from pyquery import PyQuery as pq d = pq("<html>哈哈哈</html>") # 现在d就相当于jQuery的$print(d("html"))URL初始化：from pyquery import PyQuery as pq d = pq(url="https://www.baidu.com") p...
Python爬虫爬取房天下数据-入MySql数据库【代码】【图】
Python爬取房天下某城市数据随着互联网时代的兴起，技术日新月异，掌握一门新技术对职业发展有着很深远的意义，做的第一个demo，以后会在爬虫和数据分析方便做更深的研究，本人不会做详细的文档，有哪里不足的地方，希望大牛们指点讲解。废话不多说，上代码。你需要的技能：（1）对前端知识熟悉会调试浏览器（2）熟练python基础知识，对一些常用的库熟练掌握（3）掌握一般关系型数据库import requests as req import time import p...
爬虫实战1 京东【代码】【图】
url="https://item.jd.com/100012881854.html" kv = {‘user-agent‘:‘Mozilla/5.0‘} r = requests.get(url,headers = kv) print(r.status_code) print(r.encoding) print(r.text[:1000]) 200utf-8<!DOCTYPE HTML><html lang="zh-CN"><head><!--yushou--><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><title>【魅族17 Pro】魅族17 Pro 8GB+128GB 定白 骁龙865 旗舰5G手机 27W无线充 6400W后置主摄 90H...
Python爬虫_三种数据解析方式【代码】
正则解析单字符：. : 除换行以外所有字符[] ：[aoe] [a-w] 匹配集合中任意一个字符\d ：数字 [0-9]\D : 非数字\w ：数字、字母、下划线、中文\W : 非\w\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。\S : 非空白数量修饰：* : 任意多次 >=0+ : 至少1次 >=1? : 可有可无 0次或者1次{m} ：固定m次 hello{3,}{m,} ：至少m次{m,n} ：m-n次边界：$ : 以某某结尾 ^ : 以某某开头分组：(ab) 贪婪模式：...
R-大数据分析挖掘（2-R爬虫）【代码】
RCurl作者：==RCurl、XML、RSPython、Rmatlab个人主页：http://anson.ucdavis.edu/~duncan/（一）什么是curl curl：利用URL语法在命令行的方式下工作的开元文件传输工具 curl背后的库就是libcurl 功能为：获得页面，有关认证，上传下载，信息搜索（二）Http协议目前使用的是HTTP/1.1它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器（三）Rcurl三大函数1.install.packages("RCurl")2.getUrl()getF...
spider.3-爬虫中的re【代码】
1、compile()编译正则表达式模式，返回一个对象的模式。（可以把那些常用的正则表达式编译成正则表达式对象，这样可以提高一点效率。）格式：re.compile(pattern,flags=0)pattern: 编译时用的表达式字符串。flags 编译标志位，用于修改正则表达式的匹配方式，如：是否区分大小写，多行匹配等标志含义re.S(DOTALL)使.匹配包括换行在内的所有字符re.I（IGNORECASE）使匹配对大小写不敏感re.L（LOCALE）做本地化识别（locale-aware)匹...
爬虫神器xpath的用法(三)【代码】
xpath的多线程爬虫#encoding=utf-8‘‘‘ pool = Pool(4) cpu的核数为4核 results = pool.map(爬取函数，网址列表) ‘‘‘from multiprocessing.dummy import Pool as ThreadPool import requests import timedef getsource(url):html = requests.get(url)urls = []for i in range(1,21):newpage = ‘http://tieba.baidu.com/p/3522395718?pn=‘ + str(i)urls.append(newpage)time1 = time.time() for i in urls:print igetsource(...
(9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(一)【代码】【图】
转载请注明出处：http://www.cnblogs.com/codefish/p/4993809.html 最近在群里频繁的被问到ajax和js的处理问题，我们都知道，现在很多的页面都是用动态加载的技术，这一方面带来了良好的页面体验，另一方面，在抓取时或者或少的带来了相当大的麻烦，因为我们知道直接get主页页面url，这些内容是没有办法显示的。那怎么处理这些内容呢？ 上图是一个直观的分析，在抓取数据时，我们一般优先考虑到手机端的网站，因为手机端的网站得到...
Python网络爬虫实战案例之：7000本电子书下载（3）【图】
一、前言 本文是《Python开发实战案例之网络爬虫》的第三部分：7000本电子书下载网络爬虫开发实战详解。配套视频课程详见51CTO学院请添加链接描述。二、章节目录3.1 业务流程3.2 页面结构分析：目录页3.3 页面结构分析：详情页3.4 页面请求和响应：目录页4.5 页面请求和响应：详情页3.4三、正文3.1 业务流程3.2.1 页面结构分析-目录页3.2.2 页面结构分析-详情页3.3 页面请求与解析-目录页3.4 页面请求与解析-详情页3.5 文件下载四...
Python爬虫（二）：Requests库【代码】
所谓爬虫就是模拟客户端发送网络请求，获取网络响应，并按照一定的规则解析获取的数据并保存的程序。要说 Python 的爬虫必然绕不过 Requests 库。1 简介对于 Requests 库，官方文档是这么说的：Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。这个介绍还是比较生动形象的，便...
爬虫基本结构【代码】【图】
爬虫程序的工作是从一个种子链接的集合开始。把种子URL集合作为参数传递给网络爬虫。爬虫先把这些初始的URL放入URL工作队列（Todo队列，又叫作Frontier),然后遍历所有工作队列中的URL，下载网页并把其中新发现的URL再次放入工作队列。为了判断一个URL是否已经遍历过，把所有遍历过的URL放入历史表。while (todo.size () > 0) { //如果 Todo队列不是空的//从Todo队列里面提取URLString strUrl = todo.iterator().next();//下载URL对...
爬虫中的Header请求头 在浏览器中通过F12和F5分析【图】
转(https://blog.csdn.net/weixin_43797908/article/details/84790896)很多网站再申请访问的时候没有请求头访问会不成功，或者返回乱码，最简单的解决方式就是伪装成浏览器进行访问，这就需要添加一个请求头来伪装浏览器行为 **Header**请求头可以自己来写，其实很简单打开任意浏览器某一页面（要联网），按f12,然后点network，之后再按f5，然后就会看到“name”这里，我们点击name里面的任意文件即可。 之后右边有一个headers,点...
python 图片爬虫【代码】
#!/usr/bin/env python #coding:utf-8import urllib import redef GetHtml(url):"""获取HTML页面所有元素."""page = urllib.urlopen(url)html = page.read()return htmldef GetImg(html):""" 获取HTML页面所有.jpg图片."""reg = r‘src="(.+?\.jpg)"‘ imgre = re.compile(reg)imglist = re.findall(imgre, html)x = 0for imgurl in imglist:urllib.urlretrieve(imgurl, ‘%s.jpg‘ %x, cbx)x += 1print"img: %s is done!" %xdef...
4.scrapy爬虫文件【代码】
scrapy.Spider这一节我们来聊一聊爬虫文件1. 请求发送# -*- coding: utf-8 -*- import scrapyclass BaiduSpider(scrapy.Spider):name = ‘baidu‘allowed_domains = [‘baidu.com‘]start_urls = [‘http://baidu.com/‘]def parse(self, response):print(response.text) 我们来一步一步分析这个文件中的代码是如何运行的1.1 start_urls这是一个列表, 列表的每一个元素都一个一个url, 当我们的爬虫启动的时候会循环这个列表, 然后会...
Python爬虫爬取网页图片【代码】
没想到python是如此强大，令人着迷，以前看见图片总是一张一张复制粘贴，现在好了，学会python就可以用程序将一张张图片，保存下来。今天逛贴吧看见好多美图，可是图片有点多，不想一张一张地复制粘贴，怎么办呢？办法总是有的，即便没有我们也可以创造一个办法。下面就看看我今天写的程序：#coding=utf-8#urllib模块提供了读取Web页面数据的接口import urllib #re模块主要包含了正则表达式import re #定义一个getHtml()函数def ge...
python selenium 爬虫自动化工作脚本【代码】
#coding= utf-8‘‘‘内部监控应用平台 自动化工作脚本 难点 1，由于数据量过于庞大，每次查询翻页可能出错需要检查并且重新点击 2，网页的解析，id class等属性是动态变化的。使用xpath和css结合使用 3，涉及到selenium的点击，悬停，输入，截图，三层try块的容错处理 4，涉及到excel的循环写入，一个文件写11张表格，配合selen‘‘‘ from time import sleep import xlrd, xlwt,os, datetime from lxml import etree from xlut...
爬虫Scrapy框架-初学
安装： python -m pip install Scrapy创建项目：python -m scrapy startproject xxx （不知道为什么必要加python -m 待解决）进入项目：cd xxx #进入某个文件夹下创建爬虫：python -m scrapy genspider xxx（爬虫名） xxx.com （爬取域）# 注意:这个域名是可以随便写的[但是必须要写 ]，等爬虫文件生成之后再进相应的爬虫文件改为我们所需的即可! /* 其他生成文件：scrapy crawl xxx -o xxx.json (生成某种类型的文件)运...