一、 为什么要做爬虫？首先：都说现在是"大数据时代"，那数据从何而来？企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克。数据管理咨询公司：麦肯锡、埃森哲、艾瑞咨询爬取网络数据：如果需要的数据市场上没有，或者不愿意购买，那么可以选择招/做...
目录一、爬虫准备常见问题1、\ufeff一、爬虫准备user_agent列表user_agent_list = [‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER‘,‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)‘,‘Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE...
人生苦短，我用 Python前文传送门：小白学 Python 爬虫（1）：开篇小白学 Python 爬虫（2）：前置准备（一）基本类库的安装小白学 Python 爬虫（3）：前置准备（二）Linux基础入门小白学 Python 爬虫（4）：前置准备（三）Docker基础入门小白学 Python 爬虫（5）：前置准备（四）数据库基础小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装小白学 Python 爬虫（7）：HTTP 基础先赞后看是个好习惯网页的组成我们的数据来源是...
动态讲求 ， # -*- coding: utf-8 -*- # 斌彬电脑 # @Time : 2018/9/1 0001 3:44import requests,jsonclass DouBan:def __init__(self):#请求头部信息self.headers = {‘User-Agent‘:"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"}self.offset = 0 # 翻页参数self.n = 0 # 页码self.file = open(‘dou...
数据提取方法一利用json数据交换格式，看起来像python类型（列表，字典）的字符串使用json之前需要导入 import json哪里会返回json的数据 浏览器切换到手机版抓包appjson.loads 把json字符串转换为python类型json.loads(json字符串)json.dumps 把python类型转化为json字符串（用于保存数据到文本中）json.dumps({})json.dumps(ret,ensure_ascii=False,indent=2) ensure_ascii:让中文显示成中文indent:能够让下一级在上一级的基础上...
爬虫基础知识点导航链接1、Python Scrapy初步使用 ： http://www.cnblogs.com/defineconst/p/6143199.html2、Python 爬虫知识点 ： http://www.cnblogs.com/defineconst/p/6158538.html3、Python 爬虫知识点 - 淘宝商品检索结果抓包分析 ： http://www.cnblogs.com/defineconst/p/6181331.html4、Python 爬虫知识点 - 淘宝商品检索结果抓包分析（续一） ： http://www.cnblogs.com/defineconst/p/6185396.html5、Python 爬虫知识点...
在爬取网站之前，要做以下几项工作 1.下载并检查 网站的robots.txt文件 ，让爬虫了解该网站爬取时有哪些限制。2.检查网站地图 3.估算网站大小利用百度或者谷歌搜索 Site:example.webscraping.com 结果如下 找到相关结果数约5个 数字为估算值。网站管理员如需了解更准确的索引量 4.识别网站所使用的技术使用python 中的builtwith 模块 下载地址https://pypi.python.org/pypi/python-builtwith 运行 pip install builtuith 安装完...
有关httpclient：HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性，它不仅使客户端发送Http请求变得容易，而且也方便开发人员测试接口（基于Http协议的），提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会更加深入。org.apache.commons.httpclient.HttpClient与org.apache.http.client.HttpClient的区别Commons的HttpClient项...
一、cookie和session： 1、cookie和session的定义： cookie是网站用来辨别用户身份，进行会话跟踪，存储在本地终端上的数据。 session起始含义是指有始有终的一系列动作和消息。在web中，session主要用来在服务器存储特定用户对象会话所需要的信息。 2、cookie和session产生的原因： http协议是一个无状态协议，在特定操作的时候，需要保存信息，进而产生了cookie和session。 ...
import re正则表达式：常用的符号：点号 问号 星号 和小括号.：匹配任意字符，换行符\n除外——点号可以理解为占位符，一个点号匹配一个字符。*:匹配前一个字符0次或无限次?:匹配前一个字符0次或者1次.*：贪心算法（尽可能多的匹配到数据）.*?：非贪心算法（尽可能多的找到满足条件的组合）()：括号内的数据将会作为结果返回。常用的方法：findall，Search，Subfindall：匹配所有符合规律的内容Search：匹配并提出第一个符合规律的...
0.可以新建一个用于练习的html文件，在浏览器中打开。329.html<!DOCTYPE html> <html lang="en"> <head><meta charset="UTF-8"><title>Simple DOM Demo</title> </head><body><h1>This is the document body</h1><P ID = "p1Node">This is paragraph 1.</P><P ID = "p2Node">段落2</P><a href="http://www.gzcc.cn/">广州商学院</a><li><a href="http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0328/9113.html"><div class="news-l...
0x1、基础框架原理1.1、爬虫基础爬虫程序主要原理就是模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中1.1、基础原理1、发起HTTP请求2、获取响应内容3、解析内容 解析html数据解析json数据解析二进制数据4、保存数据（数据库、文件）1.2、发起HTTP请求-Request1、HTTP请求方法： 常用的请求方法：GET，POST其他请求方法：HEAD，PUT，DELETE，OPTHONS2、请求URLWeb上每种可用的资源，如 HTML文档、...
一、多线程爬虫（一）程序、进程与线程： 程序：相当于一个应用。 进程：程序运行资源（内存资源）的最小分配单位，一个程序可以有多个进程。 线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。 线程的划分尺度比进程小。 （二）为什么多进程和多线程可以提高程序的运行速度？ 1、提高程序的运行速度的第一种方法：提高CPU的利用率。 ...
categories:爬虫 tags:URL详解什么是HTTP协议和HTTPS协议HTTP协议：全称是HyperText Transfer Protocol,中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口是80HTTPS协议：是HTTP协议的加密版本，在HTTP的基础上加入了SSL层。服务器端口为443在浏览器中发送一个HTTP请求的过程:注意：此过程关注点在Python爬虫并非细节请求过程当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HT...
刚开始接触java爬虫，在这里是搜索网上做一些理论知识的总结主要参考文章：gitchat 的java 网络爬虫基础入门，好像要付费，也不贵，感觉内容对新手很友好。 一、爬虫介绍 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成部分。 传统爬虫： 获得URL -》放入队列 -》抓取网页，分析信息 -》新的URL -》放入队列 -》抓取网页，分析信息... -》满足一定条件，停止。 聚焦爬虫：...