1. 有些scrapy命令，只有在scrapy project根目录下才available,比如crawl命令2 . scrapy genspider taobao http://detail.tmall.com/item.htm?id=12577759834自动在spider目录下生成taobao.py# -*- coding: utf-8 -*- import scrapyclass TaobaoSpider(scrapy.Spider): name = "taobao" allowed_domains = ["http://detail.tmall.com/item.htm?id=12577759834"] start_urls = ( ‘http://www.http://detail.tm...
PM2.5 对人体的健康影响很大，所以空气中的 PM2.5 实时信息受到越来越多的关注。Python 的 Pandas 套件不但可以自动读取网页中的表格 数据 ， 还可对数据进行修改、排序等处理，也可绘制统计 图表，对于信息抓取、整理以及显示是不可多得的好工具。将开发一个 PM2.5 实时监测显示器程序 。 本程序 可以直接读取行指定网站上的 PM2.5 数据，并在整理后显 示，这样就可以方便地让用户随时看到最新的 PM2.5 监测 数据。应用程序总览 执...
JSON简介JSON(全称JavaScript Obejct Notation，JavaScript对象标记)，基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式，通过对象和数组的组合来表示数据，构造方法简洁且其结构化程度高，是一种轻量级的数据交换格式。在JSON中，支持很多数据类型，包括有对象、数组、整型、浮点型、布尔型、NULL类型以及字符串类型（由于是JSON基于ES，在python中，字符串必须要用双引号，不能用单引号），而这些...
1. JSON与JsonPATHJSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。JSON和XML的比较可谓不相上下。Python 中自带了JSON模块，直接import json就可以使用了。官方文档：http://docs.python.org/library/json.htmlJson在线解析网站：http://www.json.cn/#2. JSONjson简单说就是java...
有时候在我们设计利用requests抓取网页数据的时候，会发现所获得的结果可能与浏览器显示给我们的不一样：比如说有的信息我们通过浏览器可以显示，但一旦用requests却得不到想要的结果。这种现象是因为我们通过requests获得的都是HTML源文档，而浏览器中见到的页面数据都是经过JavaScript处理的，而这些处理的数据可能是通过Ajax加载、本身包含于HTML中或是经过JavaScript自动生成。由Web发展趋势来看，越来越多的网页都通过Ajax加载...
python 3.x报错：No module named ‘cookielib‘或No module named ‘urllib2‘1. ModuleNotFoundError: No module named ‘cookielib‘ Python3中，import cookielib改成 import http.cookiejar,然后方法里cookielib也改成 http.cookiejar。2. ModuleNotFoundError: No module named ‘urllib2‘Python 3中urllib2用urllib.request替代。在Python官方文档里面已有说明：Note:The urllib2 module has been split across se...
1. Beautiful Soup的简介Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需...
#-*- coding:utf-8 -*-import requests from bs4 import BeautifulSoup import html5lib import re import urllib url1 = ‘http://accounts.douban.com/login‘ url2 = ‘http://www.douban.com/people/*****/contacts‘ formdata={ "redir":"http://www.douban.com/", "form_email":"************", "form_password":"*******", #‘captcha-solution‘:‘blood‘, #‘captcha-id‘:‘cRPGXEYPFHjkfv3u7K4Pm0v1:en‘,"login":"登录...
常用爬虫。0.Snoopy是什么? （下载snoopy） Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机 * 支持基本的用户名/密码验证 * 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) * 支持浏览器转向，并能控制转向深度 * 能把网页中的链接扩展成高...
接着上一篇笔记这次将该blog的所有文章都下载下来思路为根据dict中的url去解析网页 并将其中的博文部分获取并下载下来#coding=utf-8import urllib2 import urllib from bs4 import BeautifulSoup import sys reload(sys) sys.setdefaultencoding(‘utf-8‘) def query_item(input,tag=None,cla=None):‘‘‘获取对应url中 div标签 class的对象返回的是set对象p‘‘‘soup=BeautifulSoup(input,"html.parser")if cla==None:if tag =...
Koa -- 基于 Node.js 平台的下一代 web 开发框架koa是由 Express 原班人马打造的，致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用，可以免除重复繁琐的回调函数嵌套， 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件， 它仅仅提供了一个轻量优雅的函数库，使得编写 Web 应用变得得心应手。开发思路和express差不多，最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性...
一、简单配置，获取单个网页上的内容。 （1）创建scrapy项目scrapy startproject getblog （2）编辑 items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.htmlfrom scrapy.item import Item, Fieldclass BlogItem(Item):title = Field()desc = Field()（3）在 spiders 文件夹下，创建 blog_spider.py 需要熟悉下xpath选择...
这里写目录标题 一，urllib四大模块 1，request：基本的HTTP请求模块，可以用来模拟发送请求。 2，error：异常处理模块。 3，parse：工具模块，提供URL处理方法。 4，robotparse：识别网站的robot.txt文件，判断该网站是否可以爬。 二，发送请求 Ⅰ：urlopen的使用 作用 抓取网页源代码。使用方法 import urllib.requestresponse = urllib.request.urlopen('https://www.baidu.com/')print(response.read().decode('utf-8'))程序将...
更新日期: 2021.04.09 本节学习内容 ： 上一节练习了获取当当网图书清单，页面上没有判停的标志，使用 selenium不断的下拉滚动条继续加载，拉了 97次，终于到底了~ 本节操练下使用 selenium 的另一种场景，即页面下方有个按键，比如 “点击下载更多”，不断的下拉滚动条，然后点击这个按键，直到这个按键不再出现了（拉到底了），或者，已经拉到了我预定的次数（获得了足够的信息），不需要继续加载了。 目录 1. 采集豆瓣网电影清单...
Fiddler工具的使用 1. Fiddler抓包工具简介2. Fiddler的安装与配置2.1 fiddler的安装2.1 fiddler的配置 3. Fiddler配置移动端4. 利用Fiddler工具爬取移动端数据4.1 利用fiddler寻找数据接口4.2 代码编写1. Fiddler抓包工具简介 什么是fiddler： 它是一个http协议调试代理工具 ，记录并检查你的电脑和互联网之间的通讯。 官网链接：https://www.telerik.com/fiddler fiddler的优点： 使用简单；支持众多的http调试任务；支持大多数...