暑假放假在家没什么事情做，所以在学习了爬虫，在这个博客园里整理记录一些学习的笔记。构建表单数据（以http://www.iqianyue.com/mypost 这个简单的网页为例）查看源代码，发现name属性值为“name”，密码对应的输入框中，name属性值为“pass”。因此构建表单的数据中要包含两个字段，字段名为“name”，“pass”，字段值设置成对应的需要传递的值。 格式为字典： {字段名1：字段值1，字段名2：字段值2，...} 下面是代...
原文 http://www.xgezhang.com/python_crawler_jingdong.html先上我的代码。参考了上面链接的文章# -*- coding: utf-8 -*- # !/usr/bin/python import os import urllib2 import urllib import cookielib import re import sys from bs4 import BeautifulSoup ‘‘‘ 编码方式的设置,在中文使用时用到中文时的处理方式 ‘‘‘ default_encoding = "utf-8" if sys.getdefaultencoding() != default_encoding: reload(sys) sys...
有道词典的web接口，实际上可以用爬虫模拟，输入key，拼接为有道词典接口的formdata，爬取返回值，实际为Ajax动态生成的translation，这样外部来看实现了翻译接口的模拟，相当于爬虫模拟浏览器调用了有道词典web接口，其实讲真的话来说，直接调用有道web接口，传json参数就可以了，不用这么费事，但爬虫模拟了人登陆web，输入关键词，获得翻译结果的过程。浏览器输入操作，解析有道词典翻译的web接口url和格式#爬虫模拟调用有道词典...
1. 请求方式# 介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求1. Request = requests.rquest(method, url, **kwargs) # 构造一个请求# ethod(6个) head/get/post/put/patch/delete2. requests.head(url, **kwargs)3. requests.ge...
一、基本思路打开F12尝试输入单词girl，会发现每敲一个字母后都有请求请求地址是http://fanyi.baidu.com/sug利用NetWork-All-Hearders，查看发现Fromdata的值是 kw:girl检查返回内容格式，发现返回的是json格式的内容，所以需要用到json包二、实现过程from urllib import request,parse import json # 伪造uafrom fake_useragent import UserAgent import chardetbaseurl = ‘https://fanyi.baidu.com/sug‘ kw = input("请输入你要...
京东商品爬取仅供学习一.使用seleniumfrom selenium import webdriver from selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as EC import timedef get_goods(driver):try:goods=driver.find_elements_by_class_name('gl-item')for good in goods:detail_url=good.find_element_by_tag_name('a').get_attribute('href')p_name=good.find_element_by_css_sel...
这次练习爬 传送门 这贴吧里的美食图片。如果通过img标签和class属性的话，用BeautifulSoup能很简单的解决，但是这次用一下正则表达式，我这也是参考了该博主的博文：传送门所有图片的src地址前面都是相同的，所以根据这个就可以筛选出我们想要的图片了。也就是在匹配时不用class属性的值，而是用正则表达式去匹配src的值。 1from urllib import request2from bs4 import BeautifulSoup3import re4 5def get_page(url, tot_page):6...
一年前突然有个灵感，想搞个强大的网盘搜索引擎，但由于大学本科学习软件工程偏嵌入式方向，web方面的能力有点弱，不会jsp，不懂html，好久没有玩过sql，但就是趁着年轻人的这股不妥协的劲儿，硬是把以前没有学习的全部给学了一遍，现在感觉web原来也就那么回事。好了，废话就不说了，看到本文的读者，可以先看看我做的东西：去转盘网：www.quzhuanpan.comok搜搜：www.oksousou.com（这个是磁力，顺便拿出来给大伙观赏）言归正传，...
目录1.需求描述2.实战代码2.1 单线程爬取2.2 多线程版1.需求描述爬取斗图啦网站，地址为：https://www.doutula.com/photo/list/，网站截图如下：现在需要按页爬取前2页的表情包，那么接下来直接上代码吧。2.实战代码2.1 单线程爬取 from urllib import request import requests from lxml import etree import re import osHEADERS= {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like...
其实这次的内容我是想放在上一篇的博文中的，但是上次犯懒了，就放在这里了奥。基于mysql持久化操作：将爬取数据写入文件这种情况还是少见的，因为文件无论是内存占用还是读写速度都存在一定的瑕疵，所以我们更多的是操作数据库。因为items对象已经准备好了所以我们只需要进行pipeline管道更改就可以了import pymysql class QiubaiproPipelineByMysql(object):conn = None #mysql的连接对象声明cursor = None#mysql游标对象声明de...
尽管上一篇博客中我们能够连续地阅读章节了，可是。难道每一次看小说都执行一下我们的 Python 程序？连记录看到哪里都不行，每次都是又一次来过？当然不能这样，改！如今这么多小说阅读器，我们仅仅须要把我们要的小说抓取到本地的 txt 文件中就好了，然后自己选个阅读器看。怎么整都看你了。 事实上上个程序我们已经完毕了大部分逻辑，我们接下来的修改仅仅须要把抓取到每一章的时候不用显示出来，而是存入 txt 文件之中。另外...
这次的主要的目的是从淘宝的搜索页面获取商品的信息。其实分析页面找到信息很容易，页面信息的存放都是以静态的方式直接嵌套的页面上的，很容易找到。主要困难是将信息从HTML源码中剥离出来，数据和网页源码结合的很紧密，剥离数据有一定的难度。然后将获取的信息写入excel表格保存起来，这次只爬取了前面10页 的内容。在运行代码的过程中发现，30页后面的数据有问题，出现了手机价格为0的情况，这是不符合实际的，码也没有写错误处...
1.Redis连接启动服务：cd redis的安装路径------>redis-server.execd redis的安装路径------>redis-clipython中连接redis：#第一种连接from redis import StrictRedis redis = StrictRedis(host=‘localhost‘,port=6379,db=0) #第二种连接from redis import StrictRedis,ConnectionPool pool = ConnectionPool(host=‘localhost‘,port=6379,db=0) redis = StrictRedis(connection_pool=pool) redis.set(‘name‘,‘bob‘) print(...
人生苦短，我用 Python前文传送门：小白学 Python 爬虫（1）：开篇小白学 Python 爬虫（2）：前置准备（一）基本类库的安装小白学 Python 爬虫（3）：前置准备（二）Linux基础入门小白学 Python 爬虫（4）：前置准备（三）Docker基础入门小白学 Python 爬虫（5）：前置准备（四）数据库基础小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装小白学 Python 爬虫（7）：HTTP 基础小白学 Python 爬虫（8）：网页基础小白学 Pyth...
程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。过程分析：一、进入斗鱼首页http://www.douyu.com/directory/all进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将获取不到完整数据，这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页，这样就可以获取完整响应数据了。首先检查下一页元素，如下：<a href="#" class...