正则表达式是处理字符串的强大工具，有着自己的语法结构。1.实例引入可以使用开源中国的 http://tool.oschina.net/regex# 可以看到有许多匹配项，正则表达式匹配就是按照一定规则将特定的文本提取出来。比如电子邮件开头是一段字符串，然后是一个@符号，最后是某个域名，这是由特定的格式组成的。至于匹配的具体规则，可以参见这个博客https://www.jianshu.com/p/773c32dcd254 一些规则的汇总可以看这个博主https://www.cnblog...
尽管上一篇博客中我们能够连续地阅读章节了，可是。难道每一次看小说都执行一下我们的 Python 程序？连记录看到哪里都不行，每次都是又一次来过？当然不能这样，改！如今这么多小说阅读器，我们仅仅须要把我们要的小说抓取到本地的 txt 文件中就好了，然后自己选个阅读器看。怎么整都看你了。 事实上上个程序我们已经完毕了大部分逻辑，我们接下来的修改仅仅须要把抓取到每一章的时候不用显示出来，而是存入 txt 文件之中。另外...
import webbrowser as web import time import os i = 0 MAXNUM = 1 while i <= MAXNUM:web.open_new_tab('要刷的网络地址')os.system('taskkill /F /IM 浏览器文件名(chrome.exe)')i += 1 else:print 'happly day!' 代码和简单只要一个第三方的函数和调用系统的文件就OK了。记住给要刷的次数定值，不然电脑就不好受了！原文：http://blog.csdn.net/zhongshijunacm/article/details/38275097
这次的主要的目的是从淘宝的搜索页面获取商品的信息。其实分析页面找到信息很容易，页面信息的存放都是以静态的方式直接嵌套的页面上的，很容易找到。主要困难是将信息从HTML源码中剥离出来，数据和网页源码结合的很紧密，剥离数据有一定的难度。然后将获取的信息写入excel表格保存起来，这次只爬取了前面10页 的内容。在运行代码的过程中发现，30页后面的数据有问题，出现了手机价格为0的情况，这是不符合实际的，码也没有写错误处...
一. 安装：1. 安装py3，使用Homebrew： ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew install python32. 安装请求库，Pip 是安装python包的工具，提供了安装包，列出已经安装的包，升级包以及卸载包的功能。pip3区别py3和py2。 pip3 install requests二、python创建简单的web方法1.使用eclipse创建工程1）Django 是用 Python 开发的一个免费开源的 Web 框架;D...
1.项目准备：网站地址：http://quanzhou.tianqi.com/ 2.创建编辑Scrapy爬虫：scrapy startproject weatherscrapy genspider HQUSpider quanzhou.tianqi.com项目文件结构如图： 3.修改Items.py： 4.修改Spider文件HQUSpider.py：（1）先使用命令：scrapy shell http://quanzhou.tianqi.com/ 测试和获取选择器： （2）试验选择器：打开chrome浏览器，查看网页源代码：（3）执行命令查看response结果： （4）编写HQUSpider.py文件：...
1.Redis连接启动服务：cd redis的安装路径------>redis-server.execd redis的安装路径------>redis-clipython中连接redis：#第一种连接from redis import StrictRedis redis = StrictRedis(host=‘localhost‘,port=6379,db=0) #第二种连接from redis import StrictRedis,ConnectionPool pool = ConnectionPool(host=‘localhost‘,port=6379,db=0) redis = StrictRedis(connection_pool=pool) redis.set(‘name‘,‘bob‘) print(...
利用 Urllib 的 robotparser 模块我们可以实现网站 Robots 协议的分析，本节我们来简单了解一下它的用法。 1. Robots协议Robots 协议也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫做 robots.txt 的文本文件，放在网站的根目录下。当搜索爬虫访问一个站点时，它首先会检查下这个站点根目录下是否存在 robots...
# -*- coding:utf-8 -*- #https://blog.csdn.net/qq_32166627/article/details/60882964import requests import os import pinyindef getManyPages(keyword,pages):params=[]for i in range(30,30*pages+30,30):params.append({‘tn‘: ‘resultjson_com‘,‘ipn‘: ‘rj‘,‘ct‘: 201326592,‘is‘: ‘‘,‘fp‘: ‘result‘,‘queryWord‘: keyword,‘cl‘: 2,‘lm‘: -1,‘ie‘: ‘utf-8‘,‘oe‘: ‘utf-8‘,‘adpicid‘: ‘‘...
人生苦短，我用 Python前文传送门：小白学 Python 爬虫（1）：开篇小白学 Python 爬虫（2）：前置准备（一）基本类库的安装小白学 Python 爬虫（3）：前置准备（二）Linux基础入门小白学 Python 爬虫（4）：前置准备（三）Docker基础入门小白学 Python 爬虫（5）：前置准备（四）数据库基础小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装小白学 Python 爬虫（7）：HTTP 基础小白学 Python 爬虫（8）：网页基础小白学 Pyth...
#!/usr/bin/python # -*- coding: utf-8 -*-import sys import re import urllib2from BeautifulSoup import BeautifulSoupdef search(key):#请求搜索链接，关键字用参数key代替search_url='http://www.baidu.com/s?ie=UTF-8&wd=key'req=urllib2.urlopen(search_url.replace('key',key))#计数变量，用来记录页数count = 1#主循环，抓取每一页的url，直到最后一页while 1:print "\033[1;31mpage %s:\033[0m" % counthtml=req.read()...
程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。过程分析：一、进入斗鱼首页http://www.douyu.com/directory/all进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将获取不到完整数据，这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页，这样就可以获取完整响应数据了。首先检查下一页元素，如下：<a href="#" class...
接触python也有一段时间了，一提到python，可能大部分pythoner都会想到爬虫，没错，今天我们的话题就是爬虫！作为一个小学生，关于爬虫其实本人也只是略懂，怀着”Done is better than perfect”的态度硬着头皮开始了这篇文章的撰写！好了，废话不多说！ 先说一下今天我们的目的，作为一个音痴但不影响我对于音乐的执着，所以今天我们爬取的是网易云音乐，我们将会通过代码爬取歌词并写入到本地。 作为新手，我很本能就打开页...
写了一个抓taobao图片的爬虫，全是用if，for，while写的，比较简陋，入门作品。从网页http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。# -*- coding: cp936 -*-import urllib2import urllibmmurl="http://mm.taobao.com/json/request_top_list.htm?type=0&page="i=0#第二页有个人的页面没图片,会出现IO错误while i<15:url=mmurl+str(i)#print url #打印出列表的urlup=urllib2.urlopen(url)#打...
代码：# _*_ coding:utf-8 _*_ import urllib2 import re from datetime import datetimeclass QSBK:def __init__(self):self.pageIndex = 1self.user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘self.headers = {‘User-Agent‘:self.user_agent}self.stories = []self.enable = Falsedef getPage(self,pageIndex):try:url = ‘http://www.qiushibaike.com/hot/page‘+str(pageIndex)request = urllib2.Request(...