web数据抓取是一个经常在python的讨论中出现的主题。有很多方法可以用来进行web数据抓取，然而其中好像并没有一个最好的办法。有一些如scrapy这样十分成熟的框架，更多的则是像mechanize这样的轻量级库。DIY自己的解决方案同样十分流行：你可以使用requests、beautifulsoup或者pyquery来实现。 方法如此多样的原因在于，数据“抓取”实际上包括很多问题：你不需要使用相同的工具从成千上万的页面中抓取数据，同时使一些Web工作流自...
本文实例讲述了Python使用scrapy抓取网站sitemap信息的方法。分享给大家供大家参考。具体如下：import re from scrapy.spider import BaseSpider from scrapy import log from scrapy.utils.response import body_or_str from scrapy.http import Request from scrapy.selector import HtmlXPathSelector class SitemapSpider(BaseSpider):name = "SitemapSpider"start_urls = ["http://www.domain.com/sitemap.xml"]def parse(sel...
本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法。分享给大家供大家参考。具体如下： 通过下面这段代码可以一目了然的知道scrapy的抓取页面结构，调用也非常简单#!/usr/bin/env python import fileinput, re from collections import defaultdict def print_urls(allurls, referer, indent=0):urls = allurls[referer]for url in urls:print *indent + refererif url in allurls:print_urls(allurls, url, indent+2) def mai...
osc的rss不是全文输出的,不开心，所以就有了python抓取osc最新博客生成Rss# -*- coding: utf-8 -*-from bs4 import BeautifulSoup import urllib2import datetime import time import PyRSS2Gen from email.Utils import formatdate import re import sys import os reload(sys) sys.setdefaultencoding(utf-8)class RssSpider():def __init__(self):self.myrss = PyRSS2Gen.RSS2(title=OSChina, link=http://my.oschina.net, desc...
本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下：# _*_ coding:utf-8 _*_ #xiaohei.python.seo.call.me:) #win+python2.7.x import urllib2 from bs4 import BeautifulSoup def jd(url):page = urllib2.urlopen(url)html_doc = page.read()soup = BeautifulSoup(html_doc.decode(gb2312,ignore))for i in soup.find_all(div, id="sortlist"):one = i.find_all(a)two =...
本文实例讲述了Python抓取百度查询结果的方法。分享给大家供大家参考。具体实现方法如下：#win python 2.7.x import re,sys,urllib,codecs xh = urllib.urlopen("http://www.baidu.com/s?q1=123&rn=100").read().decode(utf-8) rc = re.compile(r(?P.*?),re.I) match = rc.finditer(xh) rcr = re.compile(r<[^>]+>,re.I) f = codecs.open("xiaohei.txt", "w", "utf-8") for i in rc.finditer(xh):ss = i.group(0)s1 = rcr.sub(,ss...
本文实例讲述了Python抓取淘宝下拉框关键词的方法。分享给大家供大家参考。具体如下：import urllib2,re for key in open(key.txt):do = "http://suggest.taobao.com/sug?code=utf-8&q=%s" % key.rstrip()_re = re.findall(\[\"(.*?)\",\".*?\"\],urllib2.urlopen(do).read())for i in _re : print i希望本文所述对大家的Python程序设计有所帮助。
最基本的抓取网页内容的代码实现：#!/usr/bin/env python from urllib import urlretrieve def firstNonBlank(lines): for eachLine in lines: if not eachLine.strip(): continue else: return eachLine def firstLast(webpage): f = open(webpage) lines = f.readlines() f.close() print firstNonBlank(lines), lines.reverse() print firstNonBlank(lines), def download(url=http://www,process=firstLast): try: retval = ur...
你是否苦恼于网上无法下载的“小说在线阅读”内容？或是某些文章的内容让你很有收藏的冲动，却找不到一个下载的链接？是不是有种自己写个程序把全部搞定的冲动？是不是学了 python，想要找点东西大展拳脚，告诉别人“哥可是很牛逼的！”？那就让我们开始吧！ 哈哈~好吧，我就是最近写 Yii 写多了，想找点东西调剂一下.... = =本项目以研究为目的，所有版权问题我们都是站在作者的一边，以看盗版小说为目的的读者们请自行面壁！说了...
本文实例讲述了Python实现周期性抓取网页内容的方法。分享给大家供大家参考，具体如下： 1.使用sched模块可以周期性地执行指定函数 2.在周期性执行指定函数中抓取指定网页，并解析出想要的网页内容，代码中是六维论坛的在线人数 论坛在线人数统计代码：#coding=utf-8 import time,sched,os,urllib2,re,string #初始化sched模块的scheduler类 #第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。 s = sch...
在上篇文章给大家分享PHP源码批量抓取远程网页图片并保存到本地的实现方法，感兴趣的朋友可以点击了解详情。#-*-coding:utf-8-*- import os import uuid import urllib2 import cookielib 获取文件后缀名 def get_file_extension(file): return os.path.splitext(file)[1] 創建文件目录，并返回该目录 def mkdir(path):# 去除左右两边的空格path=path.strip()# 去除尾部 \符号path=path.rstrip("\\")if not os.path.exists(path)...
安装部署Scrapy 在安装Scrapy前首先需要确定的是已经安装好了Python（目前Scrapy支持Python2.5，Python2.6和Python2.7）。官方文档中介绍了三种方法进行安装，我采用的是使用 easy_install 进行安装，首先是下载Windows版本的setuptools（下载地址：http://pypi.python.org/pypi/setuptools），下载完后一路NEXT就可以了。 安装完setuptool以后。执行CMD，然后运行一下命令：easy_install -U Scrapy 同样的你可以选择使用pip安装，...
抓取豆瓣电影TOP100 一、分析豆瓣top页面，构建程序结构 1.首先打开网页http://movie.douban.com/top250start，也就是top页面 然后试着点击到top100的页面，注意带top100的链接依次为http://movie.douban.com/top250?start=0 http://movie.douban.com/top250?start=25 http://movie.douban.com/top250?start=50 http://movie.douban.com/top250?start=75 2.然后通过查看源码，发现电影名的代码如下： 肖申克的救赎/ The Shawshank ...
目的:是学习python 多线程的工作原理，及通过抓取400张图片这种IO密集型应用来查看多线程效率对比import requests import urlparse import os import time import threading import Queuepath = /home/lidongwei/scrapy/owan_img_urls.txt #path = /home/lidongwei/scrapy/cc.txt fetch_img_save_path = /home/lidongwei/scrapy/owan_imgs/# 读取保存再文件里面400个urls with open(path) as f :urls = f.readlines()urls = urls[:...
Python2.7Mac OS 抓取的是电影天堂里面最新电影的页面。链接地址： http://www.dytt8.net/html/gndy/dyzz/index.html 获取页面的中电影详情页链接import urllib2 import os import re import string# 电影URL集合 movieUrls = []# 获取电影列表 def queryMovieList():url = http://www.dytt8.net/html/gndy/dyzz/index.html conent = urllib2.urlopen(url)conent = conent.read()conent = conent.decode(gb2312,ignore).encode(utf...