def parse_store_list(self, response):
    hxs = HtmlXPathSelector(response)
    store_selectors = hxs.select(‘//div[@class="ShopList"]/table/tr‘)[1:]

    for s in store_selectors:
        ...
        store.add_value(‘branch‘, s.select(‘th/p/text()‘).extract())
        store.add_value(‘address‘, s.select(‘td/span/text()‘).extract())
        ...
    

• HtmlXPathSelector 需要一个 Response 对象来实例化。
• //div[@class="ShopList"]/table/tr 选择了所有包含罗森门店信息的tr 标签。
• s.select(‘th/p/text()‘).extract() 在之前的选择基础上继续对其子标签做选择，这里就确实得选择到了分店名。extract() 则将该标签的文本数据读取出来。
• HtmlXPathSelector 还有正则表达式接口，后文会提到。

Field, Item 及 Item Loader

Field 仅仅是一个 dict 的 wrapper 类，因此使用方法与dict 完全一样，在scrapy 中它负责声明单个 Item 的字段及该字段的各种行为（如序列化方法serializer）。

Item 用 Field 定义了单个有效数据的具体字段，而实际中则是主要有两种方法写入数据：

1. 使用其类似dict 的接口进行数据的写入和读取，key 为字段名。
2. 使用 Item Loader。

dict 接口的用法如上所示很简单，这里说一下 Item Loader。

        from scrapy.contrib.loader import ItemLoader
from scrapy.contrib.loader.processor import Compose

from lawson.items import ConvStore


class StoreLoader(ItemLoader):
    default_output_processor = Compose(lambda v: v[0], unicode.strip)

    def branch_in(self, values):
        for v in values:
            v = v.strip()
            yield v + u‘店‘ if not v.endswith(u‘店‘) else v


class LawsonSpider(CrawlSpider):
    ...

    def parse_store_list(self, response):
        hxs = HtmlXPathSelector(response)
        store_selectors = hxs.select(‘//div[@class="ShopList"]/table/tr‘)[1:]

        for s in store_selectors:
            store = StoreLoader(item=ConvStore(), response=response)
            store.add_value(‘name‘, u‘罗森‘)
            store.add_value(‘alias‘, u‘Lawson‘)
            store.add_value(‘branch‘, s.select(‘th/p/text()‘).extract())
            store.add_value(‘address‘, s.select(‘td/span/text()‘).extract())
            store.add_value(‘district‘, response.meta[‘link_text‘])
            store.add_value(‘city‘, u‘上海‘)

            yield store.load_item()
    

Item Loader 的主要作用是对抓取数据的各个字段进行特殊处理，在这里我们定义了一个StoreLoader 类继承（Inherit）自ItemLoader：

• default_output_processor 定义默认的输出处理器，这里我们对抓取的数据值进行strip 操作。
• branch_in 方法是对 branch 字段的特殊处理，它发生在输入的时候，也就是刚抓取到数据之后。这里的处理是为没有店这个字的分店名补上这个字。
• <field>_in 和 <field>_out 会各对指定字段做一次处理，前者是在刚抓取到数据时，后者是在最终输出之前，用户根据需要定义相应方法。
  • scrapy 有一些 built-in processor可以直接使用，进行一些通用处理。
• add_value 将值赋予相应字段，很好理解。
• load_item 返回该条填充过数据的 Item。

使用 Item Loader 的好处显而易见，我们有一个统一的地方对所有数据字段进行处理，不用将其混入抓取逻辑，使整个流程分工明确。【统一处理】

        store = XPathItemLoader(item=ConvStore(), response=response)
store.add_xpath(‘branch‘, ‘//div[@class="ShopList"]/table/tr[2]/th/p/text()‘)
    

加上经纬度

经纬度对于定位一个地点是很有用的，通过电子地图能够精确地定位至相关地点。我发现罗森网站提供了这个信息，但它并未明文显示，而是需要通过其所链接到的百度地图的页面中去抓取下来，听起来很麻烦，但实际却很简单。

        from urlparse import urljoin

from scrapy.contrib.loader import XPathItemLoader
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.utils.response import get_base_url

from poi_scrape.items import ConvStore


class StoreLoader(XPathItemLoader):
    ...

class LawsonSpider(BasePoiSpider):
    ...

    def parse_geo(self, response):
        hxs = HtmlXPathSelector(response)
        store = response.meta[‘store‘]

        lng, lat = hxs.re(r‘(\d+\.\d+),(\d+\.\d+)‘)
        store.add_value(‘latitude‘, lat)
        store.add_value(‘longitude‘, lng)
        return store.load_item()

    def parse_store_list(self, response):
        ...

        for s in store_selectors:
            store = StoreLoader(item=ConvStore(), response=response)
            ...

            map_rel_url = s.select(‘td/a/@rel‘).extract()
            if map_rel_url:
                map_url = urljoin(get_base_url(response), map_rel_url[0])
                req = Request(map_url, callback=self.parse_geo)
                req.meta[‘store‘] = store
                yield req
            else:
                yield store.load_item()
    

这里为 LawsonSpider 新增了一个方法 parse_geo，同时改写了parse_store_list。

• 在 parse_store_list 的循环中我抓取每个店的tr 标签中的 td/a/@rel 属性（Attribute）（这里 @rel 表示a 标签的 rel 属性），若有这一属性则对这个地图的链接发起请求，即 yield req。
  • 在 scrapy 中，spider 类中的方法若返回 Request 实例则 scrapy 会自动对该Request 包含的 URL 发出请求，并将其返回的结果封装为 Response 后交给callback 参数中指定的方法处理，若未指定callback，则交给 parse 方法处理。
• req.meta[‘store‘] = store，每个 Request 有一个预定义的 meta 属性（dict），保存在其中的值在其对应的 Response 中可以再次取出：store = response.meta[‘store‘]。【meta：英文意思为在其中】
• hxs.re(r‘(\d+\.\d+),(\d+\.\d+)‘) 使用了 HtmlXPathSelector的正则表达式接口直接从网页中通过正则表达式匹配抓取数据。

完整 spider 代码

from urlparse import urljoin

from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.loader import XPathItemLoader
from scrapy.contrib.loader.processor import Compose
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from scrapy.utils.response import get_base_url

from lawson.items import ConvStore


class StoreLoader(XPathItemLoader):
    default_output_processor = Compose(lambda v: v[0], unicode.strip)

    def branch_in(self, values):
        for v in values:
            v = v.strip()
            yield v + u‘店‘ if not v.endswith(u‘店‘) else v


class LawsonSpider(CrawlSpider):
    name = ‘lawson‘
    start_urls = [‘http://www.lawson.com.cn/shops‘]
    allowed_domains = [‘lawson.com.cn‘]
    rules = (
            Rule(SgmlLinkExtractor(allow=r‘list\?area_id=\d+‘, tags=‘a‘),
                callback=‘parse_store_list‘),
            )

    def parse_geo(self, response):
        hxs = HtmlXPathSelector(response)
        store = response.meta[‘store‘]

        lng, lat = hxs.re(r‘(\d+\.\d+),(\d+\.\d+)‘)
        store.add_value(‘latitude‘, lat)
        store.add_value(‘longitude‘, lng)
        return store.load_item()

    def parse_store_list(self, response):
        hxs = HtmlXPathSelector(response)
        store_selectors = hxs.select(‘//div[@class="ShopList"]/table/tr‘)[1:]

        for s in store_selectors:
            store = StoreLoader(item=ConvStore(), response=response)
            store.add_value(‘name‘, u‘罗森‘)
            store.add_value(‘alias‘, u‘Lawson‘)
            store.add_value(‘branch‘, s.select(‘th/p/text()‘).extract())
            store.add_value(‘address‘, s.select(‘td/span/text()‘).extract())
            store.add_value(‘district‘, response.meta[‘link_text‘])
            store.add_value(‘city‘, u‘上海‘)

            map_rel_url = s.select(‘td/a/@rel‘).extract()
            if map_rel_url:
                map_url = urljoin(get_base_url(response), map_rel_url[0])
                req = Request(map_url, callback=self.parse_geo)
                req.meta[‘store‘] = store
                yield req
            else:
                yield store.load_item()

文章参考：

1、http://kanedou.me/2012/07/introducing-python-scrapy-part-i/

2、http://blog.csdn.net/pleasecallmewhy/article/details/19642329

3、http://www.xefan.com/archives/83883.html

4、http://www.linuxeden.com/html/news/20140102/147107.html                    【提到了将数据存储在数据库中】

原文：http://blog.csdn.net/yixiantian7/article/details/20800647