分页交互在请求数据时有同步和异步两种情况，同步时页面整体刷新，异步时页面局部刷新。对于这两种分页的数据在进行爬虫时，处理的方式是不一样的。 DEMO仅供学习，域名全部匿为test同步分页同步分页时，页面整体刷新，url地址栏会发生变化爬虫解析的数据对象是html测试场景：抓取某招聘网站北京区的Java职位#coding=utf-8import scrapyclass TestSpider(scrapy.Spider):name=testdownload_delay=3user_agent=Mozilla/5.0 (Windows...
我实际上正在使用python中的scrapy进行爬虫,我几乎完成了,我只是有一点问题.网站使用这样的分页：<div class="pagination toolbarbloc"><ul><li class="active"><span>1</span></li><li><a href="...">2</a></li><li><a href="...">3</a></li><li><a href="...">4</a></li><li><a href="...">5</a></li><li><a class="end" href="...">>></li></ul></div>所以我试着在“活跃”等级之后抓住“href”到balise li. 我尝试这样的事情：...