分页交互在请求数据时有同步和异步两种情况,同步时页面整体刷新,异步时页面局部刷新。对于这两种分页的数据在进行爬虫时,处理的方式是不一样的。 DEMO仅供学习,域名全部匿为test同步分页同步分页时,页面整体刷新,url地址栏会发生变化爬虫解析的数据对象是html测试场景:抓取某招聘网站北京区的Java职位#coding=utf-8import scrapyclass TestSpider(scrapy.Spider):name=testdownload_delay=3user_agent=Mozilla/5.0 (Windows...
我实际上正在使用python中的scrapy进行爬虫,我几乎完成了,我只是有一点问题.网站使用这样的分页:<div class="pagination toolbarbloc"><ul><li class="active"><span>1</span></li><li><a href="...">2</a></li><li><a href="...">3</a></li><li><a href="...">4</a></li><li><a href="...">5</a></li><li><a class="end" href="...">>></li></ul></div>所以我试着在“活跃”等级之后抓住“href”到balise li. 我尝试这样的事情:...