文章目录 一. Scrapy框架简介1. Scrapy 框架介绍2. 数据处理流程二. Scrapy 及其依赖库的安装三. Scrapy 项目开发流程1. 常用命令2. 创建 Scrapy 项目3. 创建 Spider4. 创建 Item5. 解析 Response6. 使用 Item7. 后续 Request（1）继承 Scrapy.spider（2）为 Spider 命名（3）设定起始爬取点（4）实现页面解析函数 8. 运行9. 保存到文件四. 实例——爬取书籍信息1. 创建项目2. 创建爬虫3. 解析 Response4. 运行爬虫并保存数据一. S...
当你开发比较多爬虫之后，会发现有一些功能是相通的，比如网站地图的爬取，XML源的数据抓取，CSV文件的抓取。scrapy框架提供了一些特殊功能的类来处理这种情况，这样我们再在上面开发，就可以省时省力了，达到四两拨千斤的效果。下面立即就来学习它们，学会了就可以应用到自己的工程里去。 主要有蜘蛛类CrawlSpider、XMLFeedSpider、CSVFeedSpider、 SitemapSpider。 在学习过程中，我们需要使用一些辅助数据结构，就是定义item对...