利用nodejs爬虫使用superagent和cheerio的方法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了利用nodejs爬虫使用superagent和cheerio的方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3731字，纯文字阅读大概需要6分钟。

内容图文

这篇文章主要介绍了nodejs爬虫初试superagent和cheerio的相关知识，非常不错，具有参考借鉴价值,需要的朋友可以参考下

前言

　　早就听过爬虫，这几天开始学习nodejs，写了个爬虫https://github.com/leichangchun/node-crawlers/tree/master/superagent_cheerio_demo，爬取 博客园首页的文章标题、用户名、阅读数、推荐数和用户头像，现做个小总结。

　　使用到这几个点：

　　1、node的核心模块-- 文件系统

　　2、用于http请求的第三方模块 -- superagent

　　3、用于解析DOM的第三方模块 -- cheerio

　　几个模块详细的讲解及API请到各个链接查阅，demo中只有简单的用法。

准备工作

　　使用npm管理依赖，依赖信息会存放在package.json中

　　引入所需要用到的功能模块

请求 + 解析页面

　　想要爬到博客园首页的内容，首先要请求首页地址，拿到返回的html，这里使用superagent进行http请求，基本的使用方法如下：

　　向指定的url发起get请求，请求错误时，会有error返回（没有错误时，error为null或undefined），res为返回的数据。

　　拿到html内容后，要拿到我们想要的数据，这个时候就需要用cheerio解析DOM了，cheerio要先load目标html，然后再进行解析，API和jquery的API非常类似，熟悉jquery上手非常快。直接看代码实例

存储数据

　　上面解析DOM之后，已经拼接了所需要的信息内容，也拿到了图片的URL，现在就进行存储，把内容存放到指定目录的txt文件中，而且下载图片到指定目录

　　先创建目录，使用nodejs核心的文件系统

　　有了指定目录之后，可以写入数据了，txt文件的内容已经有了，直接写入就可以了使用writeFile()

　　取到了图片的链接，所以需要再使用superagent下载图片，存在本地。superagent可以直接返回一个响应流，再配合nodejs的管道，直接把图片内容写到本地

效果　　

　　执行下demo，看下效果，数据已经正常爬下来了

　　非常简单的一个demo，可能也没有那么严谨，不过总是走出了node的第一小步。

上面是我整理给大家的，希望今后会对大家有帮助。

相关文章：

Vue的路由动态重定向和导航守卫实例

vue实现的上传图片到数据库并显示到页面功能示例

解决使用vue.js路由后失效的问题

以上就是利用nodejs爬虫使用superagent和cheerio的方法的详细内容，更多请关注Gxl网其它相关文章！

内容总结

以上是互联网集市为您收集整理的利用nodejs爬虫使用superagent和cheerio的方法全部内容，希望文章能够帮你解决利用nodejs爬虫使用superagent和cheerio的方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---