node.js实现博客小爬虫的实例代码
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了node.js实现博客小爬虫的实例代码,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2249字,纯文字阅读大概需要4分钟。
内容图文
前言
爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
这篇文章介绍的是利用node.js实现博客小爬虫,核心的注释我都标注好了,可以自行理解,只需修改url和按照要趴的博客内部dom构造改一下filterchapters和filterchapters1就行了!
下面话不多说,直接来看实例代码
var http=require('http'); var Promise=require('Bluebird'); var cheerio = require('cheerio'); var url='http://www.immaster.cn';//博客地址 function filterchapters1(html) {//解析文章链接 var $ =cheerio.load(html); var post=$('.post'); var content=[]; post.each(function (item) { var postid=$(this).find('.tit').find('a').attr('href'); content.push(postid); }) return content; } function filterchapters(html) {//解析每个文章内的内容 var $ =cheerio.load(html); var tit=$('.post .tit').find('a').text(); var postid=$('.tit').find('a').attr('href'); var commentnum=$('.comments-title').text(); commentnum=commentnum.trim(); // commentnum=commentnum.replace('\n',''); var content={tit:tit,url:postid,commentnum:commentnum}; return content; } function getid(url){//爬取首页文章链接 return new Promise(function (resolve,reject) { http.get(url,function (res) { var html = ''; res.on('data',function(data) { html+=data; }); res.on('end',function () { var content=filterchapters1(html) resolve(content); }) }).on('error',function () { reject(e); console.log('抓取出错!') }) }) } function getpageAsync(url) {//爬取单个页面内容 return new Promise(function (resolve,reject) { console.log('正在爬取……'+url) http.get(url,function (res) { var html = ''; res.on('data',function(data) { html+=data; }); res.on('end',function () { resolve(html); }) }).on('error',function () { reject(e); console.log('抓取出错!') }) }) } getid(url) .then(function(postid){ return new Promise(function (resolve,reject) { var pageurls=[]; postid.forEach(function (id) { pageurls.push(getpageAsync(id)); }) resolve(pageurls); }) }) .then(function(pageurls){ return new Promise.all(pageurls);//让promise对象同时开始运行 }) .then(function (pages) { var coursesData=[]; pages.forEach(function (html) { var courses=filterchapters(html); coursesData.push(courses); }) coursesData.forEach(function(v){ console.log('标题:'+v.tit+"\n地址:"+v.url+"\n评论:"+v.commentnum) }) })
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用node.js实现爬虫能有所帮助,如果有疑问大家可以留言交流。
内容总结
以上是互联网集市为您收集整理的node.js实现博客小爬虫的实例代码全部内容,希望文章能够帮你解决node.js实现博客小爬虫的实例代码所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。