首页 / NODEJS / Nodejs爬虫进阶教程之异步并发控制

Nodejs爬虫进阶教程之异步并发控制

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Nodejs爬虫进阶教程之异步并发控制，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5239字，纯文字阅读大概需要8分钟。

内容图文

之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是下到你睡完觉它还在下，而且我们用nodejs写的爬虫，却竟然没有用到nodejs最牛逼的异步并发的特性，太浪费了啊。

思路

这次的的爬虫是上次那个的升级版，不过呢，上次那个虽然是简单，但是很适合新手学习啊。这次的爬虫代码在我的github上可以找到=>NodeSpider。

整个爬虫的思路是这样的：在一开始我们通过请求问题的链接抓取到部分页面数据，接下来我们在代码中模拟ajax请求截取剩余页面的数据，当然在这里也是可以通过异步来实现并发的，对于小规模的异步流程控制，可以用这个模块=>eventproxy，但这里我就没有用啦！我们通过分析获取到的页面从中截取出所有图片的链接，再通过异步并发来实现对这些图片的批量下载。

抓取页面初始的数据很简单啊，这里就不做多解释啦

/*获取首屏所有图片链接*/
var getInitUrlList=function(){
request.get("https://www.zhihu.com/question/")
.end(function(err,res){
if(err){
console.log(err);
}else{
var $=cheerio.load(res.text);
var answerList=$(".zm-item-answer");
answerList.map(function(i,answer){
var images=$(answer).find('.zm-item-rich-text img');
images.map(function(i,image){
photos.push($(image).attr("src"));
});
});
console.log("已成功抓取"+photos.length+"张图片的链接");
getIAjaxUrlList();
}
});
}

模拟ajax请求获取完整页面

接下来就是怎么去模拟点击加载更多时发出的ajax请求了，去知乎看一下吧！

Nodejs爬虫进阶教程之异步并发控制 - 文章图片

有了这些信息，就可以来模拟发送相同的请求来获得这些数据啦。

/*每隔毫秒模拟发送ajax请求，并获取请求结果中所有的图片链接*/
var getIAjaxUrlList=function(offset){
request.post("https://www.zhihu.com/node/QuestionAnswerListV")
.set(config)
.send("method=next&params=%B%url_token%%A%C%pagesize%%A%C%offset%%A" +offset+ "%D&_xsrf=adfdeee")
.end(function(err,res){
if(err){
console.log(err);
}else{
var response=JSON.parse(res.text);/*想用json的话对json序列化即可，提交json的话需要对json进行反序列化*/
if(response.msg&&response.msg.length){
var $=cheerio.load(response.msg.join(""));/*把所有的数组元素拼接在一起，以空白符分隔，不要这样join()，它会默认数组元素以逗号分隔*/
var answerList=$(".zm-item-answer");
answerList.map(function(i,answer){
var images=$(answer).find('.zm-item-rich-text img');
images.map(function(i,image){
photos.push($(image).attr("src"));
});
});
setTimeout(function(){
offset+=;
console.log("已成功抓取"+photos.length+"张图片的链接");
getIAjaxUrlList(offset);
},);
}else{
console.log("图片链接全部获取完毕，一共有"+photos.length+"条图片链接");
// console.log(photos);
return downloadImg();
}
}
});
}

在代码中post这条请求https://www.zhihu.com/node/QuestionAnswerListV2，把原请求头和请求参数复制下来，作为我们的请求头和请求参数，superagent的set方法可用来设置请求头，send方法可以用来发送请求参数。我们把请求参数中的offset初始为20，每隔一定时间offset再加20，再重新发送请求，这样就相当于我们每隔一定时间发送了一条ajax请求，获取到最新的20条数据，每获取到了数据，我们再对这些数据进行一定的处理，让它们变成一整段的html，便于后面的提取链接处理。异步并发控制下载图片再获取完了所有的图片链接之后，即判定response.msg为空时，我们就要对这些图片进行下载了，不可能一条一条下对不对，因为如你所看到的，我们的图片足足有

Nodejs爬虫进阶教程之异步并发控制 - 文章图片

没错，2万多张，不过幸好nodejs拥有神奇的单线程异步特性，我们可以同时对这些图片进行下载。但这个时候问题来了，听说同时发送请求太多的话会被网站封ip哒！这是真的吗？我不知道啊，没试过，因为我也不想去试(￣ー￣〃)，所以这个时候我们就需要对异步并发数量进行一些控制了。

在这里用到了一个神奇的模块=>async，它不仅能帮我们拜托难以维护的回调金字塔恶魔，还能轻松的帮我们进行异步流程的管理。具体看文档啦，因为我自己也不怎么会用，这里就只用到了一个强大的async.mapLimit方法。真的很厉害哦。

var requestAndwrite=function(url,callback){
request.get(url).end(function(err,res){
if(err){
console.log(err);
console.log("有一张图片请求失败啦...");
}else{
var fileName=path.basename(url);
fs.writeFile("./img/"+fileName,res.body,function(err){
if(err){
console.log(err);
console.log("有一张图片写入失败啦...");
}else{
console.log("图片下载成功啦");
callback(null,"successful !");
/*callback貌似必须调用，第二个参数将传给下一个回调函数的result，result是一个数组*/
}
});
}
});
}
var downloadImg=function(asyncNum){
/*有一些图片链接地址不完整没有“http:”头部,帮它们拼接完整*/
for(var i=;i<photos.length;i++){
if(photos[i].indexOf("http")===-){
photos[i]="http:"+photos[i];
}
}
console.log("即将异步并发下载图片，当前并发数为:"+asyncNum);
async.mapLimit(photos,asyncNum,function(photo,callback){
console.log("已有"+asyncNum+"张图片进入下载队列");
requestAndwrite(photo,callback);
},function(err,result){
if(err){
console.log(err);
}else{
// console.log(result);<=会

输出一个有万多个“successful”字符串的数组 console.log("全部已下载完毕！"); } }); };

先看这里=>

Nodejs爬虫进阶教程之异步并发控制 - 文章图片

mapLimit方法的第一个参数photos是所有图片链接的数组，也是我们并发请求的对象，asyncNum是限制并发请求的数量，如果没有这个参数的话，将会有同时两万多条请求发送过去，嗯，你的ip就会被成功的封掉，但当我们有这个参数时，比如它的值是10，则它一次就只会帮我们从数组中取10条链接，执行并发的请求，这10条请求都得到响应后，再发送下10条请求。告诉泥萌，并发到同时100条没有事的，下载速度超级快，再往上就不知道咯，你们来告诉我...

以上所述给大家介绍了Nodejs爬虫进阶教程之异步并发控制的相关知识，希望对大家有所帮助。

内容总结

以上是互联网集市为您收集整理的Nodejs爬虫进阶教程之异步并发控制全部内容，希望文章能够帮你解决Nodejs爬虫进阶教程之异步并发控制所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/353938.html

来源：【匿名】

【上一篇】快速掌握Node.js环境的安装与运行方法【下一篇】node.js和php的区别有哪些？

更多 ►

【Nodejs爬虫进阶教程之异步并发控制】教程文章相关的互联网学习教程文章

nodejs教程安装express及配置app.js文件的详细步骤

来自：http://www.jb51.net/article/36710.htm express.js是nodejs的一个MVC开发框架，并且支持jade等多种模板。下面简单来说说express的安装和app.js文件的配置，然后在今后的教程中一步一步使用express.js搭建个聊天室安装express.js如果你安装了npm，安装变得很简单，只需要在终端中运行下面的代码即可：复制代码代码如下:npm install express -gd -g代表安装到NODE_PATH的lib里面，而-d代表把相依性套件也一起安装。如果沒有...

Nodejs完成一个待办事项的实例教程【代码】

这是一个用Node完成的待办事项的Demo，支持手机端和PC浏览器端同时查看。下载地址：https://github.com/yangfanacc/Todo 在线查看效果可以访问这个网址：http://123.56.44.245:3460 效果图如下：首先介绍一个这个待办事项示例项目的搭建环境：1.Nodejs版本：v0.10.352.Mongodb(使用Mongoose连接Mongodb数据库)3.前台使用了国内比较好用的开源框架[Amaze](http://amazeui.org/)项目的结构二级截图如下：项目思路首先，需要一个网址可...

8/09 Nodejs 菜鸟教程学习笔记-mia

1.使用node.js时，我们不仅仅在实现一个应用，同时还实现了整个http服务器。2.node.js组成： rcquircd模块：rcquirc指令来载入Node.js模块创建服务器：服务器可以监听客户端请求，类似于Apache、Nginx等HTTP服务器接收请求与响应请求：服务器很容易创建，客户端可以使用浏览器或终端发送http请求，服务器接收请求后返回响应数据。3.NPM服务器相当于一个平台，可以下载别人编写的第三方包、命令行程序到本地使用，也允许用...

01Nodejs+MongoDb 零基础入门教程-（21讲）__ZC记录

1、2、3、4、E:\BaiduYunDownload\Koa2+Nodejs+MongoDb 入门实战视频教程\01Nodejs+MongoDb 零基础入门教程-（21讲）IT营大地2017年录制\04 NPM 命令使用第三方模块和 package.json 、cnpm安装 -avi　　npm install md5-node --save-dev　　npm install silly-datetime --save-dev　--save：　　写入 package.js里面的"dependencies"中　--save-dev：写入 package.js里面的"devDependencies"中，不去下载模块的测试和文档框架　...

在Debian（Raspberry Pi）树莓派上安装NodeJS的教程详解

在树莓派上运行NodeJS并不需要特别的配置，你只需要确保可以用openssh远程连接到你的树莓派。安装并配置Open SSH服务器它可以确保你能远程连接到树莓派，它应该已经被安装了，但是这个过程可以确保安装最新版和生成加密密钥。如果Raspberry Pi运行在headerlesss模式。没有显示器，键盘或鼠标的情况下，就需要通过网线连接到树莓派。 sudo apt-get install openssh-server sudo rm -rf /etc/ssh/ssh_host_* sudo dpkg-reconfigur...

nodejs入门教程四：URL相关模块用法分析【图】

本文实例讲述了nodejs入门教程之URL相关模块用法。分享给大家供大家参考，具体如下： 1.URL 模块：用于 URL 处理与解析 1）URI 与 URL ： URI，是uniform resource identifier，统一资源标识符，用来唯一的标识一个资源。 URL是uniform resource locator，统一资源定位器，它是一种具体的URI，即URL可以用来标识一个资源，而且还指明了如何locate（定位）这个资源。 2）URL模块中的方法： ① url.format(urlObject)：将一个 url 对...

安装使用Mongoose配合Node.js操作MongoDB的基础教程

安装mongoose 使用express准备一个TestMongoDB项目，命令序列如下： express TestMongoDB cd TestMongoDB npm install 执行完上面的命令后，使用下面的命令安装mongoose： npm install mongoose --save 这个命令会安装mongoose并将其作为项目的依赖，而mongoose依赖的MongoDB driver以及regexp等等模块也会被自动安装。实例使用mongoose可以新建数据库、新建集合、对集合内的文档进行CRUD操作，在写代码时，可以对照着mongo shel...

Node.js安装及环境配置教程【图】

一、安装环境1、本机系统：Windows 10 Pro（64位）2、Node.js：v6.9.2LTS（64位）本文主要为大家介绍一下Node.js安装及环境配置方法，本文的教程非常的详细，希望能帮助到大家。二、安装Node.js步骤1、下载对应你系统的Node.js版本:https://nodejs.org/en/download/2、选安装目录进行安装3、环境配置4、测试三、前期准备1、Node.js简介简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于 Chrome V8 引擎的 JavaS...

从零开始学习Node.js系列教程四：多页面实现的数学运算示例

本文实例讲述了Node.js多页面实现的数学运算。分享给大家供大家参考，具体如下： app-node.js var http_port = 3000; var http = require(http); var htutil = require(./htutil); var server = http.createServer(function(req, res){htutil.loadParams(req, res, undefined);if (req.requrl.pathname === /){require(./home-node).get(req, res);}else if (req.requrl.pathname === /square){require(./square-node).get(req, re...

nodejs教程安装express及配置app.js文件的详细步骤

安装express.js 如果你安装了npm，安装变得很简单，只需要在终端中运行下面的代码即可：代码如下:npm install express -gd -g代表安装到NODE_PATH的lib里面，而-d代表把相依性套件也一起安装。如果沒有-g的话会安装目前所在的目录(会建立一个node_modules的文件夹)，你可以透过以下指令来比较两者的不同：代码如下:npm list -gnpm list 如果没有npm，那么我可以使用github来git下来最新的express。好了，现在你可以通过express te...

Centos6.8下Node.js安装教程

思路：采用编译好的文件进行安装一使用 wget 下载到 Node.js 官网（https://nodejs.org/en/download/）选择要下载的编译版本（Source Code），复制链接 cd /usr/local/src // 安装路径 wget https://nodejs.org/dist/v6.10.3/node-v6.10.3.tar.gz二解压缩文件包 tar xvf node-v6.10.3.tar.gz三 node 环境配置 vim /etc/profile在最下面加入 # node export NODE_HOME=/usr/local/src/node-v4.2.3-linux-x86 export PATH=$PATH:...

在Mac OS下使用Node.js的简单教程【图】

这里有一篇很好的 Node.js 介绍文章 great nodejs intro ，它将给你一个非常方便的介绍 Node.js 和 CouchDB，并给出一个实例实现 REST 的服务用于执行书签的 CRUD 操作，使用 CouchDB 作为数据库。本文将介绍在 Mac OS X 下安装并开始使用 Node.js ，这个过程大概需要 30 分钟左右的时间，其中我们还将安装 CouchDB，并实现基于 CouchDB 的 REST API。本文假设你机器上已经装有Git，如果还没有，请参考此文进行安装。安装 node....

利用node.js制作命令行工具方法教程（一）

前言之前使用过一些全局安装的NPM包，安装完之后，可以通过其提供的命令，完成一些任务。比如Fis3，可以通过fis3 server start 开启fis的静态文件服务，通过fis3 release开启文件编译与发布；还有vue-cli，可以通过vue init webpack my-project来初始化vue+webpack的项目基础配置。最近有一个需求，需要写一个类似vue-cli的NPM包，通过命令行操作实现项目初始配置，所以就查看了相关资料，学习了一下如何使用node来生成自己的命令...

node.js中EJS模板的使用教程

本篇文章主要介绍了EJS 模板快速入门学习，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧Node 开源模板的选择很多，但推荐像我这样的老人去用 EJS，有 Classic ASP/PHP/JSP 的经验用起 EJS 来的确可以很自然，也就是说，你能够在 <%...%> 块中安排 JavaScript 代码，利用最传统的方式 <%=输出变量%>（另外 <%-输出变量是不会对 & 等符号进行转义的）。安装 EJS 命令如下：npm install ejsJS 调用JS...

详解Node.js 命令行程序开发教程

一种编程语言是否易用，很大程度上，取决于开发命令行程序的能力。Node.js 作为目前最热门的开发工具之一，怎样使用它开发命令行程序，是 Web 开发者应该掌握的技能。下面就是我在它的基础上扩展的教程，应该是目前最好的解决方案了。一、可执行脚本我们从最简单的讲起。首先，使用 JavaScript 语言，写一个可执行脚本 hello 。 #!/usr/bin/env node console.log(hello world);然后，修改 hello 的权限。 $ chmod 755 hello现在，...

首页 / NODEJS / Nodejs爬虫进阶教程之异步并发控制

Nodejs爬虫进阶教程之异步并发控制

内容导读

内容图文

内容总结

内容备注

内容手机端

【Nodejs爬虫进阶教程之异步并发控制】教程文章相关的互联网学习教程文章

NODEJS - 相关标签

爬虫 - 相关标签

并发 - 相关标签

NODEJS - 技术教程分类

NODEJS - 最新教程

NODEJS - 最热教程