首页 / NODEJS / Nodejs实战心得之eventproxy模块控制并发

Nodejs实战心得之eventproxy模块控制并发

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Nodejs实战心得之eventproxy模块控制并发，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7587字，纯文字阅读大概需要11分钟。

内容图文

目标

建立一个 lesson4 项目，在其中编写代码。

代码的入口是 app.js，当调用 node app.js 时，它会输出 CNode(https://cnodejs.org/ ) 社区首页的所有主题的标题，链接和第一条评论，以 json 的格式。

输出示例：

[
 {
  "title": "【公告】发招聘帖的同学留意一下这里",
  "href": "http://cnodejs.org/topic/541ed2d05e28155f24676a12",
  "comment1": "呵呵呵呵"
 },
 {
  "title": "发布一款 Sublime Text 下的 JavaScript 语法高亮插件",
  "href": "http://cnodejs.org/topic/54207e2efffeb6de3d61f68f",
  "comment1": "沙发！"
 }
]

挑战

以上文目标为基础，输出 comment1 的作者，以及他在 cnode 社区的积分值。

示例：

[
 {
  "title": "【公告】发招聘帖的同学留意一下这里",
  "href": "http://cnodejs.org/topic/541ed2d05e28155f24676a12",
  "comment1": "呵呵呵呵",
  "author1": "auser",
  "score1": 80
 },
 ...
]

知识点

体会 Node.js 的 callback hell 之美

学习使用 eventproxy 这一利器控制并发

课程内容

这一章我们来到了 Node.js 最牛逼的地方——异步并发的内容了。

上一课我们介绍了如何使用 superagent 和 cheerio 来取主页内容，那只需要发起一次 http get 请求就能办到。但这次，我们需要取出每个主题的第一条评论，这就要求我们对每个主题的链接发起请求，并用 cheerio 去取出其中的第一条评论。

CNode 目前每一页有 40 个主题，于是我们就需要发起 1 + 40 个请求，来达到我们这一课的目标。

后者的 40 个请求，我们并发地发起：），而且不会遇到多线程啊锁什么的，Node.js 的并发模型跟多线程不同，抛却那些观念。更具体一点的话，比如异步到底为何异步，Node.js 为何单线程却能并发这类走近科学的问题，我就不打算讲了。对于这方面有兴趣的同学，强烈推荐 @朴灵的《九浅一深Node.js》： http://book.douban.com/subject/25768396/ 。

有些逼格比较高的朋友可能听说过 promise 和 generator 这类概念。不过我呢，只会讲 callback，主要原因是我个人只喜欢 callback。

这次课程我们需要用到三个库：superagent cheerio eventproxy(https://github.com/JacksonTian/eventproxy )
手脚架的工作各位自己来，我们一步一步来一起写出这个程序。

首先 app.js 应该长这样

var eventproxy = require('eventproxy');
var superagent = require('superagent');
var cheerio = require('cheerio');
// url 模块是 Node.js 标准库里面的
// http://nodejs.org/api/url.html
var url = require('url');
var cnodeUrl = 'https://cnodejs.org/';
superagent.get(cnodeUrl)
 .end(function (err, res) {
  if (err) {
   return console.error(err);
  }
  var topicUrls = [];
  var $ = cheerio.load(res.text);
  // 获取首页所有的链接
  $('#topic_list .topic_title').each(function (idx, element) {
   var $element = $(element);
   // $element.attr('href') 本来的样子是 /topic/542acd7d5d28233425538b04
   // 我们用 url.resolve 来自动推断出完整 url，变成
   // https://cnodejs.org/topic/542acd7d5d28233425538b04 的形式
   // 具体请看 http://nodejs.org/api/url.html#url_url_resolve_from_to 的示例
   var href = url.resolve(cnodeUrl, $element.attr('href'));
   topicUrls.push(href);
  });
  console.log(topicUrls);
 });

运行 node app.js

输出如下图：

Nodejs实战心得之eventproxy模块控制并发 - 文章图片

OK，这时候我们已经得到所有 url 的地址了，接下来，我们把这些地址都抓取一遍，就完成了，Node.js 就是这么简单。
抓取之前，还是得介绍一下 eventproxy 这个库。

用 js 写过异步的同学应该都知道，如果你要并发异步获取两三个地址的数据，并且要在获取到数据之后，对这些数据一起进行利用的话，常规的写法是自己维护一个计数器。

先定义一个 var count = 0，然后每次抓取成功以后，就 count++。如果你是要抓取三个源的数据，由于你根本不知道这些异步操作到底谁先完成，那么每次当抓取成功的时候，就判断一下 count === 3。当值为真时，使用另一个函数继续完成操作。
而 eventproxy 就起到了这个计数器的作用，它来帮你管理到底这些异步操作是否完成，完成之后，它会自动调用你提供的处理函数，并将抓取到的数据当参数传过来。
假设我们不使用 eventproxy 也不使用计数器时，抓取三个源的写法是这样的：

// 参考 jquery 的 $.get 的方法

$.get("http://data1_source", function (data1) {
 // something
 $.get("http://data2_source", function (data2) {
  // something
  $.get("http://data3_source", function (data3) {
   // something
   var html = fuck(data1, data2, data3);
   render(html);
  });
 });
});

上述的代码大家都写过吧。先获取 data1，获取完成之后获取 data2，然后再获取 data3，然后 fuck 它们，进行输出。

但大家应该也想到了，其实这三个源的数据，是可以并行去获取的，data2 的获取并不依赖 data1 的完成，data3 同理也不依赖 data2。

于是我们用计数器来写，会写成这样：

(function () {
 var count = 0;
 var result = {};
 $.get('http://data1_source', function (data) {
  result.data1 = data;
  count++;
  handle();
  });
 $.get('http://data2_source', function (data) {
  result.data2 = data;
  count++;
  handle();
  });
 $.get('http://data3_source', function (data) {
  result.data3 = data;
  count++;
  handle();
  });
 function handle() {
  if (count === 3) {
   var html = fuck(result.data1, result.data2, result.data3);
   render(html);
  }
 }
})();

丑的一逼，也不算丑，主要我写代码好看。

如果我们用 eventproxy，写出来是这样的：

var ep = new eventproxy();
ep.all('data1_event', 'data2_event', 'data3_event', function (data1, data2, data3) {
 var html = fuck(data1, data2, data3);
 render(html);
});
$.get('http://data1_source', function (data) {
 ep.emit('data1_event', data);
 });
$.get('http://data2_source', function (data) {
 ep.emit('data2_event', data);
 });
$.get('http://data3_source', function (data) {
 ep.emit('data3_event', data);
 });

好看多了是吧，也就是个高等计数器嘛。

ep.all('data1_event', 'data2_event', 'data3_event', function (data1, data2, data3) {});

这一句，监听了三个事件，分别是 data1_event, data2_event, data3_event，每次当一个源的数据抓取完成时，就通过 ep.emit() 来告诉 ep 自己，某某事件已经完成了。

当三个事件未同时完成时，ep.emit() 调用之后不会做任何事；当三个事件都完成的时候，就会调用末尾的那个回调函数，来对它们进行统一处理。

eventproxy 提供了不少其他场景所需的 API，但最最常用的用法就是以上的这种，即：

先 var ep = new eventproxy(); 得到一个 eventproxy 实例。

告诉它你要监听哪些事件，并给它一个回调函数。ep.all('event1', 'event2', function (result1, result2) {})。
在适当的时候 ep.emit('event_name', eventData)。

eventproxy 这套处理异步并发的思路，我一直觉得就像是汇编里面的 goto 语句一样，程序逻辑在代码中随处跳跃。本来代码已经执行到 100 行了，突然 80 行的那个回调函数又开始工作了。如果你异步逻辑复杂点的话，80 行的这个函数完成之后，又激活了 60 行的另外一个函数。并发和嵌套的问题虽然解决了，但老祖宗们消灭了几十年的 goto 语句又回来了。

至于这套思想糟糕不糟糕，我个人倒是觉得还是不糟糕，用熟了看起来蛮清晰的。不过 js 这门渣渣语言本来就乱嘛，什么变量提升（http://www.cnblogs.com/damonlan/archive/2012/07/01/2553425.html ）啊，没有 main 函数啊，变量作用域啊，数据类型常常简单得只有数字、字符串、哈希、数组啊，这一系列的问题，都不是事儿。
编程语言美丑啥的，咱心中有佛就好。

回到正题，之前我们已经得到了一个长度为 40 的 topicUrls 数组，里面包含了每条主题的链接。那么意味着，我们接下来要发出 40 个并发请求。我们需要用到 eventproxy 的 #after API。

大家自行学习一下这个 API 吧：https://github.com/JacksonTian/eventproxy#%E9%87%8D%E5%A4%8D%E5%BC%82%E6%AD%A5%E5%8D%8F%E4%BD%9C
我代码就直接贴了哈。

// 得到 topicUrls 之后
// 得到一个 eventproxy 的实例
var ep = new eventproxy();
// 命令 ep 重复监听 topicUrls.length 次（在这里也就是 40 次） `topic_html` 事件再行动
ep.after('topic_html', topicUrls.length, function (topics) {
 // topics 是个数组，包含了 40 次 ep.emit('topic_html', pair) 中的那 40 个 pair
 // 开始行动
 topics = topics.map(function (topicPair) {
  // 接下来都是 jquery 的用法了
  var topicUrl = topicPair[0];
  var topicHtml = topicPair[1];
  var $ = cheerio.load(topicHtml);
  return ({
   title: $('.topic_full_title').text().trim(),
   href: topicUrl,
   comment1: $('.reply_content').eq(0).text().trim(),
  });
 });
 console.log('final:');
 console.log(topics);
});
topicUrls.forEach(function (topicUrl) {
 superagent.get(topicUrl)
  .end(function (err, res) {
   console.log('fetch ' + topicUrl + ' successful');
   ep.emit('topic_html', [topicUrl, res.text]);
  });
});

输出长这样：

Nodejs实战心得之eventproxy模块控制并发 - 文章图片

完整的代码请查看 lesson4 目录下的 app.js 文件

总结

今天介绍的 eventproxy 模块是控制并发用的，有时我们需要同时发送 N 个 http 请求，然后利用得到的数据进行后期的处理工作，如何方便地判断数据已经全部并发获取得到，就可以用到该模块了。而模块不仅可以在服务端使用，也可以应用在客户端

内容总结

以上是互联网集市为您收集整理的Nodejs实战心得之eventproxy模块控制并发全部内容，希望文章能够帮你解决Nodejs实战心得之eventproxy模块控制并发所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/355730.html

来源：【匿名】

【上一篇】浅析Node.js 中 Stream API 的使用【下一篇】node.js和php的区别有哪些？

更多 ►

【Nodejs实战心得之eventproxy模块控制并发】教程文章相关的互联网学习教程文章

node.js – 使用nginx proxy_buffering和节点js强制管道POST主体【代码】

我的设置可能看起来有点奇怪,但不应该太过分：我有一个apache2实例服务器php页面和静态文件.我有一个节点js服务器使用node-formidable处理文件上传(POST).最重要的是,我使用nginx 1.0.14.为了使用节点服务器在php文件中提供的表单上传,我决定放置nginx,这样我就可以保持相同的域,端口和协议.所以基本上我有/上传我想(直接)管道到我的节点js,最好是在代理之外.其余的由apache2服务器处理：location /upload {client_max_body_size ...

nodejs中http代理库http-proxy中常见的问题分析

本篇文章给大家带来的内容是关于nodejs中http代理库http-proxy中常见的问题分析，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。http-proxyhttp-proxy是一个nodejs的http代理库，已经被webpack-dev-server集成进来，做代理使用。原因是在前后端分离大行其道的今天，我们如果需要在本地调后端api接口，不配置hostname的话，必然是一个跨域的请求。因为浏览器的跨域安全限制，调取是不通的，所以本地代理就成了一个...

nodejs通过代理proxy发送http请求request详解

本文主要和大家介绍nodejs通过代理(proxy)发送http请求(request)，具有一定的参考价值，有兴趣的可以了解一下，希望能帮助到大家。有可能有这样的需求，需要node作为web服务器通过另外一台http/https代理服务器发http或者https请求，废话不多说直接上代码大家都懂的：var http = require(http) var opt = {host:这里放代理服务器的ip或者域名,port:这里放代理服务器的端口号,method:POST,//这里是发送的方法path: https://www.goog...

详解nodejs通过代理(proxy)发送http请求(request)

有可能有这样的需求，需要node作为web服务器通过另外一台http/https代理服务器发http或者https请求，废话不多说直接上代码大家都懂的： var http = require(http) var opt = {host:这里放代理服务器的ip或者域名,port:这里放代理服务器的端口号,method:POST,//这里是发送的方法path: https://www.google.com, //这里是访问的路径headers:{//这里放期望发送出去的请求头} } //以下是接受数据的代码 var body = ; var req = http.r...

Node.js配合node-http-proxy解决本地开发ajax跨域问题【图】

情景：前后端分离，本地前端开发调用接口会有跨域问题，一般有以下3种解决方法：1. 后端接口打包到本地运行（缺点：每次后端更新都要去测试服下一个更新包，还要在本地搭建java运行环境，麻烦）2. CORS跨域：后端接口在返回的时候，在header中加入Access-Control-Allow-origin:* 之类的（有的时候后端不方便这样处理，前端就蛋疼了）3. 用nodejs搭建本地http服务器，并且判断访问接口URL时进行转发，完美解决本地开发时候的跨域问题...

javascript-无法在Node.js上使用Proxy.apply().这是错误还是我做错了？【代码】

我正在使用代理来代理对象.吸气剂和塞脂剂工作正常,与预期的一样.但是,从未调用apply方法.var p = new Proxy({}, {/* getter */get(target, name) {return target[name]},/* setter */set(target, name, value) {target[name] = value}, /* supposedly called apply */apply(target,that,arg) {console.log('apply is called, what to do here?') } })这样,我可以为p赋值或返回某个值(即使它不存在).例如,当我让getter函数返...

proxy in nodejs code【代码】

I train myslef with NodeJS and tried a simple GET call. Here is my code: var http = require('http');var options = {host: 'www.boardgamegeek.com',path: '/xmlapi/boardgame/1?stats=1',method: 'GET' }var request = http.request(options, function (response) {var str = ""response.on('data', function (data) {str += data;});response.on('end', function () {console.log(str);}); });request.on('error', functio...

nodejs http-proxy 开发反向代理服务器，防火墙，过滤常见的web渗透

事出有因最近web系统引来了黑客的攻击，经常被扫描，各种漏洞尝试。分析攻击日志，有几种常见的攻击手段：上传webshell 远程执行命令漏洞 sql注入 xxs 攻击试探各种开源框架爆出来的漏洞分析攻击信息的特点说白了就是采用web渗透技术，利用http请求，黑客想尽办法，在http header ,body,等部分植入非法的命令，非法字符常见的有：exe,cmd,powershell,download,select,union,delete等等。解决问题思路我们能不能开发个代理服务...

首页 / NODEJS / Nodejs实战心得之eventproxy模块控制并发

Nodejs实战心得之eventproxy模块控制并发

内容导读

内容图文

内容总结

内容备注

内容手机端

【Nodejs实战心得之eventproxy模块控制并发】教程文章相关的互联网学习教程文章

NODEJS - 相关标签

并发 - 相关标签

NODEJS - 技术教程分类

NODEJS - 最新教程

NODEJS - 最热教程