插入节点的性能mongodb-native

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了插入节点的性能mongodb-native，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2354字，纯文字阅读大概需要4分钟。

内容图文

我正在用MongoDB测试Node.js的性能.我知道每一个都可以很好地相互独立,但是我正在尝试一些测试以使他们感到满意.我遇到了这个问题,无法确定来源.

问题

我正在尝试在单个Node.js程序中插入1,000,000条记录.它绝对爬行.我们说的是20分钟的执行时间.不管是我的Mac还是CentOS,都会发生这种情况,尽管两者之间的行为略有不同.最终确实完成了.

效果与交换相似,尽管不是(内存永远不会超过2 GB).与MongoDB的连接只有3个,大多数情况下没有数据插入.它似乎正在进行大量上下文切换,并且Node.js CPU内核已达到极限.

效果类似于this thread中提到的效果.

我尝试使用PHP进行同样的操作,并且在2-3分钟内完成.没戏

为什么？

可能的原因

我目前认为这可能是Node.js套接字问题,libev在幕后发生的事情,或者是其他node-mongodb-native问题.我可能完全错了,所以我在这里寻找一些指导.

至于其他Node.js MongoDB适配器,我尝试了蒙古语,它似乎是为了批量插入文档而将它们排入队列,结果内存不足.这样就可以了. (旁注：我也不知道为什么要这样做,因为它甚至还没有接近我的16 GB的存储空间限制-但我没有为此做进一步的调查.)

我可能应该提到,实际上我确实在4核计算机上测试了4个工人的主/工人群集,并在2-3分钟内完成.

编码

这是我的Node.js CoffeeScript程序：

mongodb = require "mongodb"
microtime = require "microtime"
crypto = require "crypto"

times = 1000000
server = new mongodb.Server "127.0.0.1", 27017
db = mongodb.Db "test", server
db.open (error, client) ->
  throw error if error?

  collection = mongodb.Collection client, "foo"

  for i in [0...times]
    console.log "Inserting #{i}..." if i % 100000 == 0

    hash = crypto.createHash "sha1"
    hash.update "" + microtime.now() + (Math.random() * 255 | 0)
    key = hash.digest "hex"

    doc =
      key: key,
      foo1: 1000,
      foo2: 1000,
      foo3: 1000,
      bar1: 2000,
      bar2: 2000,
      bar3: 2000,
      baz1: 3000,
      baz2: 3000,
      baz3: 3000

    collection.insert doc, safe: true, (error, response) ->
      console.log error.message if error

这是大致等效的PHP程序：

<?php
$mongo = new Mongo();
$collection = $mongo->test->foo;

$times = 1000000;
for ($i = 0; $i < $times; $i++) {
    if ($i % 100000 == 0) {
        print "Inserting $i...\n";
    }

    $doc = array(
        "key" => sha1(microtime(true) + rand(0, 255)),
        "foo1" => 1000,
        "foo2" => 1000,
        "foo3" => 1000,
        "bar1" => 2000,
        "bar2" => 2000,
        "bar3" => 2000,
        "baz1" => 3000,
        "baz2" => 3000,
        "baz3" => 3000
    );
    try {
        $collection->insert($doc, array("safe" => true));
    } catch (MongoCursorException $e) {
        print $e->getMessage() . "\n";
    }
}

解决方法:

听起来您正在遇到V8中的默认堆限制.我写了一个关于删除此限制的blog post.

垃圾收集器可能会疯狂并咀嚼CPU,因为它会一直执行直到您低于1.4GB的限制.

内容总结

以上是互联网集市为您收集整理的插入节点的性能mongodb-native全部内容，希望文章能够帮你解决插入节点的性能mongodb-native所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端