首页 / NODEJS / javascript – Node.js堆内存不足

javascript – Node.js堆内存不足

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了javascript – Node.js堆内存不足，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2491字，纯文字阅读大概需要4分钟。

内容图文

今天我运行我的脚本进行文件系统索引以刷新RAID文件索引,并在4小时后崩溃并出现以下错误：

[md5:]  241613/241627 97.5%  
[md5:]  241614/241627 97.5%  
[md5:]  241625/241627 98.1%
Creating missing list... (79570 files missing)
Creating new files list... (241627 new files)

<--- Last few GCs --->

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9 / 0 ms [allocation failure] [GC in old space requested].
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9 / 0 ms [allocation failure] [GC in old space requested].
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5 / 0 ms [last resort gc].
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x3d1d329c9e59 <JS Object>
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n  >)
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [/usr/bin/node]
 2: 0xe2c5fc [/usr/bin/node]
 3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node]
 5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node]
 6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node]
 7: 0x3629ef50961b

服务器配备16GB RAM和24GB SSD交换.我非常怀疑我的脚本超过36GB的内存.至少它不应该

脚本创建存储为具有文件元数据的对象数组的文件索引(修改日期,权限等,没有大数据)

这是完整的脚本代码：
http://pastebin.com/mjaD76c3

我已经在过去使用这个脚本遇到了奇怪的节点问题,这迫使我如此.将索引拆分成多个文件,因为当处理像String这样的大文件时,节点会出现故障.有没有办法用庞大的数据集改进nodejs内存管理？

解决方法:

如果我没记错的话,如果不手动增加,则V8中的内存使用量有一个严格的标准限制,大约为1.7 GB.

在我们的一个产品中,我们在部署脚本中遵循了此解决方案：

 node --max-old-space-size=4096 yourFile.js

还有一个新的空间命令,但正如我在这里读到的：a-tour-of-v8-garbage-collection新空间仅收集新创建的短期数据,旧空间包含所有引用的数据结构,在您的情况下应该是最佳选择.

内容总结

以上是互联网集市为您收集整理的javascript – Node.js堆内存不足全部内容，希望文章能够帮你解决javascript – Node.js堆内存不足所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/951974.html

来源：【匿名】

【上一篇】nodejsNodejs的进程管理工具pm2 【下一篇】node.js和php的区别有哪些？

更多 ►

【javascript – Node.js堆内存不足】教程文章相关的互联网学习教程文章

怎样使用Nodejs内存治理

这次给大家带来怎样使用Nodejs内存治理，使用Nodejs内存治理的注意事项有哪些，下面就是实战案例，一起来看一下。运行的宿主环境不同，相应的对内存治理的要求也不一样，当宿主环境是浏览器时，由于网页的运行时间短，且只运行在用户的机器上（相当于分布式），即使内存使用过多或者存在一定的内存泄漏，也并不会对终端用户产生太大的影响。当宿主环境编程服务器(Node)时，情况就大不相同了，本身代码运行在固定的几台机器（集中式...

Nodejs内存治理步骤详解

这次给大家带来Nodejs内存治理步骤详解，Nodejs内存治理的注意事项有哪些，下面就是实战案例，一起来看一下。s运行的宿主环境不同，相应的对内存治理的要求也不一样，当宿主环境是浏览器时，由于网页的运行时间短，且只运行在用户的机器上（相当于分布式），即使内存使用过多或者存在一定的内存泄漏，也并不会对终端用户产生太大的影响。当宿主环境编程服务器(Node)时，情况就大不相同了，本身代码运行在固定的几台机器（集中式）上...

nodeJs内存泄漏问题详解【图】

之前一次偶然机会发现，react 在server渲染时，当NODE_ENV != production时，会导致内存泄漏。具体issues: https://github.com/facebook/react/issues/7406 。随着node，react同构等技术地广泛运用，node端内存泄漏等问题应该引起我们的重视。为什么node容易出现内存泄漏以及出现之后应该如何排查，下面通过一个简单的介绍以及例子来说明。首先，node是基于v8引擎基础上，其内存管理方式与v8一致。下面简单介绍v8的相关内存特效。V...

浅析Node.js中的内存泄漏问题_node.js【图】

这篇文章是由Mozilla的Identity团队带来的 A Node.JS Holiday Season系列文章的首篇，该团队上个月发布了 Persona的第一个测试版本。在开发Persona时我们构建了一系列的工具，包括了从调试，到本地化，到依赖管理以及更多的方面。在这一系列的文章中我们将与社区分享我们的经验和这些工具，这对任何想用node.js建立一个高可用性服务的人都很有用。我们希望您能喜欢这些文章，并期待看到您的想法和贡献。我们将从一篇关于Node.js的...

详解Nodejs内存治理

s运行的宿主环境不同，相应的对内存治理的要求也不一样，当宿主环境是浏览器时，由于网页的运行时间短，且只运行在用户的机器上（相当于分布式），即使内存使用过多或者存在一定的内存泄漏，也并不会对终端用户产生太大的影响。当宿主环境编程服务器(Node)时，情况就大不相同了，本身代码运行在固定的几台机器（集中式）上，而且运行的时间是长时间运行，一旦内存治理不好出现了内存膨胀甚至是内存泄漏的情况的话，就会出现服务器端...

浅析Node.js中的内存泄漏问题【图】

Node.js 中的内存泄漏【代码】【图】

内存泄漏（Memory Leak）指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。如果内存泄漏的位置比较关键，那么随着处理的进行可能持有越来越多的无用内存，这些无用的内存变多会引起服务器响应速度变慢，严重的情况下导致内存达到某个极限（可能是进程的上限，如 v8 的上限；也可能是系统可提供的内存上限）会使得应用程序崩溃。 GC in Node.js Node.js 使用 V8 作为 JavaScript 的执行引擎，所以讨论 Node.js 的 GC 情况...

用Node.js编写内存效率高的应用程序【代码】【图】

软件应用程序在计算机的主存储器中运行，我们称之为随机存取存储器(RAM)。JavaScript，尤其是 Nodejs （服务端 js）允许我们为终端用户编写从小型到大型的软件项目。处理程序的内存总是一个棘手的问题，因为糟糕的实现可能会阻塞在给定服务器或系统上运行的所有其他应用程序。C 和 C++ 程序员确实关心内存管理，因为隐藏在代码的每个角落都有可能出现可怕的内存泄漏。但是对于 JS 开发者来说，你真的有关心过这个问题吗？由于 JS ...

nodejs内存泄漏分析工具heapdump【图】

http://itindex.net/detail/52929-chrome-%E5%BC%80%E5%8F%91-%E5%B7%A5%E5%85%B7 heapdump安装先下载nodejs源码到项目目录的.node-gyp下解压，并重命名为版本号。 cnpm install heapdump 内存泄漏是指计算机可用内存的逐渐减少。当程序持续无法释放其使用的临时内存时就会发生。JavaScript的web应用也会经常遇到在原生应用程序中出现的内存相关的问题，如泄漏和溢出，web应用也需要应对垃圾回收停顿。尽管JavaScript使用垃圾回...

Node.JS实战60：解除“封印”！给Node更多的内存。【图】

这一节，不讲编程，谈点很有用的知识！默认情况下当用node启动我们的程序时，可用的最大内存量是512MB。如果程序运行时使用的内存量超过这个值，就会报错。本文，告诉大家如何解除这个封印，给Node程序更多的可用内存。如上图中，为了展示内存不足的错误，我们给node启动加了一个参数：--max_old_space_size=1，含意为：只给程序1MB的内存。被启动的是ShareWAF，一款大型的Web应用防火墙，1MB内存显然是不够的，所以出错了。而正...

javascript-Node.JS：从服务器端内存vs服务器端文件提供文件【代码】

我的节点服务器从外部API获取文件的内容(base64字符串).我希望客户端将内存中的base64字符串下载为文件.但是,客户端的浏览器下载文件后,该文件已损坏. 如果我使用相同的文件内容,请使用fs将它们保存到服务器的本地文件夹中,然后将该文件发送给客户端,该文件将正确保存在客户端的系统上. 当我查看两组十六进制数据之间的差异时,存在差异和相似之处. comparison screenshot, valid file is on top 有没有人曾经征服过这个问题,或者有...

javascript-Node.js共享内存和原子文档以及操作方法

似乎共享内存和原子已在节点9.0.0中添加：http://node.green/#ES2017-features-shared-memory-and-atomics-Atomics-add 我正在尝试查找官方文档,但似乎无法在以下位置找到它：https://nodejs.org/api/index.html 有人知道它可能在哪里吗？解决方法:不断发展的答案看来Node 9.0.0支持SharedArrayBuffer,可以在MDN上找到它：https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/SharedArrayBuffer 和...

javascript-nodejs用尽了内存来处理csv文件【代码】

我已经阅读了许多有关nodejs内存不足的SO问题,但是我还没有发现任何听起来与我的情况类似的东西. 我正在尝试在250个csv文件中处理大约20GB的数据(因此?80MBs /文件).使用节点v5.9.1在具有90GB可用内存的服务器上以–max-old-space-size = 8192启动节点脚本.经过9分钟的处理后,脚本退出并显示内存不足错误. 我是Node编程的新手,但我想我写了脚本来一次处理一行数据,而不在内存中保留任何内容.但是似乎某些对象引用被某种东西保留,因...