首页 / NODEJS / 浅谈Node.js：Buffer模块

浅谈Node.js：Buffer模块

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了浅谈Node.js：Buffer模块，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9496字，纯文字阅读大概需要14分钟。

内容图文

Javascript在客户端对于unicode编码的数据操作支持非常友好，但是对二进制数据的处理就不尽人意。Node.js为了能够处理二进制数据或非unicode编码的数据，便设计了Buffer类，该类实现了Uint8Array接口，并对其进行了优化，它的实例类似于整型数组，但是它的大小在创建后便不可调整。在介绍Buffer如何使用之前，先介绍几个知识点。

1、V8引擎的内存使用限制

V8引擎最大堆内存使用在32位系统上默认为512M，在64位系统上是1GB，虽然可以使用--max-old-space-size参数调整该值，但还是建议要用到大内存的时候使用Buffer或Stream，因为Buffer的内存分配不在V8的堆上。

2、单个Buffer实例大小限制

单个Buffer实例的大小最大数值为1GB-1（32位系统）或2GB-1（64位系统），所以在创建Buffer实例的时候不能超过该值，或者使用readFile()方法读取大文件，否则将抛出RangeError错误。

3、8KB池

Nodejs在创建Buffer实例的时候，当用户申请的空间大于8KB，会直接调用内部的createUnsafeBuffer()方法创建一个Buffer，如果申请的空间大于0且小于4KB，新的Buffer则会建立在当前的8kb SLAB上，并更新剩余空间，如下图所示：

浅谈Node.js：Buffer模块 - 文章图片

下面介绍Buffer API的简单使用：

1、创建Buffer实例

使用Buffer.from(), Buffer.alloc(), Buffer.allocUnsafe()等方法来创建一个Buffer实例，6.0版本以前直接使用构造函数创建的方法new Buffer()已被丢弃，不推荐使用，因为有可能会造成内存泄漏。
方法Buffer.alloc(size[, fill[, encoding]])，参数含义如下：

size，指定buffer的长度，但不能超过buffer.kMaxLength，若不是数字则报错
fill，指定初始化buffer的值，默认为0
encoding，如果fill是字符串，则该参数指定fill的编码

使用如下所示：

const buf1 = Buffer.alloc(10);
console.log(buf1);//<Buffer 00 00 00 00 00 00 00 00 00 00>
const buf2 = Buffer.alloc(10,'hello');
console.log(buf2);//<Buffer 68 65 6c 6c 6f 68 65 6c 6c 6f>
const buf3 = Buffer.alloc(10,'hello','base64');
console.log(buf3);//<Buffer 85 e9 65 85 e9 65 85 e9 65 85>

方法Buffer.allocUnsafe(size)，size参数指定buffer的大小，该方法返回一个没有初始化的buffer，因此可能还保留有敏感的数据，造成信息的泄漏，建议使用buffer.fill(0)函数初始化buffer，该方法与Buffer.alloc(size, fill)是不一样的，有可能使用8KB池。使用如下所示：

const buf4 = Buffer.allocUnsafe(10);
console.log(buf4);//<Buffer 68 fb 4d 00 00 00 00 00 08 00>,可以看出是有数据的
buf4.fill(0);
console.log(buf4);//<Buffer 00 00 00 00 00 00 00 00 00 00>

方法Buffer.allocUnsafeSlow(size)，参数含义同上，该方法不会使用Buffer池，容易造成内存的浪费，使用如下所示：

const buf5 = Buffer.allocUnsafeSlow(10);
console.log(buf5);//<Buffer 38 00 24 00 00 00 00 00 00 00>

方法Buffer.from(value,[...])，这里分为四种情况，如下所示：

第一，value为16进制数组，将数组转化为buffer，如果不是16进制，则会进行转换，如下：

const buf6 = Buffer.from([1,2,3,5,17]);
console.log(buf6);//<Buffer 01 02 03 05 11>

第二，value为字符串，则转换字符串为buffer，该方法会使用buffer池，如下：

const buf7 = Buffer.from('hello world!');
console.log(buf7);//<Buffer 01 02 03 05 11>

第三，value为buffer实例，则将value拷贝至新的buffer中，这里只是值的拷贝，不会共享内存，如下：

const buf8 = Buffer.from('hello world');
const buf9 = Buffer.from(buf8);
console.log(buf8);//<Buffer 68 65 6c 6c 6f 20 77 6f 72 6c 64>
console.log(buf9);//<Buffer 68 65 6c 6c 6f 20 77 6f 72 6c 64>
buf9[0] = 0x66;
console.log(buf8);//<Buffer 68 65 6c 6c 6f 20 77 6f 72 6c 64>
console.log(buf9);//<Buffer 66 65 6c 6c 6f 20 77 6f 72 6c 64>

第四，value为arrayBuffer时，还有两个可选参数[, byteOffset[, length]]，byteOffset指定从arrayBuffer开始复制的位置，length复制的长度。如下：

const arr = new Uint8Array(2);
arr[0] = 128;
arr[1] = 200;
const buf10 = Buffer.from(arr,0,2);
console.log(buf10);//<Buffer 80 c8>

如果引用的是arr.buffer，则新创建的buffer buf10与arr共享内存，如下：

const arr = new Uint8Array(2);
arr[0] = 128;
arr[1] = 200;
const buf10 = Buffer.from(arr.buffer);
arr[0] = 254;
console.log(buf10);//<Buffer fe c8>

2、buffer解码

使用buf.toString([encoding[, start[, end]]])方法将buffer转换成字符串，encoding指定字符编码，默认为'utf8'，start开始位置，end结束位置（不包括），目前encoding只支持'ascii,utf8,utf16le,ucs2,base64,latin1,binary,hex'，使用如下所示：

const buf12 = Buffer.from('我爱中国');
console.log(buf12.toString('base64'));//5oiR54ix5Lit5Zu9
console.log(buf12.toString('utf8'));//我爱中国
console.log(buf12.toString('hex'));//e68891e788b1e4b8ade59bbd

3、buffer拼接、复制、填充、分割

方法buf.fill(value[, offset[, end]][, encoding])使用指定的值填充buffer，参数offset指定填充的起始位置，end为结束位置，使用如下所示：

console.log(Buffer.allocUnsafe(5).fill('a').toString());//aaaaa
console.log(Buffer.allocUnsafe(5).fill(65).toString('utf8'));//AAAAA

方法Buffer.concat(list[, totalLength])将多个buffer合并在一起，并返回一个新的buffer实例，参数totalLength为指定的buffers的长度总和，如果不提供该值，函数内部会循环去获取每一个buffer的长度，然后进行拼接，因此为了速度，最好指定一个总长度，使用如下：

function bufferInjoin(buffArr){
  var len = 0;
  buffArr.forEach((buff,idx,arr)=>{
    len+=buff.length;
  });
  var buffer = Buffer.concat(buffArr,len);
  return buffer;
}
var buff = bufferInjoin([Buffer.from('hehe'),Buffer.allocUnsafe(5).fill('a')]);
console.log(buff);//<Buffer 68 65 68 65 61 61 61 61 61>
console.log(buff.length);//9
console.log(buff.toString());//heheaaaaa

方法buf.copy(target[, targetStart[, sourceStart[, sourceEnd]]])可以实现buf到target的复制，参数含义如下：

target，复制目标
targetStart，复制目标开始被覆盖的位置
sourceStart，复制源开始复制的位置
sourceEnd，复制源复制结束的位置

使用如下所示：

const buf1 = Buffer.from('hello world!');
const buf2 = Buffer.allocUnsafe(5).fill('x');
buf1.copy(buf2,0,0,5);
console.log(buf2.toString());//hello

方法buf.slice([start[, end]])可以分割buffer，返回一个新的buffer，但是仍然是引用原buffer，因此改变原buffer数据，该新buffer也会跟着改变，如果参数start，end为负数，则先要加上buffer的长度再进行计算，如下所示：

const buf1 = Buffer.from('hello world.');
const buf2 = buf1.slice(0);
console.log(buf2);//<Buffer 68 65 6c 6c 6f 20 77 6f 72 6c 64 2e>
buf2[0] = 88;
console.log(buf1);//<Buffer 58 65 6c 6c 6f 20 77 6f 72 6c 64 2e>
const buf3 = buf1.slice(-6,-1);
console.log(buf3.toString());//world

3、buffer读写

buffer写操作通过write开头的写api来完成，主要有以下这些：

buf.write(string[, offset[, length]][, encoding])，向buffer写入字符串
buf.writeDoubleBE(value, offset[, noAssert])写入64位浮点型数字，大端对齐
buf.writeDoubleLE(value, offset[, noAssert])，写入64位浮点型数字，小端对齐
buf.writeFloatBE(value, offset[, noAssert])，写入32位浮点型数字，大端对齐
buf.writeFloatLE(value, offset[, noAssert])，写入32位浮点型数字，小端对齐
buf.writeInt8(value, offset[, noAssert])，写入有符号8位整型数字
buf.writeInt16BE(value, offset[, noAssert])，写入有符号16位整型数字，大端对齐
buf.writeInt16LE(value, offset[, noAssert])，写入有符号16位整型数字，小端对齐
buf.writeInt32BE(value, offset[, noAssert])，写入有符号32位整型数字，大端对齐
buf.writeInt32LE(value, offset[, noAssert])，写入有符号32位整型数字，小端对齐
buf.writeIntBE(value, offset, byteLength[, noAssert])，以下便不再累述
buf.writeIntLE(value, offset, byteLength[, noAssert])
buf.writeUInt8(value, offset[, noAssert])
buf.writeUInt16BE(value, offset[, noAssert])
buf.writeUInt16LE(value, offset[, noAssert])
buf.writeUInt32BE(value, offset[, noAssert])
buf.writeUInt32LE(value, offset[, noAssert])
buf.writeUIntBE(value, offset, byteLength[, noAssert])
buf.writeUIntLE(value, offset, byteLength[, noAssert])

buffer读操作由read开头的api完成，主要有以下这些：

buf.readDoubleBE(offset[, noAssert])
buf.readDoubleLE(offset[, noAssert])
buf.readFloatBE(offset[, noAssert])
buf.readFloatLE(offset[, noAssert])
buf.readInt8(offset[, noAssert])
buf.readInt16BE(offset[, noAssert])
buf.readInt16LE(offset[, noAssert])
buf.readInt32BE(offset[, noAssert])
buf.readInt32LE(offset[, noAssert])
buf.readIntBE(offset, byteLength[, noAssert])
buf.readIntLE(offset, byteLength[, noAssert])
buf.readUInt8(offset[, noAssert])
buf.readUInt16BE(offset[, noAssert])
buf.readUInt16LE(offset[, noAssert])
buf.readUInt32BE(offset[, noAssert])
buf.readUInt32LE(offset[, noAssert])
buf.readUIntBE(offset, byteLength[, noAssert])
buf.readUIntLE(offset, byteLength[, noAssert])

使用如下所示,以32无符号整型为例：

const buf = Buffer.allocUnsafe(8);
buf.writeUInt32BE(0x12345678,0)
console.log(buf);
const data = buf.readUInt32BE(0);
console.log(data.toString(16));

最后利用buffer读API完成一个获取PNG格式图片尺寸的小工具，在开始编码之前，先简单介绍下PNG文件组成，如下所示：

PNG文件标志	PNG数据块	……	PNG数据块

这里我们只要用到PNG文件标识和PNG数据块的第一个块IHDR文件头数据块。文件标识是固定的8个字节，为89 50 4E 47 0D 0A 1A 0A，IHDR数据块的长度为13个字节，格式如下：

域的名称	字节数	说明
Width	4 bytes	宽度
Height	4 bytes	高度
Bit depth	1 bytes	图像深度
ColorType	1 bytes	颜色类型
Compression method	1 bytes	压缩方法
Filter method	1 bytes	滤波器方法
Interlace method	1 bytes	隔行扫描方法

开始编码，如下所示：

const fs = require('fs');
const path = require('path');

const argvs = process.argv.slice(2);
if(argvs.length<=0){
  console.error('请输入图片：png.js img1 img2 ...');
  process.exit(-1);
}
argvs.forEach((img,idx,arr)=>{
  var stat = fs.statSync(img);
  fs.open(img,'r',(err,fd)=>{
    if(err) throw err;
    var buff = Buffer.alloc(stat.size);
    fs.read(fd,buff,0,stat.size,0,(err, bytesRead, buffer)=>{
      if(err) throw err;
      fs.close(fd,()=>{});
      getImgDimension(buff,(err,dimension)=>{
        if(err) throw err;
        console.log(`${img}的尺寸为：${dimension.width}x${dimension.height}`);
      });
    });
  });
});
function getImgDimension(buff,cb){
  if((buff.toString('utf8',1,8) === 'PNG\r\n\x1a\n') && (buff.toString('utf8',12,16) === 'IHDR')){
    return cb(null,{
      width:buff.readUInt32BE(16),
      height:buff.readUInt32BE(20)
    }),!0;
  }else{
    return cb(new Error('不是PNG图片'),{}),!1;
  }
}

执行结果如下：

E:\developmentdocument\nodejsdemo>node png.js 20160824083157.png 下载.png
20160824083157.png的尺寸为：195x195
下载.png的尺寸为：720x600

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

内容总结

以上是互联网集市为您收集整理的浅谈Node.js：Buffer模块全部内容，希望文章能够帮你解决浅谈Node.js：Buffer模块所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/348019.html

来源：【匿名】

【上一篇】8 行 Node.js 代码实现代理服务器【下一篇】node.js和php的区别有哪些？

更多 ►

【浅谈Node.js：Buffer模块】教程文章相关的互联网学习教程文章

理解 nodeJS 中的 buffer，stream【代码】

在Node.js开发中，当遇到 buffer，stream，和二进制数据处理时，你是否像我一样，总是感到困惑？这种感觉是否会让你认为不了解它们，以为它们不适合你，认为而这些是Node.js作者们的事情？确实，这些东西可能非常令人生畏，尤其是当你在缺乏计算机底层基础知识，进行相关的开发。可悲的是，许多教程和书籍直接告诉你如何使用 Node.js 包开发 Web 应用程序，而没有让你了解 Node.js 的核心功能以及它们存在的原因，有些人会地告诉你...

在NodeJS中玩转Protocol Buffer【代码】【图】

Protocol Buffer入门教程Protocol Buffer是个什么鬼NodeJS开发者为何要跟Protocol Buffer打交道在NodeJS中实践Protocol Buffer协议选择支持protobuf的NodeJS第三方模块一个栗子书写proto文件编译 proto 文件编写 Writer编写Reader运行结果再举一个栗子编写proto编写client书写server运行结果其他高级特性嵌套MessageImport Message总结一下优点简洁快缺点参考文档Protocol Buffer入门教程Protocol Buffer是个什么鬼？Protocol Buff...

node.js Buffer类（二进制数据处理模块）【图】

Buffer类概述一个用于更好的操作二进制数据的类我们在操作文件或者网络数据的时候，其实操作的就是二进制数据流Node为我们提供了一个更加方便的去操作这种数据流的类 Buffer，他是一个全局的类，不需要引入后才能使用，可以直接使用 Buffer类的构造方法new Buffer(size)分配一个新的buffer大小是size的8位字节，参数size是一个Number类型的（类似数组的长度），一个长度表示1个字节创建一个Buffer对象，并为这个对象分配一个大小...

[Node.js]Buffer【代码】【图】

摘要在js中是没有二进制类型的，但在处理tcp或者文件流时，必须使用到二进制数据，因此Node.js定义了一个Buffer类型，该类型用来创建一个专门存储二进制数据的缓存区。在Node.js中，Buffer类是随Node内核一起发布的核心库。Buffer库为Node.js带来了一种存储原始数据的办法，可以让Node.js处理二进制数据，每当需要在Node.js中处理I/O操作中移动的数据时，就有可能使用Buffer库。原始数据存储在Buffer类的实例中。一个Buffer类似于证...

NodeJS中Buffer模块详解【图】

一，开篇分析所谓缓冲区Buffer，就是 "临时存贮区" 的意思，是暂时存放输入输出数据的一段内存。 JS语言自身只有字符串数据类型，没有二进制数据类型，因此NodeJS提供了一个与String对等的全局构造函数Buffer来提供对二进制数据的操作。除了可以读取文件得到Buffer的实例外，还能够直接构造，例如：代码如下:var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ; Buffer与字符串类似，除了可以用.length属性得到字节长度...

javascript – Node.js Stream – Buffer to String给出[object Object]【代码】

我希望能够过滤输出.但是,我遇到从缓冲区转换为字符串的问题.的console.log(JSON.stringify(obj.toString()));继续给我[对象]我不能使用.如何将缓冲区转换为字符串,以便我可以将内容过滤到stdout？//inject 'bower and javascript' files or just 'javascript' files function injectStream(sourceStream, filesStream) {sourceStream.pipe(injector(filesStream, { ignorePath: 'app', addRootSlash: false })).pipe(gulp.dest(IN...

node.js中的buffer.length方法使用说明_node.js

方法说明：该方法将返回buffer对象的长度。语法：代码如下: buffer.length接收参数：无例子：代码如下: buf = new Buffer(1234); console.log(buf.length); buf.write("some string", 0, "ascii"); console.log(buf.length); // 1234 // 1234

Node.js实用代码段之正确拼接Buffer_node.js【图】

对于初学Node.js框架的开发人员来说，可能认为Buffer模块比较易学、重要性也不是那么突出。其实，Buffer模块在文件I/O和网络I/O中应用非常广泛，其处理二进制的性能比普通字符串性能要高出很多，重要性可谓是举足轻重。下面我们通过一个例程向读者演示一下，使用buf.concat()方法进行拼接的过程。本例ch04.buffer-concat.js主要代码如下：/** * ch04.buffer-concat.js */ console.info("------ Buffer concat vs String concat ...

Node.js实用代码段之获取Buffer对象字节长度【图】

我们知道Node.js框架下的Buffer对象能够对二进制数据提供很好的支持，那么获取一个Buffer对象真实的字节长度则是必须要用到的功能了。Node.js框架为开发人员提供了一个Buffer.byteLength()方法，下面我们借助一个官方文档提供的例程向读者演示一下该方法的使用过程。本例ch04.buffer-byteLength.js主要代码如下：/*** ch04.buffer-byteLength.js*/console.info("------Buffer.byteLength()------");console.info();str = \u00bd +...

node.js中的buffer.fill方法使用说明_node.js

方法说明：将制定数据填充到buffer中。语法：代码如下: buffer.fill(value, [offset], [end])接收参数： value 将要填充的数据 offet 填充数据的开始位置，不指定默认为 0 end 填充数据的结束位置，不指定默认为 buffer 的长度。例子：代码如下: //例子1中，不指定填充内容的起止位置 var b = new Buffer(50); b.fill("h"); //例子2中，指定了填充内容的起止位置 var b = new Buffer(50); var ...

node.js中的buffer.Buffer.isBuffer方法使用说明

方法说明：检测目标是否为buffer对象。将返回true 或 false。语法：代码如下: Buffer.isBuffer(obj)接收参数： obj 被检测的对象。例子：代码如下: var b = new Buffer(50); var c = b.toString(base64,0,10); var d = Buffer.isEncoding(base64); var e = Buffer.isBuffer(b); console.log(d); //返回false console.log(e); //返回true源码：代码如下: // Static methods Buffer...

node.js中的buffer.copy方法使用说明_node.js

方法说明：进行不同buffer之间的复制替换操作。从源buffer复制数据并替换到目标buffer的指定位置。语法：代码如下: buffer.copy(targetBuffer, [targetStart], [sourceStart], [sourceEnd])接收参数： targetBuffer 目标buffer，执行复制替换的buffer targetStart 目标buffer数据替换的起始位置 sourceStart 源buffer数据复制的起始位置 sourceEnd 源buffer数据复制的结束位置例子：在该...

Nodejs 简述Buffer的使用，包含多重创建方式、实例方法及静态方法

Buffer 是用来处理缓冲区的专用API，用于创建缓冲区，操作缓冲区数据的场景。主要用于操作二进制数据流，其用法与数组非常相似。在 Nodejs 中处理二进制流就需要用到 Buffer。Buffer 实例一般用于表示编码字符的序列，比如 UTF-8 、 UCS2 、 Base64 、或十六进制编码的数据。通过使用显式的字符编码，就可以在 Buffer 实例与普通的 JavaScript 字符串之间进行相互转换。一、创建方式： new Buffer(size) 创建一个指定大小的buffer...

Node.js Buffer(缓冲区)【代码】

JavaScript 语言自身只有字符串数据类型，没有二进制数据类型。但在处理像TCP流或文件流时，必须使用到二进制数据。因此在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。在 Node.js 中，Buffer 类是随 Node 内核一起发布的核心库。Buffer 库为 Node.js 带来了一种存储原始数据的方法，可以让 Node.js 处理二进制数据，每当需要在 Node.js 中处理I/O操作中移动的数据时，就有可能使用 Buffer 库。...

node.js中的buffer.toJSON方法使用说明_node.js

方法说明：将buffer对象转换成json格式。语法：代码如下: buffer.toJSON()接收参数：无例子：代码如下: var buf = new Buffer(test); var json = JSON.stringify(buf); console.log(json); // {"type":"Buffer","data":[116,101,115,116]} var copy = JSON.parse(json, function(key, value) {return value && value.type === Buffer? new Buffer(value.data): value;}); console.log(copy); // 源码：代码如下: Buffer.proto...

NODEJS - 技术教程分类

Node.js 教程 Node.js 安装配置 Node.js 创建第一个应用 NPM 使用介绍 Node.js REPL Node.js 回调函数 Node.js 事件循环 Node.js EventEmitter Node.js Buffer Node.js Stream Node.js 模块系统 Node.js 函数 Node.js 路由 Node.js 全局对象 Node.js 常用工具 Node.js 文件系统 Node.js GET/POST请求 Node.js 工具模块 Node.js Web 模块 Node.js Express 框架 Node.js RESTful API Node.js 多进程 Node.js MySQL Node.js MongoDB nodejs 全部

NODEJS - 最热教程

Node.js Error: Cannot find module ex...如何使用node.js实现获取微信用户授权（...node.js中的npmupdate如何使用 nodejsnpm包管理的配置方法及常用命令介...node.js+Ajax实现获取HTTP服务器返回数...nodejs调用cmd命令实现复制目录_node.j...快速搭建Node.js(Express)用户注册、登...nodejs入门教程五：连接数据库的方法分...nodejs中自动启用服务==类似于前端的热...14款NodeJS Web框架推荐

首页 / NODEJS / 浅谈Node.js：Buffer模块

浅谈Node.js：Buffer模块

内容导读

内容图文

内容总结

内容备注

内容手机端

【浅谈Node.js：Buffer模块】教程文章相关的互联网学习教程文章

NODEJS - 技术教程分类

NODEJS - 最新教程

NODEJS - 最热教程