首页 / JAVASCRIPT / 深入理解Node中的buffer模块

深入理解Node中的buffer模块

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了深入理解Node中的buffer模块，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9310字，纯文字阅读大概需要14分钟。

内容图文

在Node、ES2015出现之前，前端工程师只需要进行一些简单的字符串或DOM操作就可以满足业务需要，所以对二进制数据是比较陌生。node出现以后，前端面对的技术场景发生了变化，可以深入到网络传输、文件操作、图片处理等领域，而这些操作都与二进制数据紧密相关。

Node里面的buffer，是一个二进制数据容器，数据结构类似与数组，数组里面的方法在buffer都存在(slice操作的结果不一样)。下面就从源码(v6.0版本)层面分析，揭开buffer操作的面纱。

1. buffer的基本使用

在Node 6.0以前，直接使用new Buffer，但是这种方式存在两个问题:

参数复杂: 内存分配，还是内存分配+内容写入，需要根据参数来确定
安全隐患: 分配到的内存可能还存储着旧数据，这样就存在安全隐患

// 本来只想申请一块内存，但是里面却存在旧数据
const buf1 = new Buffer(10) // <Buffer 90 09 70 6b bf 7f 00 00 50 3a>
// 不小心，旧数据就被读取出来了
buf1.toString() // '?\tpk?\u0000\u0000P:'

为了解决上述问题，Buffer提供了Buffer.from、Buffer.alloc、Buffer.allocUnsafe、Buffer.allocUnsafeSlow四个方法来申请内存。

// 申请10个字节的内存
const buf2 = Buffer.alloc(10) // <Buffer 00 00 00 00 00 00 00 00 00 00>
// 默认情况下，用0进行填充
buf2.toString() //'\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000'

// 上述操作就相当于
const buf1 = new Buffer(10);
buf.fill(0);
buf.toString(); // '\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000'

2. buffer的结构

buffer是一个典型的javascript与c++结合的模块，其性能部分用c++实现，非性能部分用javascript来实现。

深入理解Node中的buffer模块 - 文章图片

下面看看buffer模块的内部结构:

exports.Buffer = Buffer;
exports.SlowBuffer = SlowBuffer;
exports.INSPECT_MAX_BYTES = 50;
exports.kMaxLength = binding.kMaxLength;

buffer模块提供了4个接口:

Buffer: 二进制数据容器类，node启动时默认加载
SlowBuffer: 同样也是二进制数据容器类，不过直接进行内存申请
INSPECT_MAX_BYTES: 限制bufObject.inspect()输出的长度
kMaxLength: 一次性内存分配的上限，大小为(2^31 - 1)

其中，由于Buffer经常使用，所以node在启动的时候，就已经加载了Buffer，而其他三个，仍然需要使用require('buffer').***。

关于buffer的内存申请、填充、修改等涉及性能问题的操作，均通过c++里面的node_buffer.cc来实现:

// c++里面的node_buffer
namespace node {
 bool zero_fill_all_buffers = false;
 namespace Buffer {
  ...
 }
}
NODE_MODULE_CONTEXT_AWARE_BUILTIN(buffer, node::Buffer::Initialize)

3. 内存分配的策略

Node中Buffer内存分配太过常见，从系统性能考虑出发，Buffer采用了如下的管理策略。

深入理解Node中的buffer模块 - 文章图片

3.1 Buffer.from

Buffer.from(value, ...)用于申请内存，并将内容写入刚刚申请的内存中，value值是多样的，Buffer是如何处理的呢？让我们一起看看源码:

Buffer.from = function(value, encodingOrOffset, length) {
 if (typeof value === 'number')
  throw new TypeError('"value" argument must not be a number');

 if (value instanceof ArrayBuffer)
  return fromArrayBuffer(value, encodingOrOffset, length);

 if (typeof value === 'string')
  return fromString(value, encodingOrOffset);

 return fromObject(value);
};

value可以分成三类:

ArrayBuffer的实例: ArrayBuffer是ES2015里面引入的，用于在浏览器端直接操作二进制数据，这样Node就与ES2015关联起来，同时，新创建的Buffer与ArrayBuffer内存是共享的
string: 该方法实现了将字符串转变为Buffer
Buffer/TypeArray/Array: 会进行值的copy

3.1.1 ArrayBuffer的实例

Node v6与时俱进，将浏览器、node中对二进制数据的操作关联起来，同时二者会进行内存的共享。

var b = new ArrayBuffer(4);
var v1 = new Uint8Array(b);
var buf = Buffer.from(b)
console.log('first, typeArray: ', v1) // first, typeArray: Uint8Array [ 0, 0, 0, 0 ]
console.log('first, Buffer: ', buf) // first, Buffer: <Buffer 00 00 00 00>
v1[0] = 12
console.log('second, typeArray: ', v1) // second, typeArray: Uint8Array [ 12, 0, 0, 0 ]
console.log('second, Buffer: ', buf) // second, Buffer: <Buffer 0c 00 00 00>

在上述操作中，对ArrayBuffer的操作，引起Buffer值的修改，说明二者在内存上是同享的，再从源码层面了解下这个过程:

// buffer.js Buffer.from(arrayBuffer, ...)进入的分支:
function fromArrayBuffer(obj, byteOffset, length) {
 byteOffset >>>= 0;

 if (typeof length === 'undefined')
  return binding.createFromArrayBuffer(obj, byteOffset);

 length >>>= 0;
 return binding.createFromArrayBuffer(obj, byteOffset, length);
}
// c++ 模块中的node_buffer:
void CreateFromArrayBuffer(const FunctionCallbackInfo<Value>& args) {
 ...
 Local<ArrayBuffer> ab = args[0].As<ArrayBuffer>();
 ...
 Local<Uint8Array> ui = Uint8Array::New(ab, offset, max_length);
 ...
 args.GetReturnValue().Set(ui);
}

3.1.2 string

可以实现字符串与Buffer之间的转换，同时考虑到操作的性能，采用了一些优化策略避免频繁进行内存分配:

function fromString(string, encoding) {
 ...
 var length = byteLength(string, encoding);
 if (length === 0)
  return Buffer.alloc(0);
 // 当字符所需要的字节数大于4KB时: 直接进行内存分配
 if (length >= (Buffer.poolSize >>> 1))
  return binding.createFromString(string, encoding);
 // 当字符所需字节数小于4KB: 借助allocPool先申请、后分配的策略
 if (length > (poolSize - poolOffset))
  createPool();
 var actual = allocPool.write(string, poolOffset, encoding);
 var b = allocPool.slice(poolOffset, poolOffset + actual);
 poolOffset += actual;
 alignPool();
 return b;
}

a. 直接内存分配

当字符串所需要的字节大于4KB时，如何还从8KB的buffer pool中进行申请，那么就可能存在内存浪费，例如:

poolSize - poolOffset < 4KB: 这样就要重新申请一个8KB的pool，刚才那个pool剩余空间就会被浪费掉

看看c++是如何进行内存分配的:

// c++
void CreateFromString(const FunctionCallbackInfo<Value>& args) {
 ...
 Local<Object> buf;
 if (New(args.GetIsolate(), args[0].As<String>(), enc).ToLocal(&buf))
  args.GetReturnValue().Set(buf);
}

b. 借助于pool管理

用一个pool来管理频繁的行为，在计算机中是非常常见的行为，例如http模块中，关于tcp连接的建立，就设置了一个tcp pool。

function fromString(string, encoding) {
 ...
 // 当字符所需字节数小于4KB: 借助allocPool先申请、后分配的策略
 // pool的空间不够用，重新分配8kb的内存
 if (length > (poolSize - poolOffset))
  createPool();
 // 在buffer pool中进行分配
 var actual = allocPool.write(string, poolOffset, encoding);
 // 得到一个内存的视图view, 特殊说明: slice不进行copy，仅仅创建view
 var b = allocPool.slice(poolOffset, poolOffset + actual);
 poolOffset += actual;
 // 校验poolOffset是8的整数倍
 alignPool();
 return b;
}

// pool的申请
function createPool() {
 poolSize = Buffer.poolSize;
 allocPool = createBuffer(poolSize, true);
 poolOffset = 0;
}
// node加载的时候，就会创建第一个buffer pool
createPool();
// 校验poolOffset是8的整数倍
function alignPool() {
 // Ensure aligned slices
 if (poolOffset & 0x7) {
  poolOffset |= 0x7;
  poolOffset++;
 }
}

3.1.3 Buffer/TypeArray/Array

可用从一个现有的Buffer、TypeArray或Array中创建Buffer，内存不会共享，仅仅进行值的copy。

var buf1 = new Buffer([1,2,3,4,5]);
var buf2 = new Buffer(buf1);
console.log(buf1); // <Buffer 01 02 03 04 05>
console.log(buf2); // <Buffer 01 02 03 04 05>
buf1[0] = 16
console.log(buf1); // <Buffer 10 02 03 04 05>
console.log(buf2); // <Buffer 01 02 03 04 05>

上述示例就证明了buf1、buf2没有进行内存的共享，仅仅是值的copy，再从源码层面进行分析:

function fromObject(obj) {
 // 当obj为Buffer时
 if (obj instanceof Buffer) {
  ...
  const b = allocate(obj.length);
  obj.copy(b, 0, 0, obj.length);
  return b;
 }
 // 当obj为TypeArray或Array时
 if (obj) {
  if (obj.buffer instanceof ArrayBuffer || 'length' in obj) {
   ...
   return fromArrayLike(obj);
  }
  if (obj.type === 'Buffer' && Array.isArray(obj.data)) {
   return fromArrayLike(obj.data);
  }
 }

 throw new TypeError(kFromErrorMsg);
}
// 数组或类数组，逐个进行值的copy
function fromArrayLike(obj) {
 const length = obj.length;
 const b = allocate(length);
 for (var i = 0; i < length; i++)
  b[i] = obj[i] & 255;
 return b;
}

3.2 Buffer.alloc

Buffer.alloc用于内存的分配，同时会对内存的旧数据进行覆盖，避免安全隐患的产生。

Buffer.alloc = function(size, fill, encoding) {
 ...
 if (size <= 0)
  return createBuffer(size);
 if (fill !== undefined) {
  ...
  return typeof encoding === 'string' ?
    createBuffer(size, true).fill(fill, encoding) :
    createBuffer(size, true).fill(fill);
 }
 return createBuffer(size);
};
function createBuffer(size, noZeroFill) {
 flags[kNoZeroFill] = noZeroFill ? 1 : 0;
 try {
  const ui8 = new Uint8Array(size);
  Object.setPrototypeOf(ui8, Buffer.prototype);
  return ui8;
 } finally {
  flags[kNoZeroFill] = 0;
 }
}

上述代码有几个需要注意的点:

3.2.1 先申请后填充

alloc先通过createBuffer申请一块内存，然后再进行填充，保证申请的内存全部用fill进行填充。

var buf = Buffer.alloc(10, 11);
console.log(buf); // <Buffer 0b 0b 0b 0b 0b 0b 0b 0b 0b 0b>

3.2.2 flags标示

flags用于标识默认的填充值是否为0，该值在javascript中设置，在c++中进行读取。

// js
const binding = process.binding('buffer');
const bindingObj = {};
...
binding.setupBufferJS(Buffer.prototype, bindingObj);
...
const flags = bindingObj.flags;
const kNoZeroFill = 0;

// c++
void SetupBufferJS(const FunctionCallbackInfo<Value>& args) {
 ...
 Local<Object> bObj = args[1].As<Object>();
 ...
 bObj->Set(String::NewFromUtf8(env->isolate(), "flags"),
  Uint32Array::New(array_buffer, 0, fields_count));
}

3.2.3 Uint8Array

Uint8Array是ES2015 TypeArray中的一种，可以在浏览器中创建二进制数据，这样就把浏览器、Node连接起来。

3.3 Buffer.allocUnSafe

Buffer.allocUnSafe与Buffer.alloc的区别在于，前者是从采用allocate的策略，尝试从buffer pool中申请内存，而buffer pool是不会进行默认值填充的，所以这种行为是不安全的。

Buffer.allocUnsafe = function(size) {
 assertSize(size);
 return allocate(size);
};

3.4 Buffer.allocUnsafeSlow

Buffer.allocUnsafeSlow有两个大特点: 直接通过c++进行内存分配；不会进行旧值填充。

Buffer.allocUnsafeSlow = function(size) {
 assertSize(size);
 return createBuffer(size, true);
};

4. 结语

字符串与Buffer之间存在较大的差距，同时二者又存在编码关系。通过Node，前端工程师已经深入到网络操作、文件操作等领域，对二进制数据的操作就显得非常重要，因此理解Buffer的诸多细节十分必要。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

内容总结

以上是互联网集市为您收集整理的深入理解Node中的buffer模块全部内容，希望文章能够帮你解决深入理解Node中的buffer模块所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/343367.html

来源：【匿名】

【上一篇】Javascript继承机制详解【下一篇】javascript 怎么调用php方法

更多 ►

【深入理解Node中的buffer模块】教程文章相关的互联网学习教程文章

node Buffer缓存区常见操作示例

本文实例讲述了node Buffer缓存区常见操作。分享给大家供大家参考，具体如下：创建buffer类 var buf=new buffer(10); var buf=new buffer([10,20,30,40]); var buf=new buffer("www.baidu.com","utf-8");写入缓存区 buf.write(string[,offset[,length]][encoding]) buf=new buffer(256); len=buf.write("www.baidu.com") console,log("写入字节数："+len)从缓存读取数据 buf.toString([encoding[,start[,end]]]) buf=new buffer(2...

NodeJS中Buffer模块详解【图】

一，开篇分析所谓缓冲区Buffer，就是 "临时存贮区" 的意思，是暂时存放输入输出数据的一段内存。 JS语言自身只有字符串数据类型，没有二进制数据类型，因此NodeJS提供了一个与String对等的全局构造函数Buffer来提供对二进制数据的操作。除了可以读取文件得到Buffer的实例外，还能够直接构造，例如：代码如下:var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ; Buffer与字符串类似，除了可以用.length属性得到字节长度...

javascript – Node.js Stream – Buffer to String给出[object Object]【代码】

我希望能够过滤输出.但是,我遇到从缓冲区转换为字符串的问题.的console.log(JSON.stringify(obj.toString()));继续给我[对象]我不能使用.如何将缓冲区转换为字符串,以便我可以将内容过滤到stdout？//inject 'bower and javascript' files or just 'javascript' files function injectStream(sourceStream, filesStream) {sourceStream.pipe(injector(filesStream, { ignorePath: 'app', addRootSlash: false })).pipe(gulp.dest(IN...

node.js中的buffer.length方法使用说明_node.js

方法说明：该方法将返回buffer对象的长度。语法：代码如下: buffer.length接收参数：无例子：代码如下: buf = new Buffer(1234); console.log(buf.length); buf.write("some string", 0, "ascii"); console.log(buf.length); // 1234 // 1234

Node.js实用代码段之正确拼接Buffer_node.js【图】

对于初学Node.js框架的开发人员来说，可能认为Buffer模块比较易学、重要性也不是那么突出。其实，Buffer模块在文件I/O和网络I/O中应用非常广泛，其处理二进制的性能比普通字符串性能要高出很多，重要性可谓是举足轻重。下面我们通过一个例程向读者演示一下，使用buf.concat()方法进行拼接的过程。本例ch04.buffer-concat.js主要代码如下：/** * ch04.buffer-concat.js */ console.info("------ Buffer concat vs String concat ...

Node.js实用代码段之获取Buffer对象字节长度【图】

我们知道Node.js框架下的Buffer对象能够对二进制数据提供很好的支持，那么获取一个Buffer对象真实的字节长度则是必须要用到的功能了。Node.js框架为开发人员提供了一个Buffer.byteLength()方法，下面我们借助一个官方文档提供的例程向读者演示一下该方法的使用过程。本例ch04.buffer-byteLength.js主要代码如下：/*** ch04.buffer-byteLength.js*/console.info("------Buffer.byteLength()------");console.info();str = \u00bd +...

node.js中的buffer.fill方法使用说明_node.js

方法说明：将制定数据填充到buffer中。语法：代码如下: buffer.fill(value, [offset], [end])接收参数： value 将要填充的数据 offet 填充数据的开始位置，不指定默认为 0 end 填充数据的结束位置，不指定默认为 buffer 的长度。例子：代码如下: //例子1中，不指定填充内容的起止位置 var b = new Buffer(50); b.fill("h"); //例子2中，指定了填充内容的起止位置 var b = new Buffer(50); var ...

node.js中的buffer.Buffer.isBuffer方法使用说明

方法说明：检测目标是否为buffer对象。将返回true 或 false。语法：代码如下: Buffer.isBuffer(obj)接收参数： obj 被检测的对象。例子：代码如下: var b = new Buffer(50); var c = b.toString(base64,0,10); var d = Buffer.isEncoding(base64); var e = Buffer.isBuffer(b); console.log(d); //返回false console.log(e); //返回true源码：代码如下: // Static methods Buffer...

node.js中的buffer.copy方法使用说明_node.js

方法说明：进行不同buffer之间的复制替换操作。从源buffer复制数据并替换到目标buffer的指定位置。语法：代码如下: buffer.copy(targetBuffer, [targetStart], [sourceStart], [sourceEnd])接收参数： targetBuffer 目标buffer，执行复制替换的buffer targetStart 目标buffer数据替换的起始位置 sourceStart 源buffer数据复制的起始位置 sourceEnd 源buffer数据复制的结束位置例子：在该...

node.js中的buffer.Buffer.byteLength方法使用说明_node.js

方法说明：获取字符串的字节长度。这个函数与 String.prototype.length 不同点在于，后者返回的是字符串的字符数。语法：代码如下: Buffer.byteLength(string, [encoding])接收参数： string 字符创 encoding 字符串编码，默认为 ‘utf8′ 例子：代码如下: str = \u00bd + \u00bc = \u00be; console.log(str + ": " + str.length + " characters, " +Buffer.byteLength(st...

node.js中的buffer.copy方法使用说明

Node.js实用代码段之正确拼接Buffer【图】

对于初学Node.js框架的开发人员来说，可能认为Buffer模块比较易学、重要性也不是那么突出。其实，Buffer模块在文件I/O和网络I/O中应用非常广泛，其处理二进制的性能比普通字符串性能要高出很多，重要性可谓是举足轻重。下面我们通过一个例程向读者演示一下，使用buf.concat()方法进行拼接的过程。本例ch04.buffer-concat.js主要代码如下： /** * ch04.buffer-concat.js */ console.info("------ Buffer concat vs String concat...

Node.js中使用Buffer编码、解码二进制数据详解

JavaScript很擅长处理字符串，但是因为它最初的设计是用来处理HTML文档，因此它并不太擅长处理二进制数据。JavaScript没有byte类型，没有结构化的类型（structured types），甚至没有字节数组，只有数字和字符串。（原文：JavaScript doesnt have a byte type — it just has numbers — or structured types, or http://skylitecellars.com/ even byte arrays: It just has strings.）因为Node基于JavaScript，它自然可以处理类似...

Nodejs中buffer是什么？Nodejs中buffer类的用法【图】

本篇文章给大家带来的内容是关于Nodejs中buffer是什么？Nodejs中buffer类的用法，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。JavaScript 起初为浏览器而设计，没有读取或操作二进制数据流的机制。Buffer类的引入，则让NodeJS拥有操作文件流或网络二进制流的能力。Buffer基本概念Buffer 对象的内存分配不是在V8的堆内存中，而是Node在C++层面进行内存申请，可以理解为在内存中单独开辟了一部分空间，但是使用时...

Node.js中使用Buffer编码和解码二进制数据的方法

这篇文章主要介绍了Node.js中使用Buffer编码、解码二进制数据详解,Buffer支持ascii、utf8、ucs2、base64等编码格式,需要的朋友可以参考下JavaScript很擅长处理字符串，但是因为它最初的设计是用来处理HTML文档，因此它并不太擅长处理二进制数据。JavaScript没有byte类型，没有结构化的类型（structured types），甚至没有字节数组，只有数字和字符串。（原文：JavaScript doesnt have a byte type — it just has numbers — or st...

首页 / JAVASCRIPT / 深入理解Node中的buffer模块

深入理解Node中的buffer模块

内容导读

内容图文

内容总结

内容备注

内容手机端

【深入理解Node中的buffer模块】教程文章相关的互联网学习教程文章

NODE - 相关标签

JAVASCRIPT - 技术教程分类

JAVASCRIPT - 最新教程

JAVASCRIPT - 最热教程