首页 / NODEJS / nodejs实现分段加速下载
nodejs实现分段加速下载
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了nodejs实现分段加速下载，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5952字，纯文字阅读大概需要9分钟。
内容图文
node如何下载文件？
用 axios 就行啦！
简单版如下：
const axios = require('axios')
const fs = require('fs')
function formatHeaders (headers) {
return Object.keys(headers).reduce((header, name) => {
header[String(name).toLowerCase()] = headers[name]
return header
}, {})
}
async function download(url, filePath) {
let response = await axios({
timeout: 60000,
method: 'get',
responseType: 'stream',
headers: {
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'Pragma': 'no-cache'
},
url
})
let responseHeaders = formatHeaders(response.headers)
let fileLength = Number(responseHeaders['content-length'])
let readerStream = response.data.pipe(fs.createWriteStream(filePath))
readerStream.on('finish', () => {
if (fileLength === readerStream.bytesWritten) {
// 下载成功
}
})
readerStream.on('error', (err) => {
// 下载失败
})
}
大功告成！
。。。
等下，分段下载怎么搞？
分段下载，需要用到请求的头信息字段 Range。MDN描述摘抄如下：
Range 是一个请求首部，告知服务器返回文件的哪一部分。在一个 Range 首部中，可以一次性请求多个部分，服务器会以 multipart 文件的形式将其返回。如果服务器返回的是范围响应，需要使用 206 Partial Content 状态码。假如所请求的范围不合法，那么服务器会返回 416 Range Not Satisfiable 状态码，表示客户端错误。服务器允许忽略 Range 首部，从而返回整个文件，状态码用 200 。
语法如下：
Range: <unit>=<range-start>- Range: <unit>=<range-start>-<range-end> Range: <unit>=<range-start>-<range-end>, <range-start>-<range-end> Range: <unit>=<range-start>-<range-end>, <range-start>-<range-end>, <range-start>-<range-end>
如果你看视频的时候注意一下视频的请求头，你会发现请求信息是这样的：
content-range 字段描述如下：
在HTTP协议中，响应首部 Content-Range 显示的是一个数据片段在整个文件中的位置。
语法
Content-Range: <unit> <range-start>-<range-end>/<size> Content-Range: <unit> <range-start>-<range-end>/* Content-Range: <unit> */<size>
so，要实现分段下载，用range字段分割就行啦！
一顿操作猛如虎：
先拿到请求的文件的大小，就是 content-range 字段后面的 size 那一截
async function getResHeader(url) {
try {
let response = await axios({
timeout: 60000,
method: 'get',
headers: {
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Range': 'bytes=0-1'
},
url
})
let headers = formatHeaders(response.headers)
if (headers && headers['content-range']) {
return Number(headers['content-range'].split('/').pop())
}
return 0
} catch (e) {
throw e
}
}
再根据返回的文件大小进行分块，这里我们就先预设 4M 吧，小于4M的就不分块了：
function splitBlock(blockSize, fileLength) {
let blockList = []
let block = 0
while (block < fileLength) {
let end = block + blockSize - 1
if (end > fileLength) {
end = fileLength
}
blockList.push({start: block, end: end})
block += blockSize
}
return blockList
}
let fileLength = await getResHeader(url)
let fileBuffer = null
// 分块大小 4M
let blockSize = 1024 * 1024 * 4;
if (fileLength > blockSize) {
fileBuffer = splitBlock(blockSize, fileLength)
}
if (!Array.isArray(fileBuffer) || !fileBuffer.length) {
fileBuffer = [{start: 0, end: fileLength}]
}
然后拿着分段的信息去下载文件：
fileBuffer.forEach(({start, end}) => {
try {
let header = Object.assign({}, {
'etag': headers['etag'],
'Content-Type': headers['content-type'],
'Range': 'bytes=' + start + '-' + end
})
download(url, filePath, header)
} catch (e) {
throw e
}
})
键盘一顿啪啪啪，一看下载报错了。。。
createWriteStream 写入失败？哦，不能同时写入文件。。。那我就换个方法吧。
先把 download 方法改一改，改成直接返回buffer：
async function download(url, defaultHeaders) {
let headers = Object.assign({
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
'Pragma': 'no-cache'
}, defaultHeaders)
let response = await axios({
timeout: 60000,
method: 'get',
responseType: 'arraybuffer',
headers,
url
})
return response.data
}
再把分段请求回来的数据组装上：
Promise.all(fileBuffer.map(({start, end}) => {
let header = Object.assign({}, {
'etag': headers['etag'],
'Content-Type': headers['content-type'],
'Range': 'bytes=' + start + '-' + end
})
return download(url, filePath, header)
})).then(resultList => {
resultList.forEach(data => {
fs.appendFileSync(filePath, data)
})
})
耶！成功了？
下几个大文件试试。。。
蓝屏了。。。
看来还是只能用 createWriteStream 来写入文件了，不然我这破电脑内存根本不够用啊。
可是 stream 谁知道他会按什么顺序下载完成啊，还组装个锤子，写入的时候还占着文件，没法搞啊。
既然写入的时候占着文件，那我每个分段都写入一个文件不就好了嘛，真是天才想法啊
先引入 fs-extra ，这样文件操作会简单一点，在下载目录下新加一个缓存目录用来存放临时文件，等所有文件下载完成，再组装起来
const fse = require('fs-extra')
async function multiThreadDownload (fileBuffer, url, fileName, filePath, headers) {
// 生成临时文件目录
let downloadList = fileBuffer.map(({start, end}) => {
let tempPath = path.join(filePath, '../.download_cache/' + fileName + '/' )
let tempFilePath = path.join(tempPath, start + '-' + end + '.tmp')
return {
start,
end,
tempPath,
tempFilePath
}
})
await Promise.all(fileBuffer.map(async ({start, end, tempFilePath, tempPath}) => {
// 创建临时文件
fse.ensureDirSync(tempPath);
// 判断临时文件是否存在
if (fs.existsSync(tempFilePath)) {
let fileLength = await new Promise((resolve, reject) => {
fs.readFile(tempFilePath, (err, data) => {
if (err) {
reject(err)
}
resolve(data.length)
})
})
if (fileLength >= end - start) {
downloadedSize++
return Promise.resolve()
}
}
fs.appendFileSync(tempFilePath, new Uint8Array(0))
try {
let header = Object.assign({}, {
'etag': headers['etag'],
'Content-Type': headers['content-type'],
'Range': 'bytes=' + start + '-' + end
})
return download(url, tempFilePath, header)
} catch (e) {
fse.removeSync(tempFilePath)
throw e
}
}))
let writeStream = fs.createWriteStream(filePath)
for (let i = 0; i < downloadList.length; i++) {
let tempFilePath = downloadList[i].tempFilePath
await new Promise((resolve, reject) => {
let readerStream = fs.createReadStream(tempFilePath)
readerStream.pipe(writeStream, {end: false})
readerStream.on('end', () => {
resolve()
})
readerStream.on('error', (err) => {
reject(err)
})
})
}
writeStream.end('down')
fse.removeSync(downloadList[0].tempPath)
}
组装完成！
完整demo地址：https://github.com/flicat/fast-bird-download
内容总结
以上是互联网集市为您收集整理的nodejs实现分段加速下载全部内容，希望文章能够帮你解决nodejs实现分段加速下载所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。