首页 / NODEJS / Node.js抓取中文网页乱码问题和解决方法_node.js

Node.js抓取中文网页乱码问题和解决方法_node.js

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Node.js抓取中文网页乱码问题和解决方法_node.js，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2073字，纯文字阅读大概需要3分钟。

内容图文

Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码
代码如下:

var request = require('request')
var url = 'http://www.163.com'

request(url, function (err, res, body) {
console.log(body)
})


可以使用 iconv-lite 来解决

安装

代码如下:

npm install iconv-lite

同时我们顺带把 user-agent 修改一下，以防网站屏蔽：
代码如下:

var originRequest = require('request')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}

request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
console.log(html)
})

乱码问题解决

使用 cheerio 解析 HTML

cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多

安装

代码如下:

npm install cheerio
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html)
console.log($('h1').text())
console.log($('h1').html())
})

输出如下
代码如下:

网易
网易

那么问题来了，$('h1').html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦

解决 cheerio .html() 「乱码」问题
查阅文档可知，可以关闭这个转换实体编码的功能

代码如下:

var $ = cheerio.load(html)

改成
代码如下:

var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代码如下：
代码如下:

var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}

var url = 'http://www.163.com'

request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html, {decodeEntities: false})
console.log($('h1').text())
console.log($('h1').html())
})

内容总结

以上是互联网集市为您收集整理的Node.js抓取中文网页乱码问题和解决方法_node.js全部内容，希望文章能够帮你解决Node.js抓取中文网页乱码问题和解决方法_node.js所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/323976.html

来源：【匿名】