nodejs爬虫笔记（三）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了nodejs爬虫笔记（三），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3778字，纯文字阅读大概需要6分钟。

内容图文

思路：通过笔记（二）中代理的设置，已经可以对YouTube的信息进行爬取了，这几天想着爬取网站下的视频信息。通过分析YouTube，可以从订阅号入手，先选择几个订阅号，然后爬取订阅号里面的视频分类，之后进入到每个分类下的视频列表，最后在具体到每一个视频，获取需要的信息。以订阅号YouTube 电影为例。

一、爬取YouTube 电影里面的视频分类列表

打开订阅号，我们可以发现订阅号下有许多视频分类如下图所示，接下来可以解析该订阅号信息，把视频分类的URL和名称爬取下来。

技术分享

接下来我们通过浏览器点击检查查看网页，分析下如何获取分类，可以发现所有的视频分类都在ul 下的 li 里面，通过ul的id 我们便可以找到分类的相关信息，因此我们可以利用cheerio模块来解析页面，从而获取分类信息。

技术分享

先将获取分类信息的相关代码分装成一个函数function categoryList (url , callback){}，代码如下：

var request =require(‘superagent‘);
require(‘superagent-proxy‘)(request);

var cheerio = require(‘cheerio‘);
var debug = require(‘debug‘)(‘youtube:test:category-list‘);

var proxy = ‘http://127.0.0.1:61481‘;//设置代理IP地址

//请求头信息
var header = {
	‘Accept‘:‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8‘,
    ‘Accept-Encoding‘:‘gzip, deflate, sdch, br‘,
    ‘Accept-Language‘:‘zh-CN,zh;q=0.8,en;0.6‘,
    ‘Cookie‘:‘WKcs6.resume=; _ga=GA1.2.1653214693.1476773935; _gid=GA1.2.943573022.1500212436; YSC=_X6aKoK1jMc; s_gl=1d69aac621b2f9c0a25dade722d6e24bcwIAAABVUw==; VISITOR_INFO1_LIVE=T3BczuPUIQo; PREF=hl=zh-CN&cvdm=grid&gl=US&f1=50000000&al=zh-CN&f6=1&f5=30; SID=7gR6XOImfW5PbJLOrScScD4DXf8cHCkWCkxSUFy9CbhnaFaPLBCVCElv97n_mjWgkPC_ow.; HSID=A0_bKgPkAZLJUfnTj; SSID=ASjQTON7p_q4UNgit; APISID=ZIVPX9a3vUKRa28E/A0dykxLiVJ4xDIUS_; SAPISID=t6dcqHC9pjGsE7Bi/ATm5wgRC27rqUQr5B; CONSENT=YES+CN.zh-CN+20160904-14-0; LOGIN_INFO=APUNbegwRQIhAPnMZ-qYHOSAKq0s9ltEQIUvnWNj9CHQ8J5s2JtZK15TAiBLzfS4HEUh-mWGo2Qo6XOruItGRdpPZ2v3cXLqYY7xtA:QUZKNV9BajdRR2VZQ2QyRlVDdXh3VDdKZ1AzMlFqRmg3aTBfR2pxWXFHWXlXYm1BaVVnQWk4UzZfWmZGSGcxRkNuTDBFYTk2a2tKLUEtNmtNaWZKM3hTMWNTZkgyOVlvTF9DNENwTG5XTlJudEVHQzVIeGxMbTFTdkl6YS02QlBmMmM0NVgteWI3QVNIa3c5c2ZkV1NSa3AzbWhwOHBtbzVrVTVSbTBqaWpIZ0dWNTd4UjJRSllr‘,
    ‘Upgrade-insecure-requests‘:‘1‘,
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.59 Safari/537.36‘,
    ‘X-Chrome-Uma-Enabled‘:‘1‘,
    ‘X-Client-Data‘:‘CJa2yQEIorbJAQjBtskBCKmdygE=‘,
    ‘Connection‘: ‘keep-alive‘
};

//获取订阅号下视频分类列表
function categoryList (url , callback){
	debug(‘读取订阅号下视频分类列表‘,url);

	request
	.get(url)//需要获取的网址
	.set(‘header‘,header)
	.proxy(proxy)
	.end(onresponse);

	function onresponse(err,res){
		//res.setEncoding(‘utf-8‘); //防止中文乱码
		if(err){
			return callback(err);
		}else{
			console.log(‘status:‘+res.status);//打印状态码
			//console.log(res.text);
			var $ = cheerio.load(res.text);
			//获取订阅号Id
			var $channelName = $(‘#c4-primary-header-contents .branded-page-header-title a‘).attr(‘href‘);
			var $channelId = $channelName.match(/channel\/([a-zA-Z0-9_-]+)/);
			
			var categoryList = [];
			$(‘#browse-items-primary .branded-page-module-title‘).each(function(){
				var $category = $(this).find(‘a‘).first();
				var item = {
					name : $category.text().trim(),
					url : ‘https://www.youtube.com‘ + $category.attr(‘href‘)
				};
				//根据URL判断为订阅号或者是视频分类
				if(item.url.indexOf(‘list‘)!==-1){
					item.channelId = $channelId[1];
				}else{
					var s = item.url.match(/channel\/([a-zA-Z0-9_-]+)/);
					item.id = s[1];
				}
				//获取youtube某个订阅号下的视频分类
				if(item.name!==‘‘){
					categoryList.push(item);
				}
			});	
			
			callback(null,categoryList);
		}
	}
}

接着调用categoryList函数：

categoryList(‘https://www.youtube.com/channel/UClgRkhTL3_hImCAmdLfDE4g‘,function(err,categoryList){
	if(err){
		return console.log(err);
	}
	return console.log(categoryList);
});

在后台运行就得到了视频分类信息，这是会发现视频分类里面又包含了某些订阅号，而我们只需要提取视频分类。

技术分享

去除订阅号信息（当然也可以添加到订阅号列表，然后再依次读取订阅号下的视频分类）

//获取youtube某个订阅号下的视频分类
if(item.name!==‘‘){
	categoryList.push(item);
}
替换为
//获取youtube某个订阅号下的视频分类
				if(item.categoryName!==‘‘&&item.hasOwnProperty(‘channelId‘)){
	categoryList.push(item);
}

这是再运行会发现订阅号的信息已经剔除了，接下来进入到下一层，通过视频分类获取视频列表

二、获取视频列表

我们以最卖座电影为例，获取其下面的视频列表。点击打开页面，我们会发现该分类下视频列表全部在在里面，我们同样只获取其url 以及名称。

技术分享

点击检查（ps：我用的Google浏览器），先查看下网页结构，再用cheerio进行解析。检查发现我们可以通过tbody中的tr获取每个视频。

技术分享

原文：http://www.cnblogs.com/xiaxuexiaoab/p/7260037.html

内容总结

以上是互联网集市为您收集整理的nodejs爬虫笔记（三）全部内容，希望文章能够帮你解决nodejs爬虫笔记（三）所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1274207.html

来源：【匿名】

【下一篇】node.js和php的区别有哪些？

更多 ►

【nodejs爬虫笔记（三）】教程文章相关的互联网学习教程文章

部署 1）从官网或其他映像下载合适的版本。譬如： wget https://npm.taobao.org/mirrors/node/v10.13.0/node-v10.13.0-linux-x64.tar.xz2）解压到合适的目录(譬如root目录)，建立软连接。tar xf node-v10.13.0-linux-x64.tar.xz ln -s /root/node-v10.13.0-linux-x64/bin/node /usr/local/bin/node ln -s /root/node-v10.13.0-linux-x64/bin/npm /usr/local/bin/npm验证：node -v npm -v3）安装应用包npm install xxxxx运行nod...

npm报错：无法加载文件 D:\nodejs\node_global\webpack.ps1，因为在此系统上禁止运行脚本【代码】【图】

npm报错在 windows终端输入 vue init webpack app，创建一个名为 app 的 Vue 项目时报错如下：无法加载文件 D:\nodejs\node_global\webpack.ps1，因为在此系统上禁止运行脚本有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170解决报错：（1）以管理员身份运行vs code（2）在终端执行：get-ExecutionPolicy，显示Restricted（表示状态是禁止的）（3）在终端执行：set-ExecutionPolicy RemoteSigned（4）在终端执...

centos8安装nodejs

1、通过官方查询需要安装的版本https://github.com/nodesource/distributions 2、在CentOS下获取相应版本的nodejs资源（以NodeJS 14.x为例）粘贴 curl -sL https://rpm.nodesource.com/setup_14.x | sudo bash - 3、运行 sudo yum install -y nodejs 进行nodejs安装 You may also need development tools to build native addons: sudo yum install gcc-c++ make## To install the Yarn package manager, run: curl -sL ...

Node.js -- Router模块中有一个param方法【代码】

这段时间一直有在看Express框架的API，最近刚看到Router，以下是我认为需要注意的地方：Router模块中有一个param方法，刚开始看得有点模糊，官网大概是这么描述的：1Map logic to route parameters.大概意思就是路由参数的映射逻辑这个可能一时半会也不明白其作用，尤其是不知道get和param的执行顺序再看看源码里面的介绍：123Map the given param placeholder `name`(s) to the given callback.Parameter mapping is used to prov...

NodeJS服务端重构计划【代码】【图】

不知不觉做node开发已经半年时间了，这期间写尝试着去解决了一些问题，实现了一下想法，也遇到过一些坑。是时候来梳理一下代码，规划一下接下来的工作。现阶段我们的node服务器端代码结构是这样的：乍一看好像没有什么问题，其实这其中充斥着一些重复代码，以及一些没有测试的模块，代码组织也不够合理。这些问题都是需要处理的。先来说说几个常用的术语router 路由模块负责请求的分发，把请求转给具体的controller。control...

玩转树莓派－Raspberry，在2代B版上装nodejs和phonegap【代码】

下载Nodejs 创建一个新的目录去存放下载的Nodejs文件，在这里我们创建了一个‘nodes_download‘目录。注* 通过 http://nodejs.org/dist 查看最新版。并不是所有最新版的NodeJS都能在树莓派上使用，因为有些没有正确地指定ARM的指令集。树莓派二代已经可以完全正常使用了，本人亲测，把过程分享如下。注意：树莓派一代使用0.12版本的nodejs，因为是ARM v6指令集的CPU，但Chriumun V8最版JavaScript引擎，可能使用了一些ARM v7的功能...

Nodejs操作MongoDB数据库【代码】【图】

数据库连接要在node.js中使用MongoDb，首先需要执行命令 npm install mongodb --save 进行安装，然后在页面中进行引入：const MongoClient = require(‘mongodb‘).MongoClient; const url = ‘mongodb://127.0.0.1:27017‘; const dbName = ‘mongo‘; const client = new MongoClient(url,{useUnifiedTopology:true}); client.connect(function(error){if(error){console.log(error);return;}else{console.log(‘连接成功‘);} }...

NodeJS 爬虫爬取LOL英雄联盟的英雄信息，superagent+cheerio+async【代码】

1.模块使用（1）superagent：Nodejs中的http请求库（每个语言都有无数个，java的okhttp，ios的afnetworking）（2）cheerio:Nodejs中的html解析库（每个语言基本都有。。）（3）async：Nodejs中的同/异步并发函数执行库（这个非常牛，其他语言同类型的不多） 2.爬取内容多玩的英雄联盟英雄页面，通过解析页面内每个英雄的URL，然后并发请求英雄的详细数据，提取需要的数据得到结果http://lol.duowan.com/hero/这次主要是为了熟悉Nod...

nodejs 写bash【代码】

nodejs也可以用来写bash。一、写bash --> hello.js#! /usr/local/bin/node console.log(‘Hello‘);注意：这里hashbang是我在mac命令行下写的，要写node所在的位置。兔哥的那个行不通，兔哥是这样写的#! /usr/bin/env node二、给权限$ sudochmod +x hello.js$ ./hello.jsHello这样就能执行了。三、链接，因为这样还不能在任意目录调用，所以要链接一下$ chmodln -s /sourcePath/hello.js /target/hello # 这里都要写绝对路径，不然...

C++编写nodejs扩展实战【代码】【图】

C++编写nodejs扩展实战之前有用PHP写过根据IP地址查询IP归属地,后来改用C语言编写,效率果然大幅度提高,然后转化为PHP的扩展. 想起之前有过使用手机号码查询号码归属地,最近又有在研究nodejs,于是就使用C++编写了nodejs的扩展. 遇到的问题确实不少,记录下来,供大家参考: 1.字符编码的问题:nodejs对于gbk编码支持不够好,为了提高程序效率,先把IP归属地的资源转化为utf-8的编码,具体使用PHP脚本foreach使用iconv转换 2.参数传递的问题...

nodejs文本文件的读写【代码】

文本文件的换行符方法一： var EOL = fileContents.indexOf("\r\n") >= 0 ? "\r\n" : "\n";方法二： var EOL = (process.platform === ‘win32‘ ? ‘\r\n‘ : ‘\n‘)删除文件var fs = require("fs");console.log("Going to delete an existing file"); fs.unlink(‘input.txt‘, function(err) {if (err) {return console.error(err);}console.log("File deleted successfully!"); }); 小文件的异步与同步读写var fs = require("...

Nodejs报错集

1.ReferenceError: userModule is not defined A:1》检查app.js文件中是否调用userModule所在的文件(const userModule=require("./routes/useModule2.js")； 2》检查userModule所在的模块文件是否将模块公开出来（module.exports=userModule）。原文：http://www.cnblogs.com/potato-lee/p/6259536.html

用 NodeJS 实现 BigPipe【代码】【图】

BigPipe 是 Facebook 开发的优化网页加载速度的技术。网上几乎没有用 node.js 实现的文章，实际上，不止于 node.js，BigPipe 用其他语言的实现在网上都很少见。以至于这技术出现很久以后，我还以为就是整个网页的框架先发送完毕后，用另一个或几个 ajax 请求再请求页面内的模块。直到不久前，我才了解到原来 BigPipe 的核心概念就是只用一个 HTTP 请求，只是页面元素不按顺序发送而已。了解了这个核心概念就好办了，得益于 node.js...

nodejs笔记之流（stream）【代码】

nodejs的stream有四种流类型：可读：Readable可写：Writable可读可写：Duplex操作被写入数据，然后读出结果：Transform常用事件：data：有数据可读时触发end：没有数据可读触发error：读写过程出错触发；finish：所有数据被写入到底层系统时触发；创建可读流：// 注： utf8中，中文占三个字符 // var data = ‘‘;// 创建可读流二var fs = require("fs"); var readerStream = fs.createReadStream(‘./file/333.txt‘,{flags:‘r‘...

NODEJS - 技术教程分类

Node.js 教程 Node.js 安装配置 Node.js 创建第一个应用 NPM 使用介绍 Node.js REPL Node.js 回调函数 Node.js 事件循环 Node.js EventEmitter Node.js Buffer Node.js Stream Node.js 模块系统 Node.js 函数 Node.js 路由 Node.js 全局对象 Node.js 常用工具 Node.js 文件系统 Node.js GET/POST请求 Node.js 工具模块 Node.js Web 模块 Node.js Express 框架 Node.js RESTful API Node.js 多进程 Node.js MySQL Node.js MongoDB nodejs 全部

NODEJS - 最热教程

Node.js Error: Cannot find module ex...如何使用node.js实现获取微信用户授权（...node.js中的npmupdate如何使用 nodejsnpm包管理的配置方法及常用命令介...node.js+Ajax实现获取HTTP服务器返回数...nodejs调用cmd命令实现复制目录_node.j...快速搭建Node.js(Express)用户注册、登...nodejs入门教程五：连接数据库的方法分...nodejs中自动启用服务==类似于前端的热...14款NodeJS Web框架推荐

首页 / NODEJS / nodejs爬虫笔记（三）

nodejs爬虫笔记（三）

内容导读

内容图文

一、爬取YouTube 电影里面的视频分类列表

二、获取视频列表

内容总结

内容备注

内容手机端

【nodejs爬虫笔记（三）】教程文章相关的互联网学习教程文章