一、环境配置 1）搞一台服务器，什么linux都行，我用的是CentOS 6.5； 2）装个mysql数据库，5.5或5.6均可，图省事可以直接用lnmp或lamp来装，回头还能直接在浏览器看日志； 3）先安个node.js环境，我用的是0.12.7，更靠后的版本没试过； 4）执行npm -g install forever，安装forever好让爬虫在后台跑； 5）把所有代码整到本地（整=git clone）； 6）在项目目录下执行npm install安装依赖库； 7）在项目目录下创建json和avatar两个...
前言 写了一个抓取图片的小玩意，分享一下。Github地址：https://github.com/focalhot/node.js-crawler （本地下载） 示例代码//依赖模块var fs = require(fs);var request = require("request");var cheerio = require("cheerio");var mkdirp = require(mkdirp);//目标网址var url = http://me2-sex.lofter.com/tag/美女摄影?page=;//本地存储目录var dir = ./images;//创建目录mkdirp(dir, function(err) {if(err){console.log(e...
开始之前请先确保自己安装了Node.js环境，如果没有安装，大家可以到脚本之家下载安装。 1.在项目文件夹安装两个必须的依赖包 npm install superagent --save-devsuperagent 是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下 npm install cheerio --save-devcheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。相当于...
这篇文章，我们就把上文中采集到的所有文章列表的信息整理一下，开始采集文章并且生成静态html文件了.先看下我的采集效果，我的博客目前77篇文章，1分钟不到就全部采集生成完毕了，这里我截了部分的图片，文件名用文章的id生成的，生成的文章，我写了一个简单的静态模板，所有的文章都是根据这个模板生成的. 项目结构:好了，接下来，我们就来讲解下，这篇文章主要实现的功能： 1，抓取文章，主要抓取文章的标题，内容，超链接，文章...
前言 当想用 nodejs 抓取一些网页 , 我第一反应想到的就是使用 http 模块 , 比如抓取百度首页: var http = require(http); var req = http.request(http://www.baidu.com/, function (res) {res.setEncoding(utf8);res.on(data, function (chunk) {//响应内容console.log(chunk)}); }); req.end(function () {// console.log(连接关闭); });但是 , 这仅限于简单地抓取 html , 有很大的局限性。假如你想要的内容不在 html 里 , 而是...
node.js实现抓取代理ip 主要文件：index.js /* * 支持：node.js v7.9.0 */ const cheerio=require(cheerio); const fetch =require(node-fetch); const Promise=require(bluebird); let mongoose=require(mongoose);Promise.promisifyAll(mongoose); let Schema=mongoose.Schema; mongoose.connect(mongodb://localhost:27017/ipproxypool); let IPpool=new Schema({ip:{type:String,unique:true} }) let Ipproxy=mongoose.model(...
废话不多说，直接给大家贴node.js抓取html页面内容的核心代码了。 具体代码如下所示： var http = require("http"); var iconv = require(iconv-lite); var option = { hostname: "stockdata.stock.hexun.com", path: "/gszl/s601398.shtml" }; var req = http.request(option, function(res) { res.on("data", function(chunk) { console.log(iconv.decode(chunk, "gbk")); }); }).on("error", function(e) { console.log(e.me...
其实写爬虫的思路十分简单： 按照一定的规律发送 HTTP 请求获得页面 HTML 源码（必要时需要加上一定的 HTTP 头信息，比如 cookie 或 referer 之类）利用正则匹配或第三方模块解析 HTML 代码，提取有效数据将数据持久化到数据库中但是真正写起这个爬虫来，我还是遇到了很多的问题（和自己的基础不扎实也有很大的关系，node.js 并没有怎么认真的学过）。主要还是 node.js 的异步和回调知识没有完全掌握，导致在写代码的过程中走了很多...
一、环境配置 1）搞一台服务器，什么linux都行，我用的是CentOS 6.5； 2）装个mysql数据库，5.5或5.6均可，图省事可以直接用lnmp或lamp来装，回头还能直接在浏览器看日志； 3）先安个node.js环境，我用的是0.12.7，更靠后的版本没试过； 4）执行npm -g install forever，安装forever好让爬虫在后台跑； 5）把所有代码整到本地（整=git clone）； 6）在项目目录下执行npm install安装依赖库； 7）在项目目录下创建json和avatar两个...
nodejs获取网页内容绑定data事件，获取到的数据会分几次相应，如果想全局内容匹配，需要等待请求结束，在end结束事件里把累积起来的全局数据进行操作！举个例子，比如要在页面中找有没有www.baidu.com，不多说了，直接放代码： //引入模块 var http = require("http"), fs = require(fs), url = require(url); //写入文件，把结果写入不同的文件 var writeRes = function(p, r) {fs.appendFile(p , r, function(err) {if(err)conso...
一、非UTF-8页面处理. 1.背景 windows-1251编码 比如俄语网站：https://vk.com/cciinniikk 可耻地发现是这种编码所有这里主要说的是 Windows-1251（cp1251）编码与utf-8编码的问题，其他的如 gbk就先不考虑在内了~ 2.解决方案 1. 使用js原生编码转换 但是我现在还没找到办法哈.. 如果是utf-8转window-1251还可以http://stackoverflow.com/questions/2696481/encoding-conversation-utf-8-to-1251-in-javascript var DMap = {0: 0, ...
cheerio DOM化并解析的时候 1.假如使用了 .text()方法，则一般不会有html实体编码的问题出现 2.如果使用了 .html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了 类似这些 因为需要作数据存储，所有需要转换代码如下: Халк крушит. Новый способ исполнен大多数都是&#(x)?\w+的格式 所以就用正则转换一番 var body = ....//这里就是请求后获得的返回数据，或者那些 ...
之前看了很多个版本，自己也搞一个。1. 支持指定保存到哪个目录 2. 按文章进行分目录存放 3. 支持设置并行下载上限 下次有空再搞个整站下载的。 package.json {"name": "me2sex-images","version": "0.0.1","description": "Batch download images from http://me2-sex.lofter.com","main": "index.js","author": "Fay","license": "MIT","dependencies": {"async": "^0.9.0","cheerio": "^0.18.0","mkdirp": "^0.5.0","request": ...
Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码代码如下: var request = require(request) var url = http://www.163.com request(url, function (err, res, body) { console.log(body) })可以使用 iconv-lite 来解决 安装代码如下: npm install iconv-lite 同时我们顺带把 user-agent 修改一下，以防网站屏蔽：代码如下: var originRequest = require(request) var...
现今，网页抓取已经是一种人所共知的技术了，然而依然存在着诸多复杂性， 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest，WebSockets，Flash Sockets等各种复杂技术所开发出来的现代化网站。 我们以我们在Hubdoc这个项目上的基础需求为例，在这个项目中，我们从银行，公共事业和信用卡公司的网站上抓取帐单金额，到期日期，账户号码，以及最重要的：近期账单的pdf。对于这个项目，我一开始采用了很简单的方案（暂时并没有使...