其实写爬虫的思路十分简单： 按照一定的规律发送 HTTP 请求获得页面 HTML 源码（必要时需要加上一定的 HTTP 头信息，比如 cookie 或 referer 之类）利用正则匹配或第三方模块解析 HTML 代码，提取有效数据将数据持久化到数据库中但是真正写起这个爬虫来，我还是遇到了很多的问题（和自己的基础不扎实也有很大的关系，node.js 并没有怎么认真的学过）。主要还是 node.js 的异步和回调知识没有完全掌握，导致在写代码的过程中走了很多...
一、非UTF-8页面处理. 1.背景 windows-1251编码 比如俄语网站：https://vk.com/cciinniikk 可耻地发现是这种编码所有这里主要说的是 Windows-1251（cp1251）编码与utf-8编码的问题，其他的如 gbk就先不考虑在内了~ 2.解决方案 1. 使用js原生编码转换 但是我现在还没找到办法哈.. 如果是utf-8转window-1251还可以http://stackoverflow.com/questions/2696481/encoding-conversation-utf-8-to-1251-in-javascriptvar DMap = {0: 0, 1...
cheerio DOM化并解析的时候 1.假如使用了 .text()方法，则一般不会有html实体编码的问题出现 2.如果使用了 .html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了 类似这些 因为需要作数据存储，所有需要转换代码如下: Халк крушит. Новый способ исполнен大多数都是&#(x)?\w+的格式 所以就用正则转换一番var body = ....//这里就是请求后获得的返回数据，或者那些 ....
一、环境配置 1）搞一台服务器，什么linux都行，我用的是CentOS 6.5； 2）装个mysql数据库，5.5或5.6均可，图省事可以直接用lnmp或lamp来装，回头还能直接在浏览器看日志； 3）先安个node.js环境，我用的是0.12.7，更靠后的版本没试过； 4）执行npm -g install forever，安装forever好让爬虫在后台跑； 5）把所有代码整到本地（整=git clone）； 6）在项目目录下执行npm install安装依赖库； 7）在项目目录下创建json和avatar两个...
开始之前请先确保自己安装了Node.js环境，如果没有安装，大家可以到脚本之家下载安装。 1.在项目文件夹安装两个必须的依赖包 npm install superagent --save-devsuperagent 是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下 npm install cheerio --save-devcheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。相当于...
我们测试了谷歌爬虫是如何抓取 JavaScript，下面就是我们从中学习到的知识。 认为 Google 不能处理 JavaScript ？再想想吧。Audette Audette 分享了一系列测试结果，他和他同事测试了什么类型的 JavaScript 功能会被 Google 抓取和收录。长话短说 1. 我们进行了一系列测试，已证实 Google 能以多种方式执行和收录 JavaScript。我们也确认 Google 能渲染整个页面并读取 DOM，由此能收录动态生成的内容。 2. DOM 中的 SEO 信号(页面标...
其实写爬虫的思路十分简单： 按照一定的规律发送 HTTP 请求获得页面 HTML 源码（必要时需要加上一定的 HTTP 头信息，比如 cookie 或 referer 之类）利用正则匹配或第三方模块解析 HTML 代码，提取有效数据将数据持久化到数据库中但是真正写起这个爬虫来，我还是遇到了很多的问题（和自己的基础不扎实也有很大的关系，node.js 并没有怎么认真的学过）。主要还是 node.js 的异步和回调知识没有完全掌握，导致在写代码的过程中走了很多...
一、环境配置 1）搞一台服务器，什么linux都行，我用的是CentOS 6.5； 2）装个mysql数据库，5.5或5.6均可，图省事可以直接用lnmp或lamp来装，回头还能直接在浏览器看日志； 3）先安个node.js环境，我用的是0.12.7，更靠后的版本没试过； 4）执行npm -g install forever，安装forever好让爬虫在后台跑； 5）把所有代码整到本地（整=git clone）； 6）在项目目录下执行npm install安装依赖库； 7）在项目目录下创建json和avatar两个...
一、非UTF-8页面处理. 1.背景 windows-1251编码 比如俄语网站：https://vk.com/cciinniikk 可耻地发现是这种编码所有这里主要说的是 Windows-1251（cp1251）编码与utf-8编码的问题，其他的如 gbk就先不考虑在内了~ 2.解决方案 1. 使用js原生编码转换 但是我现在还没找到办法哈.. 如果是utf-8转window-1251还可以http://stackoverflow.com/questions/2696481/encoding-conversation-utf-8-to-1251-in-javascript var DMap = {0: 0, ...
cheerio DOM化并解析的时候 1.假如使用了 .text()方法，则一般不会有html实体编码的问题出现 2.如果使用了 .html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了 类似这些 因为需要作数据存储，所有需要转换代码如下: Халк крушит. Новый способ исполнен大多数都是&#(x)?\w+的格式 所以就用正则转换一番 var body = ....//这里就是请求后获得的返回数据，或者那些 ...
从上一篇文章的评论中看出似乎很多童鞋都比较关注爬虫的源代码。所有本文就使用Python编写简单网络爬虫抓取视频下载资源做了很详细的记录，几乎每一步都介绍给大家，希望对大家能有所帮助我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！回到用Python写爬虫的话题。Python一直是我主要使用的脚本语言，没有之一。Python的语言简洁灵活，标准...
这篇文章主要给大家介绍了关于Python3实战之爬虫抓取网易云音乐热评的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。前言之前刚刚入门python爬虫，有大概半个月时间没有写python了，都快遗忘了。于是准备写个简单的爬虫练练手，我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论，于是写了这个抓取网易云音乐热歌榜里的热...
本文给大家分享的是使用python爬虫实现把《廖雪峰的 Python 教程》转换成PDF的方法和代码，有需要的小伙伴可以参考下写爬虫似乎没有比用 Python 更合适了，Python 社区提供的爬虫工具多得让你眼花缭乱，各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来，今天就琢磨着写一个爬虫，将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。开始写爬虫前，我们先来分析一下该网站1的页面结构，网页的左侧是教程...
不知道大家过年都是怎么过的，反正栏主是在家睡了一天，醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码，想起之前练手的时候写过一个抓取百度贴吧发帖记录中的邮箱与手机号的爬虫，于是开源分享给大家学习与参考。需求分析：本爬虫主要是对百度贴吧中各种帖子的内容进行抓取，并且分析帖子内容将其中的手机号和邮箱地址抓取出来。主要流程在代码注释中有详细解释。测试环境：代码在Windows7 64bit，python 2.7 64bit（安装mysq...
版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。在Python中，我们使用urllib2这个组件来抓取网页。urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。它以urlopen函数的形式提供了一个非常简单的接口。最简单的urll...