通过搜狗搜索采集公众号历史消息有几个问题： 1、有验证码； 2、历史消息列表只有最近10条群发内容； 3、文章地址是有有效期的； 4、据说批量采集还要换ip； 通过我前面文章的方法就没有这些问题，虽然采集系统搭建不如传统采集器写个规则去爬就可以了那么简单。但是一次搭建好之后批量采集的效率还是可以的。而且采集的文章地址是永久有效的，并且可以采集到一个公众号所有的历史消息。 我们还是从一个公众号文章的链接地址开始看...
采集微信文章和采集网站内容一样，都需要从一个列表页开始。而微信文章的列表页就是公众号里的查看历史消息页。现在网络上的其它微信采集器有的是利用搜狗搜索，采集方式虽然简单多了，但是内容不全。所以我们还是要从最标准最全面的公众号历史消息页来采集。因为微信的限制，我们能复制到的链接是不完整的，在浏览器中无法打开看到内容。所以我们需要通过上一篇文章介绍的方法，使用anyproxy获取到一个完整的微信公众号历史消息页...
1.根据关键字采集百度搜寻结果 根据关键字采集百度搜寻结果，可以使用curl实现，代码如下： <?php function doCurl($url, $data=array(), $header=array(), $timeout=30){$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_HTTPHEADER, $header);curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);$re...
话不多说，下面直接来看实现代码。 主要函数只有一个类实现(stock.class.php)： <?phpclass StockClass{public $stockId;public function __construct($stockId){$this -> stockId = $stockId;}private function getUrl(){return "http://stockpage.10jqka.com.cn/" . $this -> stockId . "/";}private function getPage(){return file_get_contents($this -> getUrl());}//核心，通过正则匹配出 标签名，并将对应的方法的结果替换...
对于做过数据采集的人来说，cURL一定不会陌生。虽然在PHP中有file_get_contents函数可以获取远程链接的数据，但是它的可控制性太差了，对于各种复杂情况的采集情景，file_get_contents显得有点无能为力。因此，本文将为你介绍采集神器cURL的使用。 先给大家补充一下file_get_contents函数可以获取远程链接数据的方法。 <?php $url = "http://git.oschina.net/yunluo/API/raw/master/notice.txt"; $ch = curl_init(); curl_setopt($...
百度dict 采集样本 写的采集百度dict词典翻译后的所有结果数据，当然附带了13.5w单词库和采集简单的案例，这里我把写出的主要类dict.class.php放出来，项目地址http://github.com/widuu/baidu_dict，有需要的直接fork就可以了~么么哒，这东西用的人很少，所以有用的兄弟拿走了哈~ <?php /*** dict.class.php 采集百度词典翻译内容** @copyright (C) 2014 widuu* @license http://www.widuu.com* @lastmodify 2014-2...
前言 我们在写一个Web程序的时候，总会想着把自己的网站更美观一些，功能能更多一些，有时候写一些小的工具或者加上小的插件会让我们的站点更加完善。比如万年历功能，比如我们现在要讲的天气预报功能。 当然我们没法利用专业的卫星接受数据，所以我们的天气数据来自现有的天气预报网站。利用天气预报网站提供的数据服务，我们可以写一个PHP爬虫，然后动态采集我们所需要的数据，并且在目标站点更新数据的时候，我们的程序也能做到...
说到采集，无非就是远程获取信息->提取所需内容->分类存储->读取->展示 也算是简单"小偷程序"的加强版吧 下面是对应核心代码（别拿去做坏事哦^_^） 所要采集的内容是某游戏网站上的公告，如下图：可先利用file_get_contents和简单正则获取基本页面信息整理下基本信息，采集入库： <?phpinclude_once("conn.php");if($_GET[id]<=8&&$_GET[id]){$id=$_GET[id];$conn=file_get_contents("http://www.93moli.com/news_list_4_$id.html"...
在上篇文章中，我们已经采集新闻信息页的列表数据，接下来要做的操作就是从数据库中读取所需要采集的URL，进行页面抓取就行 新建一个content表 不过需要注意的一点是，不能再采用采集URL这种id递增的方法去采集，因为数据表中可能出现id断续，比如id=9，id=11，当采集到id=10的时候，URL是空白的，这样可能会导致采集到了空字段。 这里用到的一个技巧是数据库的查询语句，在我们采集完第一条数据的时候，判断数据库里是否还有大于此...
这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL_MULTI远程采集网页的函数，以方便以后使用，估计以后都不会使用原来的单线程curl函数去foreach了，其性能对比很明显的。同样获取我的博客的十个不同网页，curl_multi:4.5246081352234，file_get_contents:33.001797914505，将近8倍的效率，可想而知，如果在附件更多的情况下，性能差异就越明显了，希望对...
当我们需要采集网络上的某个网页内容时，如果目标网站上的图片做了防盗链的话，我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上，然后就可调用图片了。 本文将使用PHP实现采集远程图片功能。基本流程： 1、获取目标网站图片地址。 2、读取图片内容。 3、创建要保存图片的路径并命名图片名称。 4、写入图片内容。 5、完成。 我们通过写几个函数来实现这一过程。 函数make...
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容 (去除HTML标签) fetchtext 抓取网页的链接，表单 fetchlinks fetchform 支持代理主机 支持基本的用户名/密码验证 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) 支持浏览器重定向，并能控制重...
用了两天php的Snoopy这个类，发现很好用。获取请求网页里面的所有链接，直接使用fetchlinks就可以，获取所有文本信息使用fetchtext（其内部还是使用正则表达式在进行处理），还有其它较多的功能，如模拟提交表单等。使用方法： 先下载Snoopy类，下载地址：http://sourceforge.net/projects/snoopy/ 先实例化一个对象，然后调用相应的方法即可获取抓取的网页信息代码如下: include snoopy/Snoopy.class.php; $snoopy = new Sno...
一、采集类源码 代码如下:<?php /** *通用列表采集类 *版本V1.3 *作者:JAE */ require_once ../phpQuery/phpQuery/phpQuery.php; class QueryList{ private $pageURL; private $regArr = array(); public $jsonArr = array(); private $regRange; private $html; /************************************************ * 参数: 页面地址 选择器数组 块选择器 ...
代码如下:<?php$domain =//www.gxlcms.com;$url = /newskin/images/v4/logo.jpg;$pats = pathinfo($url);$dir = ..$pats[dirname]./; if(!is_dir($dir)) { @mkdirs($dir, 0777); @fclose(fopen($dir./index.htm, w)); }$img = file_get_contents($domain.$url);file_put_contents(..$url,$img); echo <img src=".$url.">; function mkdirs($pathname, $mode = 0755){ is_dir(dirname($pathname)) || mkdirs(dirname($pa...