代码如下://采集html function getwebcontent($url){ $ch = curl_init(); $timeout = 10; curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); $contents = trim(curl_exec($ch)); curl_close($ch); return $contents; } //获得标题和url $string = getwebcontent(http://www.***.com/learn/...
参考别人想法变成自己的想法，你会发现慢慢下来以后你就拥有了临时解决很多问题的思路与方法。 代码如下:<?php /* 功能:获取页面内容,存储下来阅读; lost63 */ Class GetUrl{ var $url; //地址 var $result; //结果 var $content; //内容 var $list; //列表 function GetUrl($url){ $this->url=$url; $this->GetContent(); $this->GetList(); $this->FileSave(); //print_r($this->list[2]); } private function GetContent(){ $th...
先写一个简单的抓取页面函数 代码如下:<?php function GetSources($Url,$User_Agent=,$Referer_Url=) //抓取某个指定的页面 { //$Url 需要抓取的页面地址 //$User_Agent 需要返回的user_agent信息 如“baiduspider”或“googlebot” $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, $Url); curl_setopt ($ch, CURLOPT_USERAGENT, $User_Agent); curl_setopt ($ch, CURLOPT_REFERER, $Referer_Url); curl_setopt($ch, CURLOPT_...
苦想了几天，终于弄明白了里面的道理。在这里写出来，请高手指正。 采集程序的思路很简单，无非就是先打一个页面，一般都是列表页，取得里面全部链接的地址，然后打开逐条链接，寻找我们感兴趣的东西，如果找到，就把它入库或别的处理。下面以一个很简单的例子来说说。 首先确定一个采集页，一般就是列表面了。这里目标是://www.gxlcms.com/article/11/index.htm。这是一个列表页，我们的目的就是采集这个列表页上全部的文章。 有列...
在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 查看搜索引擎爬虫的USERAGENT值：//www.gxlcms.com/yunying/29357.html 2.使用Snoopy或curl传referer值。 如：$snoopy->referer = 'http://www.google.com'; $header[] = "Referer: http://www.google.com/"; 3.使用S...
最近发现知道和问问小偷的版本越来越多了！！ 看过一个百度小偷的网站也达到了pr6。收录十万多！！ 在经过 荐礼啦 四十天的实践之后 发现百度对这个确实挺友好的。 从网站访问来看 很多也是从百度搜索来的！ 所以用知道和问问来填充网站内容还是可行的。 于是自己开发了一个知道 问问的采集插件 原则上适合 php+mysql 并且文章是在一个表的程序 知道采集代码 代码如下:<?php session_start(); header("content-type:text/html;cha...
下载地址： //www.gxlcms.com/codes/33397.html Snoopy的一些特点: 1抓取网页的内容 fetch 2 抓取网页的文本内容 (去除HTML标签) fetchtext 3抓取网页的链接，表单 fetchlinks fetchform 4 支持代理主机 5支持基本的用户名/密码验证 6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) 7支持浏览器重定向，并能控制重定向深度 8能把网页中的链接扩展成高质量的url(默认) 9提交数据并且获取返回值 10 支持跟...
去除官方后门方法：安装好采集大师后，请立即删除 include目录下的dedesql.query.php文件，如已经安装过，有可能文件已被改名为arc.sqlquery.class.php，找到并删除即可。此文件可被利用来在无需登录验证的情况下查询网站数据库，并进行更新、删除、查询数据等操作。大家也可以自己测试一下是否如我所说，方法： http://你的域名.com/include/dedesql.query.php.php?dopost=viewinfo 输入以上网址，即可打开后门界面。 说实话，会故...
curl()、file_get_contents()、snoopy.class.php这三个远程页面抓取或采集中用到的工具，默迹还是侵向于用snoopy.class.php，因为他效率比较高且不需要服务器特定配置支持，在普通虚拟主机中即可使用，file_get_contents()效率稍低些，常用失败的情况、curl()效率挺高的，支持多线程，不过需要开启下curl扩展。下面是curl扩展开启的步骤： 1、将PHP文件夹下的三个文件php_curl.dll,libeay32.dll,ssleay32.dll复制到system32下;...
没有不可能只有不去做，哈哈 代码如下:<?php set_time_limit(0); function _rand() { $length=26; $chars = "0123456789abcdefghijklmnopqrstuvwxyz"; $max = strlen($chars) - 1; mt_srand((double)microtime() * 1000000); $string = ; for($i = 0; $i < $length; $i++) { $string .= $chars[mt_rand(0, $max)]; } return $string; } $HTTP_SESSION=_rand(); $HTTP_SESSION; $HTTP_Server="search.china.alibaba.com"; $HTTP_UR...
最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。 为什么要用 cURL? 是的，我们可以通过其他办法获取网页内容。大多数时候，我因为想偷懒，都直接用简单的PHP函数：$content = file_get_contents("//www.gxlcms.com");// or$lines = file("//www.gxlcms.com");// orreadfile(//www.gxlcms.com); 不过，这种做法缺乏灵活性和有效的错误处理。而且，你也不能用它完成一些高难度任务——比如处...
Snoopy是什么? （下载snoopy） Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机 * 支持基本的用户名/密码验证 * 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) * 支持浏览器转向，并能控制转向深度 * 能把网页中的链接扩展成高质量的url(默...
代码如下:<?php $cookie_jar = tempnam(./tmp,cookie); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,登陆地址); curl_setopt($ch, CURLOPT_POST, 1); $request = username=xxx&pwd=xxx; curl_setopt($ch, CURLOPT_POSTFIELDS, $request);//传递数据 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);//把返回来的cookie信息保存在$cookie_jar文件中 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//设定返回的数据是否自动...
这里介绍两个php采集能用到的好工具。一个是Snoopy，一个是simple_html_dom。采集还有很多方式（其实本质就2-3种，其他的都是衍生的），php自带了几个方法也能直接进行采集。但是，出于把懒惰进行到底的精神。我们还是可以通过这两个工具，让采集变得更简单。网上有不少介绍Snoopy的，下面是别人翻译的Snoopy的SDK//////////////////////////////////////////////////////////////Snoopy是一个php类，用来模拟浏览器的功能，可以获...
做采集经常遇到的问题是内容排版问题，用了一些时间写了个用正则替换html标签和样式的函数，共享下。 代码如下:/** * 格式化内容 * @param string $content 内容最好统一用utf-8编码 * @return string * !本函数需要开启tidy扩展 */function removeFormat($content) { $replaces = array ( "/<font.*?>/i" => '', "/<\/font>/i" => '', "/<strong>/i" => '', "/<\/strong>/i" => '', "/<span.*?>/i" => '', "/<\/span>...