代码如下://采集html function getwebcontent($url){ $ch = curl_init(); $timeout = 10; curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); $contents = trim(curl_exec($ch)); curl_close($ch); return $contents; } //获得标题和url $string = getwebcontent(http://www.***.com/learn/...
代码如下://获得当前的脚本网址 function get_php_url() { if(!empty($_SERVER[”REQUEST_URI”])) { $scriptName = $_SERVER[”REQUEST_URI”]; $nowurl = $scriptName; } else { $scriptName = $_SERVER[”PHP_SELF”]; if(empty($_SERVER[”QUERY_STRING”])) $nowurl = $scriptName; else $nowurl = $scriptName.”?”.$_SERVER[”QUERY_STRING”]; } return $nowurl; } //把全角数字转为半角数字 function GetAlabNum($fnum) ...
代码如下://包含PHP Simple html Dom 类库文件 include_once('./simplehtmldom/simple_html_dom.php'); //采集html function getwebcontent($url){ $ch = curl_init(); $timeout = 10; curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); $contents = trim(curl_exec($ch)); curl_close($ch...
先写一个简单的抓取页面函数 代码如下:function GetSources($Url,$User_Agent='',$Referer_Url='') //抓取某个指定的页面 { //$Url 需要抓取的页面地址 //$User_Agent 需要返回的user_agent信息 如“baiduspider”或“googlebot” $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, $Url); curl_setopt ($ch, CURLOPT_USERAGENT, $User_Agent); curl_setopt ($ch, CURLOPT_REFERER, $Referer_Url); curl_setopt($ch, CURLOPT_FO...
苦想了几天，终于弄明白了里面的道理。在这里写出来，请高手指正。 采集程序的思路很简单，无非就是先打一个页面，一般都是列表页，取得里面全部链接的地址，然后打开逐条链接，寻找我们感兴趣的东西，如果找到，就把它入库或别的处理。下面以一个很简单的例子来说说。 首先确定一个采集页，一般就是列表面了。这里目标是:http://www.gxlcms.com/article/11/index.htm。这是一个列表页，我们的目的就是采集这个列表页上全部的文章。...
代码如下://全国，判断条件是$REQUEST_URI是否含有html if (!strpos($_SERVER["REQUEST_URI"],".html")) { $page="http://qq.ip138.com/weather/"; $html = file_get_contents($page,'r'); $pattern="/全国主要城市、县当天和未来五天天气趋势预报在线查询(.*?)/si"; //正则匹配之间的html preg_match($pattern,$html,$pg); echo ""; //正则替换远程地址为本地地址 $p=preg_replace('/\/weather\/(\w+)\/index.htm/', 'tq.php/$1.h...
在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 查看搜索引擎爬虫的USERAGENT值：http://www.gxlcms.com/yunying/29357.html 2.使用Snoopy或curl传referer值。 如：$snoopy->referer = 'http://www.google.com'; $header[] = "Referer: http://www.google.com/"; 3....
最近发现知道和问问小偷的版本越来越多了！！ 看过一个百度小偷的网站也达到了pr6。收录十万多！！ 在经过 荐礼啦 四十天的实践之后 发现百度对这个确实挺友好的。 从网站访问来看 很多也是从百度搜索来的！ 所以用知道和问问来填充网站内容还是可行的。 于是自己开发了一个知道 问问的采集插件 原则上适合 php+mysql 并且文章是在一个表的程序 知道采集代码 代码如下:session_start(); header("content-type:text/html;charset=g...
代码如下:$arr=array(); $arr['好']='坏'; $arr['不好']='不坏'; $arr['坏']='好'; $arr['不坏']='不好'; $str="我们好不好"; echo strtr($str,$arr); //输出我们坏不坏 ?> 于是问题就很好解决了。自己构建了一个数据库来收集同义词 关键的两个程序是导入数据库和导出文件。 word2db.php 从文件导入到数据库中 代码如下://将文件中的数组写入到数据库中 require("conn.php"); @require("keyword.php"); mysql_query("delete from...
下载地址： http://www.gxlcms.com/codes/33397.html Snoopy的一些特点: 1抓取网页的内容 fetch 2 抓取网页的文本内容 (去除HTML标签) fetchtext 3抓取网页的链接，表单 fetchlinks fetchform 4 支持代理主机 5支持基本的用户名/密码验证 6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) 7支持浏览器重定向，并能控制重定向深度 8能把网页中的链接扩展成高质量的url(默认) 9提交数据并且获取返回值 10 支...
去除官方后门方法：安装好采集大师后，请立即删除 include目录下的dedesql.query.php文件，如已经安装过，有可能文件已被改名为arc.sqlquery.class.php，找到并删除即可。此文件可被利用来在无需登录验证的情况下查询网站数据库，并进行更新、删除、查询数据等操作。大家也可以自己测试一下是否如我所说，方法： http://你的域名.com/include/dedesql.query.php.php?dopost=viewinfo 输入以上网址，即可打开后门界面。 说实话，会故...
curl()、file_get_contents()、snoopy.class.php这三个远程页面抓取或采集中用到的工具，默迹还是侵向于用snoopy.class.php，因为他效率比较高且不需要服务器特定配置支持，在普通虚拟主机中即可使用，file_get_contents()效率稍低些，常用失败的情况、curl()效率挺高的，支持多线程，不过需要开启下curl扩展。下面是curl扩展开启的步骤： 1、将PHP文件夹下的三个文件php_curl.dll,libeay32.dll,ssleay32.dll复制到system32下;...
没有不可能只有不去做，哈哈 代码如下:set_time_limit(0); function _rand() { $length=26; $chars = "0123456789abcdefghijklmnopqrstuvwxyz"; $max = strlen($chars) - 1; mt_srand((double)microtime() * 1000000); $string = ''; for($i = 0; $i $string .= $chars[mt_rand(0, $max)]; } return $string; } $HTTP_SESSION=_rand(); $HTTP_SESSION; $HTTP_Server="search.china.alibaba.com"; $HTTP_URL="/company/k-%CB%AE%CB...
最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。 为什么要用 cURL? 是的，我们可以通过其他办法获取网页内容。大多数时候，我因为想偷懒，都直接用简单的PHP函数：$content = file_get_contents("http://www.gxlcms.com");// or$lines = file("http://www.gxlcms.com");// orreadfile(http://www.gxlcms.com); 不过，这种做法缺乏灵活性和有效的错误处理。而且，你也不能用它完成一些高难...
Snoopy是什么? （下载snoopy） Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机 * 支持基本的用户名/密码验证 * 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) * 支持浏览器转向，并能控制转向深度 * 能把网页中的链接扩展成高质量的url(默...