代码如下:$cookie_jar = tempnam('./tmp','cookie'); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,'登陆地址'); curl_setopt($ch, CURLOPT_POST, 1); $request = 'username=xxx&pwd=xxx'; curl_setopt($ch, CURLOPT_POSTFIELDS, $request);//传递数据 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);//把返回来的cookie信息保存在$cookie_jar文件中 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//设定返回的数据是否自...
代码如下:header("Content-type:text/html;charset=utf-8"); $weibo = file_get_contents('http://t.qq.com/starank'); $preg = '/(.*)/Uis'; preg_match_all($preg, $weibo, $string); foreach ($string[1] as $key=>$value){ echo delhtml($value).""; } function delhtml($str) // 清除HTML标签 { $st = -1; //开始 $et = -1; //结束 $stmp = array(); $stmp[] = " "; $len = strlen($str); for($i = 0;$i { $ss = substr($str,...
代码如下:$url='http://www.gxlcms.com'; //这个网页里绝对含有邮件地址。 $content=file_get_contents($url); //echo $content; function getEmail($str) { //$pattern = "/([a-z0-9]*[-_\.]?[a-z0-9]+)*@([a-z0-9]*[-_]?[a-z0-9]+)+[\.][a-z]{2,3}([\.][a-z]{2})?/i"; $pattern = "/([a-z0-9\-_\.]+@[a-z0-9]+\.[a-z0-9\-_\.]+)/"; preg_match_all($pattern,$str,$emailArr); return $emailArr[0]; } print...
写采集必用的函数，URL补全函数，也可叫做FormatUrl。 写此函数作用就是为了开发采集程序，采集文章的时候会经常遇到页面里的路径是 “相对路径” 或者 “绝对根路径” 不是“绝对全路径”就无法收集URL。 所以，就需要本功能函数进行对代码进行格式化，把所有的超链接都格式化一遍，这样就可以直接收集到正确的URL了。 路径知识普及 相对路径：“../” “./” 或者前面什么都不加 绝对根路径：/path/xxx.html 绝对全路径：http://...
这是一个系列 没办法在一两天写完 所以一篇一篇的发布 大致大纲： 1.curl数据采集系列之单页面采集函数get_html 2.curl数据采集系列之多页面并行采集函数get_htmls 3.curl数据采集系列之正则处理函数get _matches 4.curl数据采集系列之代码分离 5.curl数据采集系列之并行逻辑控制函数web_spider 单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一...
用第一篇的get_html()实现简单的数据采集，由于是一个一个执行才采集数据的传输时间就会是所有页面下载的总时长，一个页面假设1秒，那么10个页面就是10秒了。所幸curl还提供了并行处理的功能。 要写一个并行采集的函数，先要了解要采集什么样的页面，对采集的页面用什么请求，才能写出一个相对常用的函数。 功能需求分析： 返回什么？ 当然每一个页面的html集合成的数组 传递什么参数？ 编写get_html()时，我们知道了可以用opti...
这里介绍两个php采集能用到的好工具。一个是Snoopy，一个是simple_html_dom。采集还有很多方式（其实本质就2-3种，其他的都是衍生的），php自带了几个方法也能直接进行采集。但是，出于把懒惰进行到底的精神。我们还是可以通过这两个工具，让采集变得更简单。网上有不少介绍Snoopy的，下面是别人翻译的Snoopy的SDK//////////////////////////////////////////////////////////////Snoopy是一个php类，用来模拟浏览器的功能，可以获...
设计思路 考虑到单纯的采集一个网页的图片，太麻烦，所以直接采集他的列表页，获取列表的url然后在一一采集，但是用php匹配列表页的url太麻烦，第一列表页有很多无效url这对我这个正则小菜鸟实在是个问题，看了一下列表页的结构，果断采用jquery获取url，jquery的万能选择器又再次强大起来了。 jquery获取url，然后ajax传递url—>对应PHP文件，遍历url参数—->单页面采集保存图片 jquery程序 代码如下: 这里把url拼接成‘，分割...
个人认为影响的原因：匹配到的图片url并不是有效的url，文中只是简单的判断是否是相对路径，但是有些url是失效的 解决办法：就是新增判断是否是真实有效url的图片代码如下:/** * *判断url是否有效 *@param $url string *@return boole */function relUrl($url){ if(substr($url,0,4)==http){ $array = get_headers($url,true); if(count($array)>0 && is_array($array)){ if(preg_match(/200/, $array[0])){ unset($arra...
做采集经常遇到的问题是内容排版问题，用了一些时间写了个用正则替换html标签和样式的函数，共享下。 代码如下:/** * 格式化内容 * @param string $content 内容最好统一用utf-8编码 * @return string * !本函数需要开启tidy扩展 */function removeFormat($content) { $replaces = array ( "//i" => '', "//i" => '', "//i" => , "/<\/strong>/i" => , "/<span.*?>/i" => , "/<\/span>/i" => , "//i" => "", "/<\/...
代码如下:/** * 获取替换文章中的图片路径 * @param string $xstr 内容 * @param string $keyword 创建照片的文件名 * @param string $oriweb 网址 * @return string * */function replaceimg($xstr,$keyword, $oriweb){ //保存路径 $d = date('Ymd', time()); $dirslsitss = '/var/www/weblist/uploads/'.$keyword.'/'.$d;//分类是否存在 if(!is_dir($dirslsitss)) { @mkdir($dirslsitss, 0777); } //...
使用PinPHP有一段时间了，利用PinPHP在Sae上搭了个环境，运营一个月左右的《时尚美汇》，所以最近也一直在研究这套程序，顺便做些二次开发，加入些自己的想法。例如之前写过的博文：加入人人网帐号登录(淘宝登录其实也做了，只是在淘宝应用中心上用)、修改PinPHP采集。 好吧，今天来说说关于PinPHP后台批量采集的功能二次开发修改实现，本人一开始接解pinphp，使用的是2.1测试版， 到现在官方已经发布了2.2版，但遗憾的是，大家一值...
打开 wp-includes下的post-template.php 先将代码加到 post-template.php 第一行 以下为引用的内容：function RndString($body) { //最大间隔距离(如果在检测不到p标记的情况下，加入混淆字串的最大间隔距离) $maxpos = 1024; //font 的字体颜色 $fontColor = “#FFFFFF”; //div span p 标记的随机样式 $st1 = chr(mt_rand(ord(”A”),ord(”Z”))).chr(mt_rand(ord(”a”),ord(”z”))).chr(mt_rand(ord(”a”),ord(”z”))).mt...
function preg_substr($start, $end, $str) // 正则截取函数 { $temp = preg_split($start, $str); $content = preg_split($end, $temp[1]); return $content[0]; } function str_substr($start, $end, $str) // 字符串截取函数 { $temp = explode($start, $str, 2); $content = explode($end, $temp[1], 2); return $content[0]; } // ---------------- 使用实例 --...
当我们需要采集网络上的某个网页内容时，如果目标网站上的图片做了防盗链的话，我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上，然后就可调用图片了。本文将使用PHP实现采集远程图片功能。基本流程：1、获取目标网站图片地址。2、读取图片内容。3、创建要保存图片的路径并命名图片名称。4、写入图片内容。5、完成。我们通过写几个函数来实现这一过程。函数make_dir()建...