今天接到的功课是从一个网站获取商品库存，但是这个网站需要登录，我用fsockopen传递了整个header头都没用，只能求助于curl了。附带说一下curl模块的开启办法：(1)从php目录下拷贝：libeay32.dll，ssleay32.dll 到windows目录下。(2)打开php.ini，查找“extension_dir = xxxxx”，确认后面的文件目录内有php_curl.dll文件。(3)同样是php.ini，查找“extension=php_curl.dll”，确认它没有被注释(前面没有'；')。(4)重启apache，如果...
phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。采集头条先看一实例，现在我要采集新浪网国内新闻的头条，代码如下： 代码如下:include 'phpQuery/phpQuery.php'; phpQuery::newDocumentFile('http://www.gxlcms.com'); echo pq(".blkTop h1:eq(0)")->html();简...
代码如下:$domain ='http://www.gxlcms.com';$url = '/newskin/images/v4/logo.jpg';$pats = pathinfo($url);$dir = '.'.$pats['dirname'].'/'; if(!is_dir($dir)) { @mkdirs($dir, 0777); @fclose(fopen($dir.'/index.htm', 'w')); }$img = file_get_contents($domain.$url);file_put_contents('.'.$url,$img); echo ''; function mkdirs($pathname, $mode = 0755){ is_dir(dirname($pathname)) || mkdirs(dirname($pa...
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容 (去除HTML标签) fetchtext 抓取网页的链接，表单 fetchlinks fetchform 支持代理主机 支持基本的用户名/密码验证 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) 支持浏览器重定向，并能控制重...
用了两天php的Snoopy这个类，发现很好用。获取请求网页里面的所有链接，直接使用fetchlinks就可以，获取所有文本信息使用fetchtext（其内部还是使用正则表达式在进行处理），还有其它较多的功能，如模拟提交表单等。使用方法： 先下载Snoopy类，下载地址：http://sourceforge.net/projects/snoopy/ 先实例化一个对象，然后调用相应的方法即可获取抓取的网页信息代码如下: include snoopy/Snoopy.class.php; $snoopy = new Snoopy()...
PHP采集CSDN博客边栏的阅读排行 项目中要用到采集的数据，所以就先拿CSDN博客来试了试。这里使用Simple HTML DOM（官网）这个库，它能够方便的遍历HTML文档。 <?phpinclude_once(simple_html_dom.php);header(Content-Type:text/html;charset=utf-8);$html = file_get_html(http://blog.csdn.net/szy361);$res = $html->find(#hotarticls ul.panel_body li a[title]);//取得id=hotarticls下class为panel_bodya的ul标签下的a的ti...
前几天有一朋友要我帮做一个采集新闻信息的程序，抽了点时间写了个PHP版本的，随笔记录下。说到采集，无非就是远程获取信息->提取所需内容->分类存储->读取->展示也算是简单"小偷程序"的加强版吧下面是对应核心代码（别拿去做坏事哦^_^）所要采集的内容是某游戏网站上的公告，如下图：可先利用file_get_contents和简单正则获取基本页面信息整理下基本信息，采集入库：<?phpinclude_once("conn.php");if($_GET[id]<=8&&$_GET[id]){$...
基于PHP采集数据入库程序（二），php采集数据入库在上篇 基于PHP采集数据入库程序（二） 中提到采集新闻信息页的列表数据，接下来讲讲关于采集新闻具体内容 这是上篇博客的最终数据表截图：接下来要做的操作就是从数据库中读取所需要采集的URL，进行页面抓取就行 新建一个content表 不过需要注意的一点是，不能再采用采集URL这种id递增的方法去采集，因为数据表中可能出现id断续，比如id=9，id=11，当采集到id=10的时候，URL是空白...
基于PHP的简单采集数据入库程序，php采集入库 说到采集，无非就是远程获取信息->提取所需内容->分类存储->读取->展示 也算是简单"小偷程序"的加强版吧 下面是对应核心代码（别拿去做坏事哦^_^） 所要采集的内容是某游戏网站上的公告，如下图：可先利用file_get_contents和简单正则获取基本页面信息整理下基本信息，采集入库： <?phpinclude_once("conn.php");if($_GET[id]<=8&&$_GET[id]){$id=$_GET[id];$conn=file_get_contents("...
基于PHP的简单采集数据入库程序【续篇】，php采集入库续篇 在上篇文章中，我们已经采集新闻信息页的列表数据，接下来要做的操作就是从数据库中读取所需要采集的URL，进行页面抓取就行 新建一个content表 不过需要注意的一点是，不能再采用采集URL这种id递增的方法去采集，因为数据表中可能出现id断续，比如id=9，id=11，当采集到id=10的时候，URL是空白的，这样可能会导致采集到了空字段。 这里用到的一个技巧是数据库的查询语句，...
php把采集内容中图片地址下载并替换成本地地址，把字符串中地址全部获取到一个数组我们利用preg_match_all函数代码如下 $str='';$pattern="//";preg_match_all($pattern,$str,$match);print_r($match);?> 结果 Array( [0] => Array ( [0] => ) [1] => Array ( [0] => )) 有了上面核心函数下面就好做了代码如下 /** * 获取替换文章中的图片路径 * @param string $xst...
采集天猫新百伦旗舰店商品数据，天猫新百伦旗舰店1. 下载火蜘蛛采集器火蜘蛛采集器下载地址： http://firespider.duapp.com/FireSpiderWeb/index.html2.安装火蜘蛛采集器包含了一个客户端和一个服务端安装包。安装非常方便，一路下一步就可以安装完成。具体安装步骤可以参考它提供的安装手册。3.启动启动服务端：在桌面有个快捷方式“Fire Spider Server Startup”，右键-》以管理员身份运行。 启动客户端：双击桌面快捷方式“Fire...
PHP采集利器：根据开始字符串和结束字符串截取需要的采集内容数据PHP采集利器：根据开始字符串和结束字符串截取需要的采集内容数据function strCutByStr(&$str, $findStart, $findEnd = false, $encoding = utf-8){if(is_array($findStart)){if(count($findStart) === count($findEnd)){foreach($findStart as $k => $v){if(($result = strCutByStr($str, $v, $findEnd[$k], $encoding)) !== false){return $result;}}return false...
PHP采集类Snoopy.class.php介绍以及下载Snoopy 是一个非常强大的PHP类，可以利用该类模拟浏览器来完成获取网页内容和发送表单的任务。下面是详细介绍Snoopy.class.php 的特点和一些常见的用法。 官方网站：http://snoopy.sourceforge.net/ （不能打开国外网站的可使用天行浏览器） 下载地址：http://sourceforge.net/projects/snoopy/ 本站下载地址：PHP采集库Snoopy.class.php下载 下面是Snoopy的一些特点： 1、抓取网页的内容 fe...
php采集内容中带有图片地址的远程图片并保存的方法， 本文实例讲述了php采集内容中带有图片地址的远程图片并保存的方法。分享给大家供大家参考。具体实现方法如下：代码如下:function my_file_get_contents($url, $timeout=30) { if ( function_exists(curl_init) ) { $ch = curl_init(); curl_setopt ($ch, curlopt_url, $url); curl_setopt ($ch, curlopt_returntransfer, 1); curl_setopt ($ch, curlopt_connecttimeout, $time...