代码如下:/** * 获取替换文章中的图片路径 * @param string $xstr 内容 * @param string $keyword 创建照片的文件名 * @param string $oriweb 网址 * @return string * */function replaceimg($xstr,$keyword, $oriweb){ //保存路径 $d = date('Ymd', time()); $dirslsitss = '/var/www/weblist/uploads/'.$keyword.'/'.$d;//分类是否存在 if(!is_dir($dirslsitss)) { @mkdir($dirslsitss, 0777); } //...
phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。采集头条先看一实例，现在我要采集新浪网国内新闻的头条，代码如下： 代码如下:include 'phpQuery/phpQuery.php'; phpQuery::newDocumentFile('//www.gxlcms.com'); echo pq(".blkTop h1:eq(0)")->html();简单的三...
选择curl的理由 关于curl与file_get_contents，摘抄一段通俗易懂的对比：file_get_contents其实是一堆内置的文件操作函数的合并版本，比如file_exists,fopen,fread,fclose，专门提供给懒人用的，而且它主要是用来对付本地文件的，但又是因为懒人的原因，同时加入了对网络文件的支持；curl是专门用来进行网络交互的库，提供了一堆自定义选项，用来应对不同的环境，稳定性自然要大于file_get_contents。 使用方法 1、开启curl支持 由...
1、使用curl实现站外采集 具体请参考我上一篇笔记：//www.gxlcms.com/article/46432.htm 2、编码转换首先通过查看源代码找到采集的网站使用的编码，通过mb_convert_encoding函数进行转码； 具体使用方法：代码如下://源字符是$str //以下已知原编码为GBK，转换为utf-8 mb_convert_encoding($str, "UTF-8", "GBK"); //以下未知原编码，通过auto自动检测后，转换编码为utf-8 mb_convert_encoding($str, "UTF-8", "auto"); 3、为更好地...
本文实例讲述了PHP采集静态页面并把页面css,img,js保存的方法。分享给大家供大家参考。具体分析如下： 这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板,如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件,提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入. 首页 index.php,代码如下:代码如下:<!DOCTYPE html> <html> <head> <met...
本文实例讲述了php采集内容中带有图片地址的远程图片并保存的方法。分享给大家供大家参考。具体实现方法如下：代码如下:function my_file_get_contents($url, $timeout=30) { if ( function_exists(curl_init) ) { $ch = curl_init(); curl_setopt ($ch, curlopt_url, $url); curl_setopt ($ch, curlopt_returntransfer, 1); curl_setopt ($ch, curlopt_connecttimeout, $timeout); $file_contents = curl_exe...
本文实例讲述了php采集自中央气象台范围覆盖全国的天气预报代码。分享给大家供大家参考。具体分析如下： 天气预报信息采集自中央气象台,信息准确,覆盖面广,代码简单,返回是json代码,可以用于客户端调用,也可以在服务器端处理后显示,笔者的wordpress天气预报插件就是使用的这段代码,需要注意的是,这段代码会在服务器产生缓存文件,需要在当前目录中新建data文件夹,保证文件夹可写. php天气预报代码如下:代码如下:/* 作者： freem...
调用淘宝的数据可以使用淘宝提供的api，如果只需调用淘宝商品图片名称等公开信息在自己网站上，使用php中的 file_get_contents 函数实现即可。 思路： file_get_contents(url) 该函数根据 url 如 http://www.baidu.com 将该网页内容（源码）以字符串形式输出（一个整字符串），然后配合preg_match，preg_replace等这些正则表达式操作就可以实现获取该url特定div，img等信息了。当然前题是淘宝在单个商品页面的结构是固定的，如500图...
本文实例讲述了php将HTML表格每行每列转为数组实现采集表格数据的方法。分享给大家供大家参考。具体如下： 下面的php代码可以将HTML表格的每行每列转为数组，采集表格数据 <?php function get_td_array($table) {$table = preg_replace("<table[^>]*?>si","",$table);$table = preg_replace("<tr[^>]*?>si","",$table);$table = preg_replace("<td[^>]*?>si","",$table);$table = str_replace("</tr>","{tr}",$table);$table = str...
本文实例讲述了php采集中国代理服务器网的方法。分享给大家供大家参考。具体如下： <?php /*** 采集中国代理服务器网 最新列表*/ class proxy {/* 需采集列表 */public $list;/* 代理列表 保存路径 */public $save_path = proxy.txt;/* 获取采集列表 */function get_list($page){$url = http://www.cnproxy.com/proxy(*).html;// 处理列表$this->list = preg_replace(/\(\*\)/, $page, $url);return $this->list;}/* 采集代理内容...
QueryList使用jQuery的方式来做采集，拥有丰富的插件。下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。 一、安装 使用Composer安装： 1.安装QueryListcomposer require jaeger/querylistGitHub: https://github.com/jae-jae/QueryList 2.安装PhantomJS插件composer require jaeger/querylist-phantomjsGitHub: https://github.com/jae-jae/QueryList-PhantomJS 二、下载PhantomJS二进制文件 PhantomJS官网:http:/...
php采集cms有WordPress它是一种使用php语言开发的博客平台，dedecms是PHP开源网站管理系统，phpcms国内知名的站长建站工具等WordPressWordPress是一种使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站。也可以把 WordPress当作一个内容管理系统（CMS）来使用。WordPress是一款个人博客系统，并逐步演化成一款内容管理系统软件，它是使用PHP语言和MySQL数据库开发的。用户可以在支持 PHP 和...
QueryList 是什么?QueryList是一套用于内容采集的PHP工具，它使用更加现代化的开发思想，语法简洁、优雅，可扩展性强。相比传统的使用晦涩的正则表达式来做采集，QueryList使用了更加强大而优雅的CSS选择器来做采集，大大降低了PHP做采集的门槛，同时也让采集代码易读易维护，让你从此告别晦涩难懂且不易维护的正则表达式。 QueryList 提供的一整套内容采集解决方案● DOM内容选择：CSS选择器● HTTP客户端：GuzzleHTTP● 内容过滤...
许多年前的代码突然拿来一用，特做此笔记(此处的code用来定位内部错误位置,非http code) <?php $url="http://c.hiphotos.baidu.com/image/w%3D210/sign=ed30880babec8a13141a50e1c7029157/d52a2834349b033be1a9503e17ce36d3d539bd35.gif"; function curl_url($url,$type=0,$timeout=30){$msg = [code=>2100,status=>error,msg=>未知错误！];$imgs= [image/jpeg=>jpeg,image/jpg=>jpg,image/gif=>gif,image/png=>png,text/html=>ht...
影响因素主要会有以下几点： 1、网络环境不佳； 2、手机或模拟器中微信客户端崩溃； 3、其它一些网络传输错误；因为我比较看重采集系统的运行成本，这个成本包括硬件投入，运算力投入和占用的人工精力。所以必须提高运行的稳定性。因此如果采集中断，必然增加人工精力的成本。所以针对这一点我对anyproxy做了一些进阶的改造，并且借助了其它一些工具提高了运行效率。以下就是具体的解决方法： 一、代码升级 1）微信浏览器白屏 解决...