关于php采集网页数据获取js动态数据的问题http://www.xjtvs.com.cn/uyghur/special/apply/b/2015-4-28/1430189054690.shtml给一个网页地址，我要获取这个视频的下载地址，虎鱼网的，然后在网页源码中没有下载地址，这是关于视频播放那段的代码然后在控制台里可以看到视频加载后的地址，就是那个 http开头的，可以下载我想用php获取这个js动态加载的视频地址，求方法，求思路------解决思路----------------------我给你第一步，剩下...
CURL采集远程图片到本地时，图片漏采了怎么处理远程图片保存到本地需要一定的时间，而采集一下子就会采集上百篇，这就导致很多图片还没来的及保存到本地，就开始采集下一条。不设置采集间隔时间，用PHP能不能解决这个问题，只在图片保存到本地执行完成后再继续执行下一条------解决思路----------------------你不用 curl_multi 的吗？单个 curl 无法充分利用资源CURLOPT_FILE 参数可直接写入文件，而不需要人工干预------解决思路...
在线等-phpQuery采集出现乱码关于采集电影天堂出现乱码，求高手帮处理。。。。。。。。header("Content-type: text/html; charset=utf-8");set_time_limit(0); require_once("../phpQuery/phpQuery.php");function shootCodeBug($data){ $data=mb_convert_encoding($data,'ISO-8859-1','gb2312'); return mb_convert_encoding($data,'utf-8','GBK');} phpQuery::newDocumentHTML(shootC...
怎么采集淘宝搜索页的商品数据本帖最后由 u013366173 于 2015-01-23 22:49:54 编辑 想采集淘宝搜索页如图上所示的中间的商品数据，用file_get_contents的时候找不到，用fiddler也找不到，也不知道淘宝用了什么技术，有知道的原因的高人吗。要采集网址是:http://s.taobao.com/search?q=%D7%E3%C7%F2&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=1.7274553.1997520841.1&initiative_id=...
请教关于采集规则的更改我采集别的网站内容是20150123090 我想采集到我网站变成20150123-090 ([\d\-]+?)这是我原来的规则，请问怎么改？------解决思路----------------------20150123090 和 20150123-090 用 ([\d-]+?) 就可以了，不用改如果 - 固定出现在倒数第4位则写作 (\d+-\d{3})
php curl采集，服务器gzip压缩返回数据怎么办一般服务器不会胡乱返回gzip压缩的数据，一般是客户端请求的头部里包含你浏览器能接受的压缩方式，Accept-Encoding:gzip,deflate,sdch这里是gzip 、deflate、sdch这三种方式，这里不一一说明是指什么，不懂的可以去找谷哥度娘，有些服务器强制返回gzip压缩的数据，我们采集的时候，返回的是乱码，根本无法读取使用，这个时候马上查看手册发现其实curl里有个参数，curl_setopt($ch, CURL...
高可用数据采集平台（如何玩转3门语言php+.net+aauto）同类文章：高并发数据采集的架构应用（Redis的应用）吐槽下：本人主程是PHP，团队里面也没有精通.net的人才，为了解决这个平台方案，还是费了一部分劲。 新年了，希望有个新的开始。技术+团队管理都有新的突破吧，在新的一年对自己好些，不能再继续搞基下去。问题出发点：随着软件的日益强大，用户的使用需求越来越多，用户也希望众多数据进行整合，来达到资源的合理...
使用phpQuery轻松采集网页内容phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。采集头条先看一实例，现在我要采集新浪网国内新闻的头条，代码如下：include phpQuery/phpQuery.php; phpQuery::newDocumentFile(http://news.sina.com.cn/china); echo pq(".blkTop...
用PHP采集URL参数被加密怎么办？如果用CURL访问带有未加密参数的URL将不会得到返回值，加密后可以。不过在浏览器用未加密的参数访问没问题。关键是参数是用户来输入的，加密算法我也不知道，这种情况还能采集吗？------解决思路----------------------不过在浏览器用未加密的参数访问没问题。浏览器可以使用未加密，那么curl也一定行，把自己的数据包伪装好------解决思路----------------------你不会说的是url编码吧 ？有的浏览器...
请教curl采集ebay乱码怎样解决？各位朋友，我现在使用curl采集信息，发现采集ebay店铺信息时老是显示为乱码，比如：$url="http://stores.ebay.com/sportingamerica/";$caiji=curl_get_contents($url);print_r($caiji);哪位朋友能否解释下？谢谢！function curl_get_contents($url){ $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); //curl_setopt($ch,CURLOPT_HEADER,1); curl...
php 关于循环的问题！（采集网页内容）我在做论坛内容采集小程序，本来是这样挑战网页采集的if ($_GET[id]$url="http://bbs.misranim.com/thread-".$_GET[id]."-1-1.html";但是为了方便 我用了while循环 这样$p=0;while($p$url="http://bbs.misranim.com/thread-".$p."-1-1.html";$p++;问题就出现了，每次遇到被删除的空页面 他也会内容采集到数据库内用if ($_GET[id]用了while 或者 for循环遇到被删除的空页面就出现这样的问题图...
PHP CURL 采集新浪微博手机网页版遇到了问题我用 CURL 的方法的.当前我已经可以成功访问到登录成功!返回登录前的页面...如果没有自动跳转,请点击这里.可获得此页面的源代码了.按照此代码提示a 链接跳转将会又回去登陆界面这里提供一下 Firefox 采集的 URL 跳转过程[02:11:23.043] GET http://3g.sina.com.cn/prog/wapsite/sso/login.php?ns=1&revalid=2&backURL=http://weibo.cn/&backTitle=新浪微博&vt= [HTTP/1.1 200 OK 529ms]-...
请教 寻找PHP采集大量网页高效可行的方法本帖最后由 oasisxp 于 2014-08-25 13:45:08 编辑 想用PHP的CURL采集虾米网的音乐信息。但是很慢，采集到50个左右的时候就会停掉，然后网页卡住，第二次运行的时候就无法采集，应该是根据IP识别后，不允许采集了吧，所以基本上采集数据非常慢。请问这种大数据的采集应该怎么做？也有可能是我代码的问题。以下是部分代码。$j=0; //起始ID $id = 200000; //采集100...
正则采集问题，求大神帮忙，在线等目标页http://www.weather.com.cn/weather1d/101070101.shtml想得到的值1. 页面源码第448行，2014-08-23 07:30更新的html标签内的值2. 第586行至730行之间的数据，（哪一天，多少号，天气情况，最高温度与最低温度，风向与风力）一共是7天的数据 求大神帮忙，正则实在是不会写------解决方案--------------------可以用PHPQuery，用法类似JQuery------解决方案--------------------第一个问题的正...
谁能帮我解释下采集规则的意思str=str.substr(str.indexOf(),680); //请问这个680是字符的意思吗？应该怎么数呢？包括空格和代码<>""字符吗？ str=str.substr(str.indexOf(),300); //console.log(str); var reg=/[\s\S]*?(\d+)<\/td>[\s\S]*?([\d\:\- ]+?)<\/td>[\s\S]*?((?:[\s\S]*?\d+<\/span>){3,5})[\s\S]*?<\/td>/,我要采集的网站http://www.iletou.com/cqssc/kaijiang/gaopin/kjhistory_12_1.html?t=1 为什么采集不到呢？---...