我在香港服务器上用file_get_contents 抓取的天猫的数据都是繁体的； 我不想用繁转简的方法，我想抓取过来就是简体的，怎么设置比较好呢？ 如果用curl，那我也不太懂curl的内容为何直接输出页面了，怎么不让他输出，只是赋值给变量呢？ curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1); curl_setopt($ch, CURLOPT_HEADER, true); $contents = curl_exec($ch); 回复讨论(解决方案) 可能是因为你的服务器默认语言是中...
由于技术不够，整天在逛论坛。 看到许多关于抓取网页内容（file_get_contents）和抓取url（这个不知道用什么）对这个听感兴趣。望大神指点下这是怎么回事？最好能帮我整个源码嘎嘎。叫我参考下。 回复讨论(解决方案) 自己百度先吧 我用 php socket 和 curl写过真实的例子，至于 file_get_contents更简单了，原理都一样，你看以看看 不足之处请指点， http://blog.csdn.net/zkg510168343/article/details/12996699 htt...
本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑 最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？ 回复讨论(解决方案) 应该是访问太频繁了。 应该是访问太频繁了。 那该如何解决呢，sleep吗，但是要抓取的数据...
最近有从百度贴吧上批量下载图片的需求，即从某一个贴吧下载所有图片。 本来打算用python写的，因为对python不熟悉，试了minidom，HtmlParser等，感觉上不了手，还是使用比较擅长的php语言吧。 以下是源代码： 1 <?php 2 //运行时间 3 @set_time_limit(60); 4 //贴吧名称 5 $tbname = "%CD%BC%C6%AC"; 6 //抓取类型 0-按照帖子顺序 1-按照贴图顺序 7 $type = 0; 8 //列表页url 9 $listurltpl = "http://tieba.baidu.com...
我们在开发网络程序时，往往需要抓取非本地文件，一般情况下都是利用php模拟浏览器的访问，通过http请求访问url地址， 然后得到html源代码或者xml数据，得到数据我们不能直接输出，往往需要对内容进行提取，然后再进行格式化，以更加友好的方式显现出来。 下面简单说一下php抓取页面的几种方法及原理: 一、 PHP抓取页面的主要方法： 1. file()函数 2. file_get_contents()函数 3. fopen()->fread()->fclose()模式 ...
今天被安排做一下搜狐首页新闻部分抓取。本来很简单的事情，谁知到了搜狐页面抓过来的一直是乱码，怎么转都不行。只好深入研究了一下，也学到不少东西，写下来分享一下。 一、 什么是php采集程序？ 二、 为什么要采集？ 三、 采集些什么？ 四、 如何采集？ 五、 采集思路 六、 采集范例程序 七、 采集心得 什么是php采集程序？ php采集程序，也叫php小偷，主要是用于自动搜集网络上web页里特定...
这是我写的curl抓取代码，抓取天猫商品也有用。但淘宝商品页却抓不了。 加了CURLOPT_FOLLOWLOCATION也没用。。求大神指导 回复讨论(解决方案) 淘宝描述动态加载 分析一下 取那个地址 怎么分析。。CURLOPT_FOLLOWLOCATION不是会自动跳到最终也没吗 不仅要有跳转，还需要传递 cookie curl 仅能获取目标页面的 html 代码，并不能执行其中的 js 程序 而该页面的关键数据同时通过 js 产生的 。。。。。我现在连...
本帖最后由 qq37431300 于 2013-12-17 09:03:47 编辑 比如淘宝的宝贝页： http://item.taobao.com/item.htm?id=36221049162 价 格： ¥596.00 参加促销：全年抄底价 ¥298.00 价格在网页html代码中有，但是 参加促销 网页html中没有，如何抓取？ 效果图： 已解决，不要后面的商店地址就行了。 http://detailskip.taobao.com/json/sib.htm?itemId=36221049162&sellerId=110811289&p=1&rcid=16&s...
抓取 图片 最近要抓取智库百科中的词条，但是词条中的图片抓取出现了问题，这是其中一个图片链接。 http://wiki.mbalib.com/w/images/2/22/%E6%B3%9B%E6%88%90%E6%9C%AC%E7%9A%84%E7%89%B9%E5%BE%81.jpg 无论是用file_get_contents，还是ob_start后readfile，还是用curl，还是snoopy，抓取下来的图片都是损坏的，抓下来的数据比原图小，但我看了一下这个站的图片貌似并没有设置防盗链或cookie验证之类的，求解决方法 回复...
输出到屏幕上。curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 运行cURL，请求网页$data = curl_exec($curl); // 关闭URL请求curl_close($curl); // 显示获得的数据var_dump($data);?> 抓取不到页面 回复讨论(解决方案) $ret = file_get_contents("http://item.taobao.com/item.htm?id=2315770603");var_dump($ret); 电商网站都是用了多层嵌套的 js 第三方验证技术 由于 curl 不能执行 js 代码，所以不可能抓取到...
http://smart-phones.biyixia.com/node/1013 <?php/** * Created by PhpStorm. * User: Admin * Date: 13-11-14 * Time: 下午10:42 */$link[]=array();$page_url=http://smart-phones.biyixia.com/node/1013;//$content=get_data($page_url);$doc= new DOMDocument();@$doc->loadHTMLFile($page_url);$div_contents = $doc->getElementsByTagName(div);print_r($div_contents);foreach($div_contents as $div_content ){ $...
本帖最后由 u012716911 于 2013-11-04 11:25:29 编辑 curl 抓取 标题 代码是我自己这样想着写的，不知道还有没有更好的方法。请各位给些指点 有些网站可以抓到，如百度，有些网站就抓不到，比如太平洋汽车的首页。 public function set_title() { // 获取进来URL $url = $_POST[url]; // $url = "www.pcauto.com.cn"; 抓不到！ //一连串的curl设置 $ch = curl_init(); curl_setopt($ch,CURLOPT_URL,$url); ...
如抓取http://map.sogou.com/api/这个网页，我写的程序,如果不带网址后面的"/"，会抓取得不到，但是站上网（http://tool.chinaz.com/Tools/PageCode.aspx），不带最后面的"/"即可抓取到（即：http://map.sogou.com/api），他是什么原理？下面贴出我的代码，请改进 function file_get($url){ ob_start(); $ch = curl_init(); curl_setopt($ch, CURLOPT_COOKIEJAR, "./cookie.txt"); curl_setopt($ch, CURLOPT_USERAGENT,...
原帖地址： http://bbs.csdn.net/topics/390595542 4# 如果完整的页面信息是： Array( ...... [83] => Part Information 零件清单 [84] => 序号 [85] => 零件号 [86] => 零件说明 [87] => 需求数量 [88] => 承诺数量 [89] => 实收数量 [90] => 包装数 [91] => 料箱数 [92] => 料箱号 [93] => 实发料箱号 [94] => 实发料箱数 [95] => 实收料箱号 [96] => 实收...
页面源代码如下： 假设页面为test.html,且最后一个表格Part Information的内容不固定，可能是1行也可能是多行。 如果要求抓蓝色字体部分怎么做？寻求解决方案。 回复讨论(解决方案) 循环table的tr，直接抓取td的值 这个页面本身返回数据的时候就有蓝色在上面吗？若是，则 <?php$string = aaaaa...