百度搜索出的数据根据地区的IP 判断， 结果都是有差异的，比如北京的用户和广东的用户搜索医院关键字的时候，显示的除的结果是有差异的。 现在我想通过模拟IP 去抓取百度的结果， 我使用了CURL 去模拟IP 和来源，但是结果都没有效果。 回复讨论(解决方案) 是不同IP全部是一致的吗? IP 不同， 比如：我想查询广东的搜索结果，模拟一个广东的Ip. 查询关键字在上海的排名，模拟一个上海的Ip. 我通过curl 模模拟...
连接地址 http://detail.tmall.com/item.htm?spm=a230r.1.0.0.MlI5e4&id=40364502055&ad_id=&am_id=&cm_id=140105335569ed55e27b&pm_id=&abbucket=12 抓取上面连接的 HTML 用file_get_contents() 测试没成功 怎么回事啊？ 回复讨论(解决方案) file_get_contents() 成功了呀 你可以采用楼上的写法 也可以采用curl来获取，最重要的是要看你啥需求。 查一下php手册中的curl 多测试几次filegetc...
最近在研究Hacker News API时遇到一个HTTPS问题。因为所有的Hacker News API都是通过加密的HTTPS协议访问的，跟普通的HTTP协议不同，当使用PHP里的函数file_get_contents() 来获取API里提供的数据时，出现错误，使用的代码是这样的： <?php$data = file_get_contents("https://hacker-news.firebaseio.com/v0/topstories.json?print=pretty");...... 当运行上面的代码是遇到下面的错误提示： PHP Warning: file_get_contents(...
给朋友做一个抓取番号的小程序,我使用下面这段代码得不到任何数据,将header设为1,得到如下结果 HTTP/1.1 403 Forbidden Accept-Ranges: bytes Date: Sat, 15 Nov 2014 03:11:05 GMT Age: 0 Connection: close X-Cache: MISS 以下为代码,请问该如何解决呢?谢谢了 $url="http://www.btspread.com/search/abp108"; $ch=curl_init(); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch,CURLOPT_HEADER,1); curl_s...
http://www.taodaxiang.com/credit/index/init 这个页面需要post查询后。在抓取查询的数据。这个用php怎么写？求代码 回复讨论(解决方案) 建议你参考一下CURL 百度一下有很多 不行。百度的都抓取失败。 没有人吗？ curl 就可以，不过查询到的信息是通过 app_init.js 动态写入页面的 所以你还需抓取 app_init.js 后自行解析 比如取回的页面中有 注册时间：实名认证：app_init.js 中有 $("#info_reg...
为什么用curl或file_get_content抓取不到数据。 百度经验里，比如http://jingyan.baidu.com/article/00a07f38441c3782d028dc04.html， 直接看页面源代码，是有文章数据。 但是用curl ，file_get_content.都无法正常获取文章内容。 这是为什么？已经伪造了IP，来路等，但还是抓取不到。百度是通过什么防止抓取数据的？ 以下是代码： function fcontents( $url, $timeout = 5, $referer = "" ){ $ch = curl_init...
我用file_get_contents()抓取了 这个网址上的内容 http://simonfenci.sinaapp.com/index.php?key=simon&wd=1314abc 看似好像反回的是数组。。但是我不管怎么用foreach循环都报错。。 我只想把数组中的word里面的值 取出来。。谁帮帮我啊，急 回复讨论(解决方案) 你这个得到的是一个字符串 。所以肯定不用foreach . 得到word里面值 正则或者其他的方法吧 。 $s = file_get_contents(http://simonfenc...
【PHP求助】通过PHP Curl模拟登陆后抓取远程内容 需要抓取的内容：这个页面需要登陆后才能访问 http://member1.taobao.com/member/user_profile.jhtml?userID=epni51 如图所示： 回复讨论(解决方案) 先模?登入，?取cookies，然後?求??地址?，把cookie??去。 ?考： http://blog.csdn.net/fdipzone/article/details/8821957
我要抓取网页的一部分新闻内容并显示在自己的前台页面上，请问该怎么做呢？ 比如在网易上跟家居有关的新闻 $url = "http://home.163.com"; $contents = file_get_contents($url); //如果出现中文乱码使用下面代码 //$getcontent = iconv("gb2312", "utf-8",$contents); echo $contents; ?> 上面这代码只是获取全部页面吧 回复讨论(解决方案) 正则匹配或者用simple_html_dom 看你要哪些内容...
1.问题描述 实现对固定网页上自己需要的信息抓取，以表格形式存储。我是拿wustoj上的一个排行榜来练习的，地址：wustoj 2.思路 网页自己就简单学习了一下php，刚好用它来做点事情吧，我的想法是这样的： （1）查看网页源代码并保存在文件中。 （2）根据需要的信息写出正则表达式，读文件，根据正则表达式来提取需要的信息。写正则表达式的时候最好分组，这样提取起来就方便了很多。 （3）对excel操作，将提取的信息以exce...
以下代码如何改为用 curl来抓取呢？并且以商品的IID保存 function get_shuxing($type,$iid){if($type==tmall){$text=file_get_contents("http://detail.tmall.com/item.htm?id=$iid");preg_match(|(.*)|isU,$text, $match);}elseif ($type==taobao){$text=file_get_contents("http://item.taobao.com/item.htm?id=$iid");preg_match(|(.*)|isU,$text, $match);}$match=$match[0];$match = iconv(gbk, utf-8, $match);echo $matc...
抓取中文的来源可以是文本，网页，只要是有中文的地方就行，每个部分都有注释，里面包含中文的抓取和中文去重两部分。 版权声明：本文为博主原创文章，未经博主允许不得转载。
比如在 http://121.28.49.84:8003/ 以上网页，左边任选一个企业，点击右侧顶部的“监测数据”，可以看到它是用.NET控件做的分页，监控网络请求发现其每次都回发整个网页，且带有viewstate的值，很难模拟。而且采用了UpdatePanel控件，并非向其他接口请求数据。 我的目的是想自动抓取右侧的监测数据，请问有什么办法可以实现抓取这个页面的分页所有数据？ P.S.服务器环境是LAMP ...
抓取不到html，curl和file_get_contents都抓不到，但是页面可以直接打开。 请教 网址如下 https:/count.taobao.com/counter3?keys=SM_368_dsr-1097280647,ICCP_1_522177046867&callback=jsonp107 为什么我怎么都抓不到内容呢，始终是空 回复讨论(解决方案) 贴出你的代码来看看 $ch = curl_init();$url=https://count.taobao.com/coun...
为什么想起来做这个功能？是因为前段时间在做一个淘客网站的时候，想到是否能抓取到淘宝商品的买家秀呢？经过一番折腾发现，淘宝商品用户评价信息是通过Ajax来调取的，通过嗅探网址发现，评论数据的请求接口是： https://rate.tmall.com/list_detail_rate.htm?itemId=524394294771&spuId=341564036&sellerId=100414600&order=3¤tPage=1&append=0&content=1&tagId=&posi=&picture=1&callback=jsonp2339 其...