首页 / PHP / Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！

Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6100字，纯文字阅读大概需要9分钟。

内容图文

一直用curl抓页面，十分方便，屡试屡爽，却在抓取花瓣网首页的一个看似简单的操作中，发现怎么也不能成功。

基本代码如下：
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL, 'http://huaban.com/');
//模拟蜘蛛
//curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');
//模拟普通浏览器
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)');
//可以不要cookie，因为不登陆，能返回首页即可
//curl_setopt($ch, CURLOPT_USERAGENT, '');
//其实也可以不要来路，模拟直接输入地址的
curl_setopt($ch, CURLOPT_REFERER, 'http://huaban.com/');
//curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
//curl_setopt($ch, CURLOPT_HEADER, 0); //输出header
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
curl_exec($ch);
curl_close($ch);

我已经反复尝试不同的cookie header agent，都不能返回如同浏览器打开的那种可见页面，甚至尝试过 file_get_contents('http://huaban.com/'); 都没用。返回的内容，绝大部分内容为js代码，但之前成功抓取的页面，包括各种大小网站，也有js，并不影响远程抓取和显示啊。试了一天，百思不得其解，在csdn qq群里面也进行了讨论，有人说可能是curl不能运行js。但现在哪个网站没有js代码能，之前抓取的那些站，js也不在少数啊。没有一个失败的。。

实在不知道怎么解决，将这个问题丢出来，恳请高人作答。到底是curl不行呢，还是这个网站太变态呢，还是方法不对呢？。。。。

回复讨论(解决方案)

这种优雅的小清新网站，没JS还让它怎么存活在这个竞争惨烈的市场？

这个网站的特别之处就是它的绝大部分内容都是js动态生成的，通过js与后端程序交互不断的产生新内容
所以用curl抓取的只是它最初始的代码，也就是大段的js了

这个网站的特别之处就是它的绝大部分内容都是js动态生成的，通过js与后端程序交互不断的产生新内容
所以用curl抓取的只是它最初始的代码，也就是大段的js了

"js与后端程序交互不断的产生新内容"????
按说这个过程可以通过抓包程序捕获啊，ajax的内容都可以捕获，这个为什么不能呢？
通过抓包也没有发现什么访问，按理说，访问总的有个地址吧

这是你要的数据吧?不知道你是怎么个抓包法
{"filter":"pin:category:all","pins":[{"pin_id":8447271,"user_id":394332,"board_id":1146189,"file_id":3483249,"file":{"farm":"farm1","bucket":"hbimg","key":"a1524741e8fae0916ba04c8d231f8ad23173ddb5baeff-rNFCpP","type":"image/jpeg","width":440,"height":5779,"frames":1},"media_type":0,"source":"weibo.com","link":"http://weibo.com/2134919185/yoVlDsGWs","raw_text":"小小灯泡大改造，你也来动手做一个吧~","text_meta":{},"via":2,"via_user_id":0,"original":null,"created_at":1340276725,"like_count":0,"comment_count":0,"repin_count":0,"is_private":0,"orig_source":"http://ww4.sinaimg.cn/bmiddle/7f404811jw1du5vv6dpnij.jpg","user":{"user_id":394332,"username":"Havetogo","urlname":"shouji132136652610","created_at":1338984624,"avatar":{"id":3061779,"farm":"farm1","bucket":"hbimg","key":"69d6d7842159946de9ca070c22da1714f259010afb4-WcVdOr","type":"image/jpeg","width":100,"height":100,"frames":1}},"board":{"board_id":1146189,"user_id":394332,"title":"创新的力量","description":"","category_id":null,"seq":6,"pin_count":1,"follow_count":0,"created_at":1340276719,"updated_at":1340276725,"is_private":0}},{"pin_id":8447272,"user_id":444560,"board_id":1146190,"file_id":2064511,"file":{"farm":"farm1","bucket":"hbimg","key":"aa4fab086fe5887299cf17df48a250f9df25e375c95b-M4izBs","type":"image/jpeg","width":440,"height":566,"frames":1},"media_type":0,"source":"weibo.com","link":"http://weibo.com/2596178104/ycTQfusRg","raw_text":"紫罗兰的致色原因：#翡翠知识普及#（61) 一般认为由于原生翡翠矿中含有微量的锰元素所致,由于锰元素的多寡和其他微量元素如铁等的渗入程度不同,其紫色也有浓淡深浅的剃度不同,如粉紫,茄紫,篮紫多种紫罗兰.十春九木,由于翡翠矿石含有锰是一种概率事件,所以紫色翡翠相对数量是很少的,再加上种水好则更少.","text_meta":{"tags":

....

貌似我也遇到了同样的问题，你看看这个页面能不能模拟post提交数据地址是http://mixiaba.com/diy/iphoneok.asp?sid=null&pov=5

楼上，你是在向qq空间模拟提交数据吧，这个没有问题，不难实现。

但关键是我说的这个首页，别说提交数据，就是连最基本的页面都打不开，post数据的页面也一样，这就是在太奇怪了，好像这个网站所有页面都经过了特殊处理。

抓包是能抓到数据，4楼提供的那些数据，是可以抓到，但这些不可见啊。和浏览器打开的效果完全不一样啊。post数据的时候，直接返回，说这个页面不存在。

我想问一下楼上，照你这么说，搜索引擎还无法抓到快照内容了，你在baidu，google，soso上site一下花瓣，看看有没有静态的可见的显示？都有清楚的显示！！！！

按理说，本地浏览器可见，那么就应该有一种远程可见的方法。

在浏览器上做截图，并不存在技术上的问题

搞清楚，搜索引擎是截图，快照是截图，是图片？你site一下再说撒

我想知道，搜索引擎是怎么抓到内容的，既然搜索引擎能抓到，按说就应该有方法

我还没仔细的去看过花瓣的代码,不过如果我发的内容是首页的内容(应该就是,要不然要读那些做啥),那么基本上就应该是我说的样子.至于你说百度,谷歌之类的,有什么可比性吗?每年多少优秀的程序员去了?是不是他们去了也在用curl做爬虫呢?人家截图就一定是用curl抓首页代码...如果你要这么认为我也真没啥好说的.

我想问一下楼上，照你这么说，搜索引擎还无法抓到快照内容了，你在baidu，google，soso上site一下花瓣，看看有没有静态的可见的显示？都有清楚的显示！！！！

按理说，本地浏览器可见，那么就应该有一种远程可见的方法。

本来想进来耍个LM的....

现在正经回答一下12楼,
搜索引擎抓到的也是数据,html/js/css/json,
包括4楼给你的东西, 具体的页面是在浏览器端分析生成的,

至于你说google他们怎么生成快照....google有自己的浏览器,你觉得他们把抓到的html/js/css解析成页面会是什么难题吗?

一样的,如果需要,你也可以用抓到的js/html/css等生成页面,不过仅仅curl是不够的

凡事总有个解决的办法，大道理没用。
现在就剩下在线登录还没有搞定，提交不了数据

已搞定，谢谢大家

怎么搞定的？我也遇到你这个同样的问题，是啥回事啊

内容总结

以上是互联网集市为您收集整理的Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！全部内容，希望文章能够帮你解决Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/194785.html

来源：【匿名】

【上一篇】win2000下搭建wamp5服务器【外网不能访问问题】紧急求救！！！！！！！！！！！【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

php curl

PHP中使用cURL实现Get和Post请求的方法，需要的朋友可以参考一下 1.cURL介绍　　cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。2.基本结构　　在学习更为复杂的功能之前，先来看一下在PHP中建立cURL请求的基本步骤：　　（1）初始化　　　　curl_init()　　（2）设置变量　　　　　　curl_clos...

在已经编译安装好php7场景下安装curl扩展

在已经编译安装好php7场景下安装curl扩展cd /root/php7/php-7.2.31/ext/curl #从php官网下载php源码安装包/usr/local/php746/bin/phpize #已经安装好的phpize的路径 yum install libcurl-devel #没有这个会报错 for cURL 7.10.5 or greater... configure: error: cURL version 7.10.5 or later is required to compile php with cURL supporconfigure --with-php-config=/usr/local/php746/bin/php-config makemake testmake in...

PHP免费API调用，使用(CURL)

<?phpclass GetApiModel{//获取第三方API //获取身份证信息 //返回json /*{ "errNum": 0, "retMsg": "success", "retData": { "sex": "M", //M-男，F-女，N-未知 "birthday": "1987-04-20", //出生日期 "address": "湖北省孝感市汉川市" //身份证归属地市/县 }}*/ public function getIdNumberInfo($apikey,$idNumber){ $ch = curl_init(); $url = ‘http://apis.bai...

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

$host = array("Host: act.qzone.qq.com");// 域名不帶http://$data = array( ‘aa‘ => ‘xx‘, ‘bb‘=>‘xx‘ ); $url = ‘http://127.0.0.1/xxx/xxx/api/‘;var_dump( $this->curl_post($host, $data,$url) );function curl_post($host,$data,$url){ $ch = curl_init(); $res= curl_setopt ($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt(...

PHP中curl详解【代码】【图】

定义curl是一个库，能让你通过URL和许多不同种的服务器进行勾搭、搭讪和深入交流，并且还支持许多协议。并且curl可以支持https认证、http post、ftp上传、代理、cookies、简单口令认证等等功能啦例子<?php //创建curl会话资源$ch = curl_init(); // 设置urlcurl_setopt($ch, CURLOPT_URL, "baidu.com"); //这是设置是否将响应结果存入变量，1是存入，0是直接echo出；curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将响应结果存入...

PHP读取CURL模拟登录时生成Cookie文件【图】

在使用PHP中的CURL模拟登录时会保存一个Cookie文件,例如下面的代码$login_url = ‘XXX‘;$post_fields[‘email‘] = ‘XXXX‘; $post_fields[‘password‘] = ‘XXXX‘; $post_fields[‘origURL‘] = ‘XXX‘; $post_fields[‘domain‘] = ‘xxx.com‘; //cookie文件存放在网站根目录的temp文件夹下 $cookie_file = tempnam(‘./temp‘,‘cookie‘);$ch = curl_init($login_url); curl_setopt($ch, CURLOPT_USERAGENT, ‘Mozilla/5...

php5.6开启curl【代码】

1. 打开php安装目录，打开ext目录，是否有php_curl.dll扩展文件，如果没有该扩展文件，请在网上下载此文件。2. 打开php.ini，找到 ;extension=php_curl.dll，去掉注释，重启Apache3. 在php下的ext目录找到libssh2.dll, php_curl.dll, ssleay32.dll, libeay32.dll，将这四个文件复制到windows/system32下。4. 将libssh2.dll复制到Apahe 下的bin目录下。5. 打开phpinfo,查看是否有curl模块。 ?php $url = "http://www.kuaidi....

php使用curl来获取远程图片【代码】

<?php $url = "图片绝对地址/thumbnail.jpg"; $filename = ‘curl.jpg‘; getImg($url, $filename); /**@通过curl方式获取制定的图片到本地*@ 完整的图片地址*@ 要存储的文件名*/function getImg($url = "", $filename = "") {if(is_dir(basename($filename))) {echo "The Dir was not exits";returnfalse;}//去除URL连接上面可能的引号$url = preg_replace( ‘/(?:^[‘"]+|[‘"/]+$)/‘, ‘‘, $url );$hander = curl_init();$fp ...

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

最近在使用curl中遇到CURL ERROR: Recv failure: Connection reset by peer的报错提示，现把解决方法与大家共享，希望对大家有所帮助。我们经常用curl来访问web站点，web站点目前主要分为http和https两种协议，众所周知https类型的网站都是通过ssl协议+http协议的，是目前最安全的网站协议，访问此类网站的时候，会走ssl协议，验证访问者的证书，检测是否安全。通过curl访问此类网站也是如此流程，但是curl中需要添加相应的参数，绕...

PHP扩展CURL的用法详解【代码】

实现的功能：1、实现远程获取和采集内容2、实现PHP 网页版的FTP上传下载3、实现模拟登陆：去一个邮件系统，curl可以模拟cookies4、实现接口对接（API），数据传输等：通过一个平台发送短信啊，抓取和传递所传输的信息。5、实现模拟Cookie等：登陆的状态下才可以操作一些属性。如何使用CURL功能：默认情况加PHP是不支持CURL的，需要在php.ini中开启该功能;extension=php_curl.dll前面的分号去掉1 整个操作过程中第一步是用cur_init...

[PHP]curl上传多文件【代码】

码一下curl上传多文件的行5.5之前版本的写法$file = array(‘pic[0]‘=>"@E:\\wwwroot\\10003\\temp_56.ini;type=text/html;filename=temp_56.ini",‘pic[1]‘=>"@E:\\wwwroot\\10003\\temp_29.html;type=text/html;filename=temp_29.html");5.5以上版本的写法php 5.5 version or above$file = array(‘pic[0]‘=>new CURLFile(‘E:\\wwwroot\\10003\\temp_56.ini‘, ‘text/html‘, ‘temp_56.ini‘),‘pic[1]‘=>new CURLFile(‘...

PHP CURL抓取网页 simple_html_dom类【代码】

抓取网页数据后数据录入到discuz中<?php include(‘simple_html_dom.php‘);function urlText(){$url = ‘http://www.kxt.com/data/3.html‘;//外汇$ch=curl_init();$timeout = 1;// echo CURLOPT_URL; // CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项curl_setopt($ch, CURLOPT_URL, $url);// echo CURLOPT_RETURNTRANSFER; //使用PHP curl获取页面内容或提交数据，有时候希望返回...

PHP Curl Accept-Encoding: gzip乱码问题解决【图】

在使用php curl对接hugegraph的过程中，发现向gremlin发送结果返回乱码，截图如下：发现返回乱码的乱码请求中有Accept-Encoding: gzip，即返回的内容采用了gzip压缩，所以需要在curl请求中加入curl_setopt($curl, CURLOPT_ENCODING, ‘gzip‘);即返回正常。原文：https://www.cnblogs.com/hejianrong/p/11512645.html

php下使用curl模拟用户登陆的代码

bool curl_setopt (int ch, string option, mixed value) curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置，value是这个选项给定的值。下列选项的值将被作为长整形使用(在option参数中指定)：　 *CURLOPT_INFILESIZE: 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。 *CURLOPT_VERBOSE: 如果你想CURL报告每一件意外的事情，设置这个选项为一个非零值。 *CURLOPT_HEADER: 如果你想把一个头包...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！

Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！

内容导读

内容图文

回复讨论(解决方案)

内容总结

内容备注

内容手机端

【Curl号称强大，却在抓花瓣网的首页时，怎么也不能成功，求解！！！！！！！】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

php curl

在已经编译安装好php7场景下安装curl扩展

PHP免费API调用，使用(CURL)

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

PHP中curl详解【代码】【图】

PHP读取CURL模拟登录时生成Cookie文件【图】

php5.6开启curl【代码】

php使用curl来获取远程图片【代码】

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

PHP扩展CURL的用法详解【代码】

[PHP]curl上传多文件【代码】

PHP CURL抓取网页 simple_html_dom类【代码】

PHP Curl Accept-Encoding: gzip乱码问题解决【图】

php下使用curl模拟用户登陆的代码

URL - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程