首页 / PHP / PHP CURL采集百度搜寻结果图片不显示问题的解决方法

PHP CURL采集百度搜寻结果图片不显示问题的解决方法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP CURL采集百度搜寻结果图片不显示问题的解决方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6445字，纯文字阅读大概需要10分钟。

内容图文

1.根据关键字采集百度搜寻结果

根据关键字采集百度搜寻结果，可以使用curl实现，代码如下：

<?php
function doCurl($url, $data=array(), $header=array(), $timeout=30){
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
  $response = curl_exec($ch);
  if($error=curl_error($ch)){
    die($error);
  }
  curl_close($ch);
  return $response;
}
$wd = '仙剑奇侠传';
$url = 'http://www.baidu.com/s?wd='.urlencode($wd);
$data = array();
$header = array();
$response = doCurl($url, $data, $header, 5);
echo $response;
?>

输出后发现有部分图片不能显示

PHP CURL采集百度搜寻结果图片不显示问题的解决方法 - 文章图片

2.采集后的图片不显示原因分析

直接在百度中搜寻，页面是可以显示图片的。使用firebug查看图片路径，发现采集的图片域名与在百度搜寻的图片域名不同。

采集返回的图片域名 t11.baidu.com

PHP CURL采集百度搜寻结果图片不显示问题的解决方法 - 文章图片

正常搜寻的图片域名 ss1.baidu.com

PHP CURL采集百度搜寻结果图片不显示问题的解决方法 - 文章图片

查看采集与正常搜寻的html，发现有个域名转换的js是不一样的

采集

var list = {
    "graph.baidu.com": "http://graph.baidu.com",
    "t1.baidu.com":"http://t1.baidu.com",
    "t2.baidu.com":"http://t2.baidu.com",
    "t3.baidu.com":"http://t3.baidu.com",
    "t10.baidu.com":"http://t10.baidu.com",
    "t11.baidu.com":"http://t11.baidu.com",
    "t12.baidu.com":"http://t12.baidu.com",
    "i7.baidu.com":"http://i7.baidu.com",
    "i8.baidu.com":"http://i8.baidu.com",
    "i9.baidu.com":"http://i9.baidu.com",
};

正常搜寻

var list = {
    "graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K",
    "t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf",
    "t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf",
    "t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf",
    "t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq",
    "t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq",
    "t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq",
    "i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf",
    "i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf",
    "i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf",
};

因此可以断定是，百度根据来源地址、IP、header等参数，判断如果是采集的，则返回不同的js。

3.采集后图片不显示的解决方法

把采集到的html，根据定义的域名做一次批量转换即可。

<?php
function doCurl($url, $data=array(), $header=array(), $timeout=30){
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
  $response = curl_exec($ch);
  if($error=curl_error($ch)){
    die($error);
  }
  curl_close($ch);
  return $response;
}
// 域名转换
function cdomain($str){
  $baidu_domain = '{
    "http://graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K",
    "http://p.qiao.baidu.com":"https://sp0.baidu.com/5PoXdTebKgQFm2e88IuM_a",
    "http://vse.baidu.com":"https://sp3.baidu.com/6qUDsjip0QIZ8tyhnq",
    "http://hdpreload.baidu.com":"https://sp3.baidu.com/7LAWfjuc_wUI8t7jm9iCKT-xh_",
    "http://lcr.open.baidu.com":"https://sp2.baidu.com/8LUYsjW91Qh3otqbppnN2DJv",
    "http://kankan.baidu.com":"https://sp3.baidu.com/7bM1dzeaKgQFm2e88IuM_a",
    "http://xapp.baidu.com":"https://sp2.baidu.com/yLMWfHSm2Q5IlBGlnYG",
    "http://dr.dh.baidu.com":"https://sp0.baidu.com/-KZ1aD0a2gU2pMbgoY3K",
    "http://xiaodu.baidu.com":"https://sp0.baidu.com/yLsHczq6KgQFm2e88IuM_a",
    "http://sensearch.baidu.com":"https://sp1.baidu.com/5b11fzupBgM18t7jm9iCKT-xh_",
    "http://s1.bdstatic.com":"https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K",
    "http://olime.baidu.com":"https://sp0.baidu.com/8bg4cTva2gU2pMbgoY3K",
    "http://app.baidu.com":"https://sp2.baidu.com/9_QWsjip0QIZ8tyhnq",
    "http://i.baidu.com":"https://sp0.baidu.com/74oIbT3kAMgDnd_",
    "http://c.baidu.com":"https://sp0.baidu.com/9foIbT3kAMgDnd_",
    "http://sclick.baidu.com":"https://sp0.baidu.com/5bU_dTmfKgQFm2e88IuM_a",
    "http://nsclick.baidu.com":"https://sp1.baidu.com/8qUJcD3n0sgCo2Kml5_Y_D3",
    "http://sestat.baidu.com":"https://sp1.baidu.com/5b1ZeDe5KgQFm2e88IuM_a",
    "http://eclick.baidu.com":"https://sp3.baidu.com/-0U_dTmfKgQFm2e88IuM_a",
    "http://api.map.baidu.com":"https://sp2.baidu.com/9_Q4sjOpB1gCo2Kml5_Y_D3",
    "http://ecma.bdimg.com":"https://ss1.bdstatic.com/-0U0bXSm1A5BphGlnYG",
    "http://ecmb.bdimg.com":"https://ss0.bdstatic.com/-0U0bnSm1A5BphGlnYG",
    "http://t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf",
    "http://t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf",
    "http://t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf",
    "http://t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq",
    "http://t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq",
    "http://t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq",
    "http://i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf",
    "http://i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf",
    "http://i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf",
    "http://b1.bdstatic.com":"https://ss0.bdstatic.com/9uN1bjq8AAUYm2zgoY3K",
    "http://ss.bdimg.com":"https://ss1.bdstatic.com/5aV1bjqh_Q23odCf",
    "http://opendata.baidu.com":"https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv",
    "http://api.open.baidu.com":"https://sp0.baidu.com/9_Q4sjW91Qh3otqbppnN2DJv",
    "http://tag.baidu.com":"https://sp1.baidu.com/6LMFsjip0QIZ8tyhnq",
    "http://f3.baidu.com":"https://sp2.baidu.com/-uV1bjeh1BF3odCf",
    "http://s.share.baidu.com":"https://sp0.baidu.com/5foZdDe71MgCo2Kml5_Y_D3",  
    "http://bdimg.share.baidu.com":"https://ss1.baidu.com/9rA4cT8aBw9FktbgoI7O1ygwehsv",
    "http://1.su.bdimg.com":"https://ss0.bdstatic.com/k4oZeXSm1A5BphGlnYG",
    "http://2.su.bdimg.com":"https://ss1.bdstatic.com/kvoZeXSm1A5BphGlnYG",
    "http://3.su.bdimg.com":"https://ss2.bdstatic.com/kfoZeXSm1A5BphGlnYG",
    "http://4.su.bdimg.com":"https://ss3.bdstatic.com/lPoZeXSm1A5BphGlnYG",
    "http://5.su.bdimg.com":"https://ss0.bdstatic.com/l4oZeXSm1A5BphGlnYG",
    "http://6.su.bdimg.com":"https://ss1.bdstatic.com/lvoZeXSm1A5BphGlnYG",
    "http://7.su.bdimg.com":"https://ss2.bdstatic.com/lfoZeXSm1A5BphGlnYG",
    "http://8.su.bdimg.com":"https://ss3.bdstatic.com/iPoZeXSm1A5BphGlnYG"
  }';
  $domain = json_decode($baidu_domain, true);
  foreach($domain as $k=>$v){
    $str = str_replace($k, $v, $str);
  }
  return $str;
}
$wd = '仙剑奇侠传';
$url = 'http://www.baidu.com/s?wd='.urlencode($wd);
$data = array();
$header = array();
$response = doCurl($url, $data, $header, 5);
echo cdomain($response); // 调用域名转换
?>

增加域名转换后，所有的图片都可以正常显示。

PHP CURL采集百度搜寻结果图片不显示问题的解决方法 - 文章图片

以上所述是小编给大家介绍的PHP CURL采集百度搜寻结果图片不显示问题的解决方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

内容总结

以上是互联网集市为您收集整理的PHP CURL采集百度搜寻结果图片不显示问题的解决方法全部内容，希望文章能够帮你解决PHP CURL采集百度搜寻结果图片不显示问题的解决方法所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/278172.html

来源：【匿名】

【上一篇】常用PHP封装分页工具类【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【PHP CURL采集百度搜寻结果图片不显示问题的解决方法】教程文章相关的互联网学习教程文章

php中curl的详细解说（转载）

本文转自：http://blog.csdn.net/yanhui_wei/article/details/21530811 这几天在帮一些同学处理问题的时候，突然发现这些同学是使用file_get_contents()函数来采集页面内容的，貌似都没有curl的概念亦或是对这种工具特别不敏感，本文我来给大家详细介绍下cURL的简单的使用方法，下文我将会给大家详细介绍cURL的高级应用，好，废话不多说，我们先来认识下什么是cURL，可能还有很多同学没有听说过这个工具，我先来给大家简单介绍下...

linux 下安装php curl扩展

方法一安装cURLwget https://curl.haxx.se/download/curl-7.53.1.tar.gz tar -zxf curl-7.17.1.tar.gz./configure --prefix=/usr/local/curlmake & make install安装php 只要打开开关 --with-curl=/usr/local/curl 就可以了。这个扩展库还是非常棒，是fsockopen等等相关的有效的替代品。方法二进入安装原php的源码目录，cd extcd curlphpize./configure --with-curl=DIRmake & make install就会在PHPDIR/ext/curl/moudles/下...

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

php curl

PHP中使用cURL实现Get和Post请求的方法，需要的朋友可以参考一下 1.cURL介绍　　cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。2.基本结构　　在学习更为复杂的功能之前，先来看一下在PHP中建立cURL请求的基本步骤：　　（1）初始化　　　　curl_init()　　（2）设置变量　　　　　　curl_clos...

在已经编译安装好php7场景下安装curl扩展

在已经编译安装好php7场景下安装curl扩展cd /root/php7/php-7.2.31/ext/curl #从php官网下载php源码安装包/usr/local/php746/bin/phpize #已经安装好的phpize的路径 yum install libcurl-devel #没有这个会报错 for cURL 7.10.5 or greater... configure: error: cURL version 7.10.5 or later is required to compile php with cURL supporconfigure --with-php-config=/usr/local/php746/bin/php-config makemake testmake in...

PHP免费API调用，使用(CURL)

<?phpclass GetApiModel{//获取第三方API //获取身份证信息 //返回json /*{ "errNum": 0, "retMsg": "success", "retData": { "sex": "M", //M-男，F-女，N-未知 "birthday": "1987-04-20", //出生日期 "address": "湖北省孝感市汉川市" //身份证归属地市/县 }}*/ public function getIdNumberInfo($apikey,$idNumber){ $ch = curl_init(); $url = ‘http://apis.bai...

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

$host = array("Host: act.qzone.qq.com");// 域名不帶http://$data = array( ‘aa‘ => ‘xx‘, ‘bb‘=>‘xx‘ ); $url = ‘http://127.0.0.1/xxx/xxx/api/‘;var_dump( $this->curl_post($host, $data,$url) );function curl_post($host,$data,$url){ $ch = curl_init(); $res= curl_setopt ($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt(...

PHP中curl详解【代码】【图】

定义curl是一个库，能让你通过URL和许多不同种的服务器进行勾搭、搭讪和深入交流，并且还支持许多协议。并且curl可以支持https认证、http post、ftp上传、代理、cookies、简单口令认证等等功能啦例子<?php //创建curl会话资源$ch = curl_init(); // 设置urlcurl_setopt($ch, CURLOPT_URL, "baidu.com"); //这是设置是否将响应结果存入变量，1是存入，0是直接echo出；curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将响应结果存入...

PHP读取CURL模拟登录时生成Cookie文件【图】

在使用PHP中的CURL模拟登录时会保存一个Cookie文件,例如下面的代码$login_url = ‘XXX‘;$post_fields[‘email‘] = ‘XXXX‘; $post_fields[‘password‘] = ‘XXXX‘; $post_fields[‘origURL‘] = ‘XXX‘; $post_fields[‘domain‘] = ‘xxx.com‘; //cookie文件存放在网站根目录的temp文件夹下 $cookie_file = tempnam(‘./temp‘,‘cookie‘);$ch = curl_init($login_url); curl_setopt($ch, CURLOPT_USERAGENT, ‘Mozilla/5...

php5.6开启curl【代码】

1. 打开php安装目录，打开ext目录，是否有php_curl.dll扩展文件，如果没有该扩展文件，请在网上下载此文件。2. 打开php.ini，找到 ;extension=php_curl.dll，去掉注释，重启Apache3. 在php下的ext目录找到libssh2.dll, php_curl.dll, ssleay32.dll, libeay32.dll，将这四个文件复制到windows/system32下。4. 将libssh2.dll复制到Apahe 下的bin目录下。5. 打开phpinfo,查看是否有curl模块。 ?php $url = "http://www.kuaidi....

php使用curl来获取远程图片【代码】

<?php $url = "图片绝对地址/thumbnail.jpg"; $filename = ‘curl.jpg‘; getImg($url, $filename); /**@通过curl方式获取制定的图片到本地*@ 完整的图片地址*@ 要存储的文件名*/function getImg($url = "", $filename = "") {if(is_dir(basename($filename))) {echo "The Dir was not exits";returnfalse;}//去除URL连接上面可能的引号$url = preg_replace( ‘/(?:^[‘"]+|[‘"/]+$)/‘, ‘‘, $url );$hander = curl_init();$fp ...

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

最近在使用curl中遇到CURL ERROR: Recv failure: Connection reset by peer的报错提示，现把解决方法与大家共享，希望对大家有所帮助。我们经常用curl来访问web站点，web站点目前主要分为http和https两种协议，众所周知https类型的网站都是通过ssl协议+http协议的，是目前最安全的网站协议，访问此类网站的时候，会走ssl协议，验证访问者的证书，检测是否安全。通过curl访问此类网站也是如此流程，但是curl中需要添加相应的参数，绕...

PHP扩展CURL的用法详解【代码】

实现的功能：1、实现远程获取和采集内容2、实现PHP 网页版的FTP上传下载3、实现模拟登陆：去一个邮件系统，curl可以模拟cookies4、实现接口对接（API），数据传输等：通过一个平台发送短信啊，抓取和传递所传输的信息。5、实现模拟Cookie等：登陆的状态下才可以操作一些属性。如何使用CURL功能：默认情况加PHP是不支持CURL的，需要在php.ini中开启该功能;extension=php_curl.dll前面的分号去掉1 整个操作过程中第一步是用cur_init...

[PHP]curl上传多文件【代码】

码一下curl上传多文件的行5.5之前版本的写法$file = array(‘pic[0]‘=>"@E:\\wwwroot\\10003\\temp_56.ini;type=text/html;filename=temp_56.ini",‘pic[1]‘=>"@E:\\wwwroot\\10003\\temp_29.html;type=text/html;filename=temp_29.html");5.5以上版本的写法php 5.5 version or above$file = array(‘pic[0]‘=>new CURLFile(‘E:\\wwwroot\\10003\\temp_56.ini‘, ‘text/html‘, ‘temp_56.ini‘),‘pic[1]‘=>new CURLFile(‘...

PHP CURL抓取网页 simple_html_dom类【代码】

抓取网页数据后数据录入到discuz中<?php include(‘simple_html_dom.php‘);function urlText(){$url = ‘http://www.kxt.com/data/3.html‘;//外汇$ch=curl_init();$timeout = 1;// echo CURLOPT_URL; // CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项curl_setopt($ch, CURLOPT_URL, $url);// echo CURLOPT_RETURNTRANSFER; //使用PHP curl获取页面内容或提交数据，有时候希望返回...

首页 / PHP / PHP CURL采集百度搜寻结果图片不显示问题的解决方法

PHP CURL采集百度搜寻结果图片不显示问题的解决方法

内容导读

内容图文

内容总结

内容备注

内容手机端

【PHP CURL采集百度搜寻结果图片不显示问题的解决方法】教程文章相关的互联网学习教程文章

php中curl的详细解说（转载）

linux 下安装php curl扩展

php远程请求CURL案例（爬虫、保存登录状态）【代码】

php curl

在已经编译安装好php7场景下安装curl扩展

PHP免费API调用，使用(CURL)

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

PHP中curl详解【代码】【图】

PHP读取CURL模拟登录时生成Cookie文件【图】

php5.6开启curl【代码】

php使用curl来获取远程图片【代码】

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

PHP扩展CURL的用法详解【代码】

[PHP]curl上传多文件【代码】

PHP CURL抓取网页 simple_html_dom类【代码】

PHP - 相关标签

URL - 相关标签

采集 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程