首页 / PHP / PHP并发之用curl并发减少后端访问时间

PHP并发之用curl并发减少后端访问时间

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP并发之用curl并发减少后端访问时间，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9041字，纯文字阅读大概需要13分钟。

内容图文

本篇文章给大家分享的内容是关于PHP并发之用curl 并发减少后端访问时间，有着一定的参考价值，有需要的朋友可以参考一下

首先，先了解下 php中的curl多线程函数：

# curl_multi_add_handle
# curl_multi_close
# curl_multi_exec
# curl_multi_getcontent
# curl_multi_info_read
# curl_multi_init
# curl_multi_remove_handle
# curl_multi_select

一般来说，想到要用这些函数时，目的显然应该是要同时请求多个url，而不是一个一个依次请求，否则不如自己循环去调curl_exec好了。

步骤总结如下：

第一步：调用curl_multi_init
第二步：循环调用curl_multi_add_handle
这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步：持续调用curl_multi_exec
第四步：根据需要循环调用curl_multi_getcontent获取结果
第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close
第六步：调用curl_multi_close

这里有一个网上找的简单例子，其作者称为dirty的例子，（稍后我会说明为何dirty）：

/*
Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1
*/

$connomains = array(
"http://www.cnn.com/",
"http://www.canada.com/",
"http://www.yahoo.com/"
);

$mh = curl_multi_init();

foreach ($connomains as $i => $url) {
     $conn[$i]=curl_init($url);
      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
      curl_multi_add_handle ($mh,$conn[$i]);
}

do { $n=curl_multi_exec($mh,$active); } while ($active);

foreach ($connomains as $i => $url) {
      $res[$i]=curl_multi_getcontent($conn[$i]);
      curl_close($conn[$i]);
}

print_r($res);

整个使用过程差不多就是这样，但是，这个简单代码有个致命弱点，就是在do循环的那段，在整个url请求期间是个死循环，它会轻易导致CPU占用100%。

现在我们来改进它，这里要用到一个几乎没有任何文档的函数curl_multi_select了，虽然C的curl库对select有说明，但是，php里的接口和用法确与C中有不同。

把上面do的那段改成下面这样：

  do {
                        $mrc = curl_multi_exec($mh,$active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                while ($active and $mrc == CURLM_OK) {
                        if (curl_multi_select($mh) != -1) {
                                do {
                                        $mrc = curl_multi_exec($mh, $active);
                                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                        }
                }

因为$active要等全部url数据接受完毕才变成false，所以这里用到了curl_multi_exec的返回值判断是否还有数据，当有数据的时候就不停调用curl_multi_exec，暂时没有数据就进入select阶段，新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。

另外：还有一些细节的地方可能有时候要遇到：

控制每一个请求的超时时间，在curl_multi_add_handle之前通过curl_setopt去做：
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判断是否超时了或者其他错误，在curl_multi_getcontent之前用：curl_error($conn[$i]);

这里我只是简单使用上述的dirty的例子（足够用了，并未发现cpu使用100%的情况）。

对“看点”（kandian.com）某一接口模拟并发，功能是向 memcache中读数据并写入数据。因为保密关系，相关数据及结果就不贴出了。

模拟了3次，第一次10线程同时请求1000次，第二次，100线程同时请求1000次，第三次，1000线程同时请求100次（已经相当费劲了，不敢在设置超过1000的多线程）。

看来curl多线程模拟并发还是有一定局限的。

另外还怀疑，可能会因为多线程延迟带来结果的大误差，对比数据发现。在初始化和set所用时间出入不大，差别处在get方法，因此可简单排除这点~~~

http://log.dongsheng.org/2008/07/16/curl-multiple-handlers/

通常情况下 PHP 中的 cURL 是阻塞运行的，就是说创建一个 cURL 请求以后必须等它执行成功或者超时才会执行下一个请求，curl_multi_* 系列函数使并发访问成功可能，PHP 文档对这个函数的介绍不太详细，用法如下：

源码打印？

$requests = array('http://www.baidu.com', 'http://www.google.com');  
$main    = curl_multi_init();  
$results = array();  
$errors  = array();  
$info = array();  
$count = count($requests);  
for($i = 0; $i < $count; $i++)   
{    
$handles[$i] = curl_init($requests[$i]);    
var_dump($requests[$i]);    
curl_setopt($handles[$i], CURLOPT_URL, $requests[$i]);    
curl_setopt($handles[$i], CURLOPT_RETURNTRANSFER, 1);    
curl_multi_add_handle($main, $handles[$i]);  
}  
$running = 0;   
do {    
curl_multi_exec($main, $running);  
}   
while($running > 0);   
for($i = 0; $i < $count; $i++)  
{  $results[] = curl_multi_getcontent($handles[$i]);    
$errors[]  = curl_error($handles[$i]);    
$info[]    = curl_getinfo($handles[$i]);    
curl_multi_remove_handle($main, $handles[$i]);  
}  
curl_multi_close($main);  
var_dump($results);  
var_dump($errors);  
var_dump($info);

http://www.searchtb.com/2010/12/using-multicurl-to-improve-performance.html

前言：在我们平时的程序中难免出现同时访问几个接口的情况，平时我们用curl进行访问的时候，一般都是单个、顺序访问，假如有3个接口，每个接口耗时500毫秒那么我们三个接口就要花费1500毫秒了，这个问题太头疼了严重影响了页面访问速度，有没有可能并发访问来提高速度呢？今天就简单的说一下，利用curl并发来提高页面访问速度，希望大家多指导。1、老的curl访问方式以及耗时统计

源码打印？

<?php function curl_fetch($url, $timeout=3){       
$ch = curl_init();       
curl_setopt($ch, CURLOPT_URL, $url);       
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);       
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);       
$data = curl_exec($ch);       
$errno = curl_errno($ch);       
if ($errno>0) {           
$data = false;       
}       
curl_close($ch);       
return $data;   
}   
function microtime_float()   
{      
list($usec, $sec) = explode(" ", microtime());      
return ((float)$usec + (float)$sec);   
}   
$url_arr=array(        
"taobao"=>"http://www.taobao.com",        
"sohu"=>"http://www.sohu.com",        
"sina"=>"http://www.sina.com.cn",        
);    
$time_start = microtime_float();    
$data=array();    
foreach ($url_arr as $key=>$val)    
{        
$data[$key]=curl_fetch($val);    
}    
$time_end = microtime_float();    
$time = $time_end - $time_start;    
echo "耗时:{$time}";   
?>

耗时:0.614秒
2、curl并发访问方式以及耗时统计

源码打印？

<?php   
function curl_multi_fetch($urlarr=array()){       
$result=$res=$ch=array();       
$nch = 0;       
$mh = curl_multi_init();       
foreach ($urlarr as $nk => $url) {           
$timeout=2;           
$ch[$nch] = curl_init();           
curl_setopt_array($ch[$nch], array(           
CURLOPT_URL => $url,           
CURLOPT_HEADER => false,           
CURLOPT_RETURNTRANSFER => true,           
CURLOPT_TIMEOUT => $timeout,           
));           
curl_multi_add_handle($mh, $ch[$nch]);           
++$nch;     }       
/* wait for performing request */      
do {           
$mrc = curl_multi_exec($mh, $running);       
} while (CURLM_CALL_MULTI_PERFORM == $mrc);         
while ($running && $mrc == CURLM_OK) {           
// wait for network           
if (curl_multi_select($mh, 0.5) > -1) {               
// pull in new data;               
do {                   
$mrc = curl_multi_exec($mh, $running);               
} while (CURLM_CALL_MULTI_PERFORM == $mrc);           
}       
}         
if ($mrc != CURLM_OK) {           
error_log("CURL Data Error");       
}         
/* get data */      
$nch = 0;       
foreach ($urlarr as $moudle=>$node) {           
if (($err = curl_error($ch[$nch])) == '') {               
$res[$nch]=curl_multi_getcontent($ch[$nch]);             $result[$moudle]=$res[$nch];         }           
else          
{               
error_log("curl error");           
}           
curl_multi_remove_handle($mh,$ch[$nch]);           
curl_close($ch[$nch]);           
++$nch;       
}       
curl_multi_close($mh);       
return  $result;   
}   
$url_arr=array(        
"taobao"=>"http://www.taobao.com",        
"sohu"=>"http://www.sohu.com",        
"sina"=>"http://www.sina.com.cn",        
);   
function microtime_float()   
{      
list($usec, $sec) = explode(" ", microtime());      
return ((float)$usec + (float)$sec);   
}   
$time_start = microtime_float();   
$data=curl_multi_fetch($url_arr);   
$time_end = microtime_float();   
$time = $time_end - $time_start;   
echo "耗时:{$time}";   
?>

耗时:0.316秒
帅气吧整个页面访问后端接口的时间节省了一半
3、curl相关参数
来自：http://cn2.php.com/manual/en/ref.curl.php
curl_close — Close a cURL session
curl_copy_handle — Copy a cURL handle along with all of its preferences
curl_errno — Return the last error number
curl_error — Return a string containing the last error for the current session
curl_exec — Perform a cURL session
curl_getinfo — Get information regarding a specific transfer
curl_init — Initialize a cURL session
curl_multi_add_handle — Add a normal cURL handle to a cURL multi handle
curl_multi_close — Close a set of cURL handles
curl_multi_exec — Run the sub-connections of the current cURL handle
curl_multi_getcontent — Return the content of a cURL handle if CURLOPT_RETURNTRANSFER is set
curl_multi_info_read — Get information about the current transfers
curl_multi_init — Returns a new cURL multi handle
curl_multi_remove_handle — Remove a multi handle from a set of cURL handles
curl_multi_select — Wait for activity on any curl_multi connection
curl_setopt_array — Set multiple options for a cURL transfer
curl_setopt — Set an option for a cURL transfer
curl_version — Gets cURL version information

前端开发中的性能那点事（三）php的opcode缓存

前端开发中的性能那点事（一）巧用xdebug

http://www.oschina.net/question/234345_42245

内容总结

以上是互联网集市为您收集整理的PHP并发之用curl并发减少后端访问时间全部内容，希望文章能够帮你解决PHP并发之用curl并发减少后端访问时间所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/138057.html

来源：【匿名】

【上一篇】php加swoole加mysql仿webqq及时聊天【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【PHP并发之用curl并发减少后端访问时间】教程文章相关的互联网学习教程文章

PHP curl_setopt函数用法介绍【代码】

[导读] curl_setopt函数是php中一个重要的函数，它可以模仿用户的一些行为，如模仿用户登录，注册等等一些用户可操作的行为哦。bool curl_setopt (int ch, string option, mixed value)curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置，value是这个选项给定的值伪造登录主站wap登录和discuz论坛wap登录，两边的用户数据资料在同一个表中进行调用 //参数数组$data = array(‘username’ => ‘username’,‘pa...

php使用cUrl方法 get、post请求【代码】

php使用curl方法，请确保已经开启curl扩展。传送门：http://www.cnblogs.com/wgq123/p/7450667.html/**Curl请求get方法 *@$url String 要请求的url地址 *@$dara Array 要传递的参数 *@$timeout int 超时时间 *@return json /function curlGetRequest($url=‘‘, $data=array(), $timeout=5){if($url == ‘‘ || $timeout <=0){returnfalse;}$param = ‘‘;if(!empty($data)){foreach($dataas$k=>$v){$param .= $k ...

Linux 编译安装 php 扩展包 curl

php源码目录：/root/phpphp编译目录：/usr/local/webserver/php/curl源码目录：/root/curl1.curl，主要用于发送http请求，是php的一个扩展包。2.安装过程：（1）curl下载：http://curl.haxx.se/download.html（2）具体安装过程：解压：tar -zxvf curl.tar.gzcd /（php源码目录，不是php编译目录）/ext/curl运行phpize： /（php编译目录）/bin/phpize./configure --with-php-config=/（php编译目录）/bin/php-config --with-curl=...

PHP CURL获取cookies模拟登录的方法【图】

要提取google搜索的部分数据，发现google对于软件抓取它的数据屏蔽的厉害，以前伪造下 USER-AGENT 就可以抓数据，但是现在却不行了。利用抓包数据发现，Google 判断了 cookies，当你没有cookies的时候，直接返回 302 跳转，而且是连续几十个302跳转，根本抓不了数据。因此，在发送搜索命令时，需要先提取 cookies 并保存，然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理，先POST...

php中通过curl模拟登陆discuz论坛的实现代码

libcurl同时也支持HTTPS认证、HTTP POST、HTTP PUT、 FTP 上传(这个也能通过PHP的FTP扩展完成)、HTTP 基于表单的上传、代理、cookies和用户名+密码的认证。 php的curl真的是相当好用，网上一搜索相关文章都是关于curl模拟登陆的，很少人提供模拟discuz发贴的源码。复制代码代码如下:<?php $discuz_url = ‘http://127.0.0.1/discuz/‘;//论坛地址 $login_url = $discuz_url .‘logging.php?action=login‘;//登录页地址 $post_fi...

PHP curl 简单使用【代码】

<?php//初始化变量$cookie_file = tempnam(‘./‘,‘cookie‘);$ip1 = mt_rand(1,127) . ‘.‘ . mt_rand(1,127) . ‘.‘ . mt_rand(1,127) . ‘.‘ . mt_rand(1,127);$header = array( ‘CLIENT-IP:‘ . $ip1, ‘X-FORWARDED-FOR:‘ . $ip1,);$login_url = ‘http://www.kangyq.com/do.php?ac=Christopher&&ref‘;$refer = ‘space.php?do=home‘;$loginsubmit = ‘登陆‘;$post_fields = ‘user...

curl学习笔记（以php为例）【代码】

一、demo，抓取百度页码代码： $url = ‘https://www.baidu.com/‘;$ch = curl_init($url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);curl_setopt($ch, CURLOPT_HEADER, FALSE);curl_setopt($ch, CURLOPT_TIMEOUT, 120);$html = curl_exec($ch);curl_close($ch);var_dump($html);二、curl函数介绍：1、curl_init($url)：初始化curl回话，返回资源类型2、curl_setopt($c...

php curl【代码】

curl 模拟post提交 1$url = ‘http://localhost/url.php‘;2 3$arr = [4 ‘username‘ => ‘Tom‘,5 ‘age‘ => 20,6 ‘sex‘ => ‘男‘7];8$ch = curl_init();910 curl_setopt($ch, CURLOPT_URL, $url); 11 curl_setopt($ch, CURLOPT_HEADER, 0); 12 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 13 curl_setopt($ch, CURLOPT_POST, 1); 14 curl_setopt($ch, CURLOPT_POSTFIELDS, $arr); 1516$data = curl_exec($ch...

[转]考虑 PHP 5.0~5.6 各版本兼容性的 cURL 文件上传【代码】

FROM : https://segmentfault.com/a/1190000000725185最近做的一个需求，要通过PHP调用cURL，以multipart/form-data格式上传文件。踩坑若干，够一篇文章了。重要警告没事不要读PHP的官方中文文档！版本跟不上坑死你！不同版本PHP之间cURL的区别PHP的cURL支持通过给CURL_POSTFIELDS传递关联数组（而不是字符串）来生成multipart/form-data的POST请求。传统上，PHP的cURL支持通过在数组数据中，使用“@+文件全路径”的语法附加文件，...

PHP使用CURL设置header头传参以及设置Content-Type: application/json类型的后台数据接收

CURL函数 public function CurlRequest($url,$data=null,$header=null){ 　　//初始化浏览器　　$ch = curl_init(); 　　//设置浏览器，把参数url传到浏览器的设置当中　　curl_setopt($ch, CURLOPT_URL, $url); 　　//以字符串形式返回到浏览器当中　　curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 　　//禁止https协议验证域名，0就是禁止验证域名且兼容php5.6 ...

PHP实现curl和snoopy类模拟登陆方法【代码】

Snoopy.class.php下载方法/步骤第一种：使用snoopy类实现模拟登陆1.在网上下载一个Snoopy.class.php的文件 2.代码实现：<?phpset_time_limit(0);require "Snoopy.class.php";$snoopy=new Snoopy();$snoopy->referer=‘你要模拟登陆的域名‘;//例如：http://www.baidu.com/$snoopy->agent="定义浏览器根";$post[‘username‘] =‘登陆账号‘;//根据你要模拟登陆的网站具体的传值名称来定$post[‘password‘] =‘登陆密码‘;//根据...

php运行报Call to undefined function curl_init()的解决办法

很早之前就出现过这个问题，网上百度了下，答案千篇一律，都是说：1、在php.ini中开启curl扩展2、将php目录下的libeay32.dll、ssleay32.dll、php5ts.dll拷贝到c:\windows\system32里面（还有一种方法是说在httpd.conf中加上动态链接库，如：LoadFile d:/php/libeay32.dll 和 LoadFile d:/php/ssleay32.dll，但我试过了，同样不起作用）3、重启apache，OK！不知道这些人是不是真的试过而且成功了，就把这些所谓的解决方案往网上分享...

nginx+php下curl请求https报502错【代码】

在做公司项目的时候使用了第三方的API接口，且接口采用的是https请求，在本地的wamp集成环境开发测试正常，放到服务器上结果报错 nginx 502 bad gateway。在论坛中爬楼了几天今天终于找到原因，php版本问题；公司项目线上环境：服务器安装了wdcp其中nginx是1.4.2版本 php是5.2.17版本部署项目上去后，怎么运行都报502错，刚开始怀疑是nginx配置问题，百度了许久说请求https需要ssl于是配置了nginx的ssl后问题依旧，无奈只好继续搜索...

在PHP中使用CURL实现GET和POST请求的方法

1.CURL介绍CURL是一个利用URL语法规定来传输文件和数据的工具.支持很多协议，如HTTP、FTP、TELNET等。幸运的是PHP也支持CURL库。本文将介绍curl的一些高级特性，以及在PHP中如何运用它。2.基本结构在学习更为复杂的功能之前，先来看一下在PHP中建立CURL请求的基本步骤：（1）初始化 curl_init()（2）设置变量 curl_setopt() //最为重要，一切玄妙均在此。有一长串curl参数可供设置，它们能指定URL请求的各个细节。要一次性全部看完...

PHP socket网络编程之使用curl

PHPsocket 网络编程之使用cURLcURl代表客户端URL，是一种专门处理URL的命令行工具。本文介绍cURl打开网页并向其提交数据。【示例】：cURL库被PHP用于向页面传递数据<?PHP//创建cURL事务$url = 'HTTP://localhost/service.php';$curl = curl_init($url);//如果发生错误，直接运行失败curl_setopt($curl,CURLOPT_FAILONERROR,1);//支持重定向curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);//设置是否将处理结果存入一个变量的选项cur...

首页 / PHP / PHP并发之用curl并发减少后端访问时间

PHP并发之用curl并发减少后端访问时间

内容导读

内容图文

内容总结

内容备注

内容手机端

【PHP并发之用curl并发减少后端访问时间】教程文章相关的互联网学习教程文章

PHP curl_setopt函数用法介绍【代码】

php使用cUrl方法 get、post请求【代码】

Linux 编译安装 php 扩展包 curl

PHP CURL获取cookies模拟登录的方法【图】

php中通过curl模拟登陆discuz论坛的实现代码

PHP curl 简单使用【代码】

curl学习笔记（以php为例）【代码】

php curl【代码】

[转]考虑 PHP 5.0~5.6 各版本兼容性的 cURL 文件上传【代码】

PHP使用CURL设置header头传参以及设置Content-Type: application/json类型的后台数据接收

PHP实现curl和snoopy类模拟登陆方法【代码】

php运行报Call to undefined function curl_init()的解决办法

nginx+php下curl请求https报502错【代码】

在PHP中使用CURL实现GET和POST请求的方法

PHP socket网络编程之使用curl

PHP - 相关标签

URL - 相关标签

并发 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程