首页 / PHP / phpcurl批处理实现可控并发异步的操作

phpcurl批处理实现可控并发异步的操作

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了phpcurl批处理实现可控并发异步的操作，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9752字，纯文字阅读大概需要14分钟。

内容图文

这篇文章主要介绍了关于php curl批处理实现可控并发异步的操作，有着一定的参考价值，现在分享给大家，有需要的朋友可以参考一下

本文实例讲述了php curl批处理实现可控并发异步操作。分享给大家供大家参考，具体如下：

通常情况下 PHP 中的 cURL 是阻塞运行的，就是说创建一个 cURL 请求以后必须等它执行成功或者超时才会执行下一个请求:API接口访问一般会首选CURL

在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*族函数实现简单的并发.

<?php
include 'curl.class.php';
function callback($response, $info, $error, $request)
{
 echo 'response:<br>';
 print_r($response);
 echo '<br>' . date("Y-m-d H:i:s") . '   <br>';
 echo '<br>' . str_repeat("-", 100) . '<br>';
}
$USER_COOKIE = (!empty($_REQUEST['cookie'])) ? $_REQUEST['cookie'] : file_get_contents("cookie.txt");
$curl = new Curl ("callback");
$data = array(
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=qmr&type=rec_gametime&referfrom=&rt=0.42521539455332336', //秦美人
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=qmr&fenQuNum=3",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=sq&type=rec_gametime&referfrom=&rt=0.42521539455332336', //神曲
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=sq&fenQuNum=41",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=frxz&type=rec_gametime&referfrom=&rt=0.42521539455332336', //凡人修真
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=frxz&fenQuNum=3",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=smxj&type=rec_gametime&referfrom=&rt=0.42521539455332336', //神魔仙界
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=smxj&fenQuNum=2",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=qsqy&type=rec_gametime&referfrom=&rt=0.42521539455332336', //倾世情缘
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=qsqy&fenQuNum=11",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
);
foreach ($data as $val) {
 $request = new Curl_request ($val ['url'], $val ['method'], $val ['post_data'], $val ['header'], $val ['options']);
 $curl->add($request);
}
$curl->execute();
echo $curl->display_errors();

使用下来效果很好，没有副作用，并发数可控，应用之处多多，自己发挥想象吧

<?php
/**
 * cURL批量处理 工具类
 * 
 * @since Version 1.0
 * @author Justmepzy <justmepzy@gmail.com>
 * @link http://t.qq.com/JustPzy
 */
/**
 *单一的请求对象
 */
class Curl_request {
 public $url   = '';
 public $method   = 'GET';
 public $post_data  = null;
 public $headers  = null;
 public $options  = null;
 /**
  * 
  * @param string $url
  * @param string $method
  * @param string $post_data
  * @param string $headers
  * @param array $options
  * @return void
  */
 public function __construct($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {
  $this->url = $url;
  $this->method = strtoupper( $method );
  $this->post_data = $post_data;
  $this->headers = $headers;
  $this->options = $options;
 }
 /**
  * @return void
  */
 public function __destruct() {
  unset ( $this->url, $this->method, $this->post_data, $this->headers, $this->options );
 }
}
/**
 * 包含请求列队处理
 */
class Curl {
 /**
  * 请求url个数
  * @var int
  */
 private $size    = 5;
 /**
  * 等待所有cURL批处理中的活动连接等待响应时间
  * @var int
  */
 private $timeout   = 5;
 /**
  * 完成请求回调函数
  * @var string
  */
 private $callback   = null;
 /**
  * cRUL配置
  * @var array
  */
 private $options   = array (CURLOPT_SSL_VERIFYPEER => 0,CURLOPT_RETURNTRANSFER => 1,CURLOPT_CONNECTTIMEOUT => 30 );
 /**
  * 请求头
  * @var array
  */
 private $headers   = array ();
 /**
  * 请求列队
  * @var array
  */
 private $requests   = array ();
 /**
  * 请求列队索引
  * @var array
  */
 private $request_map  = array ();
 /**
  * 错误
  * @var array
  */
 private $errors   = array ();
 /**
  * @access public
  * @param string $callback 回调函数
  * 该函数有4个参数($response,$info,$error,$request)
  * $response url返回的body
  * $info  cURL连接资源句柄的信息
  * $error  错误
  * $request  请求对象
  */
 public function __construct($callback = null) {
  $this->callback = $callback;
 }
 /**
  * 添加一个请求对象到列队
  * @access public
  * @param object $request
  * @return boolean
  */
 public function add($request) {
  $this->requests [] = $request;
  return TRUE;
 }
 /**
  * 创建一个请求对象并添加到列队
  * @access public
  * @param string $url
  * @param string $method
  * @param string $post_data
  * @param string $headers
  * @param array $options
  * @return boolean
  */
 public function request($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {
  $this->requests [] = new Curl_request ( $url, $method, $post_data, $headers, $options );
  return TRUE;
 }
 /**
  * 创建GET请求对象
  * @access public
  * @param string $url
  * @param string $headers
  * @param array $options
  * @return boolean
  */
 public function get($url, $headers = null, $options = null) {
  return $this->request ( $url, "GET", null, $headers, $options );
 }
 /**
  * 创建一个POST请求对象
  * @access public
  * @param string $url
  * @param string $post_data
  * @param string $headers
  * @param array $options
  * @return boolean
  */
 public function post($url, $post_data = null, $headers = null, $options = null) {
  return $this->request ( $url, "POST", $post_data, $headers, $options );
 }
 /**
  * 执行cURL
  * @access public
  * @param int $size 最大连接数
  * @return Ambigous <boolean, mixed>|boolean
  */
 public function execute($size = null) {
  if (sizeof ( $this->requests ) == 1) {
   return $this->single_curl ();
  } else {
   return $this->rolling_curl ( $size );
  }
 }
 /**
  * 单个url请求
  * @access private
  * @return mixed|boolean
  */
 private function single_curl() {
  $ch = curl_init ();
  $request = array_shift ( $this->requests );
  $options = $this->get_options ( $request );
  curl_setopt_array ( $ch, $options );
  $output = curl_exec ( $ch );
  $info = curl_getinfo ( $ch );
  // it's not neccesary to set a callback for one-off requests
  if ($this->callback) {
   $callback = $this->callback;
   if (is_callable ( $this->callback )) {
    call_user_func ( $callback, $output, $info, $request );
   }
  } else
   return $output;
  return true;
 }
 /**
  * 多个url请求
  * @access private
  * @param int $size 最大连接数
  * @return boolean
  */
 private function rolling_curl($size = null) {
  if ($size)
   $this->size = $size;
  else 
   $this->size = count($this->requests);
  if (sizeof ( $this->requests ) < $this->size)
   $this->size = sizeof ( $this->requests );
  if ($this->size < 2)
   $this->set_error ( 'size must be greater than 1' );
  $master = curl_multi_init ();
  //添加cURL连接资源句柄到map索引
  for($i = 0; $i < $this->size; $i ++) {
   $ch = curl_init ();
   $options = $this->get_options ( $this->requests [$i] );
   curl_setopt_array ( $ch, $options );
   curl_multi_add_handle ( $master, $ch );
   $key = ( string ) $ch;
   $this->request_map [$key] = $i;
  }
  $active = $done = null;
  do {
   while ( ($execrun = curl_multi_exec ( $master, $active )) == CURLM_CALL_MULTI_PERFORM )
    ;
   if ($execrun != CURLM_OK)
    break;
   //有一个请求完成则回调
   while ( $done = curl_multi_info_read ( $master ) ) {
    //$done 完成的请求句柄
    $info = curl_getinfo ( $done ['handle'] );//
    $output = curl_multi_getcontent ( $done ['handle'] );//
    $error = curl_error ( $done ['handle'] );//
    $this->set_error ( $error );
    //调用回调函数,如果存在的话
    $callback = $this->callback;
    if (is_callable ( $callback )) {
     $key = ( string ) $done ['handle'];
     $request = $this->requests [$this->request_map [$key]];
     unset ( $this->request_map [$key] );
     call_user_func ( $callback, $output, $info, $error, $request );
    }
    curl_close ( $done ['handle'] );
    //从列队中移除已经完成的request
    curl_multi_remove_handle ( $master, $done ['handle'] );
   }
   //等待所有cURL批处理中的活动连接
   if ($active)
    curl_multi_select ( $master, $this->timeout );
  } while ( $active );
  //完成关闭
  curl_multi_close ( $master );
  return true;
 }
 /**
  * 获取没得请求对象的cURL配置
  * @access private
  * @param object $request
  * @return array
  */
 private function get_options($request) {
  $options = $this->__get ( 'options' );
  if (ini_get ( 'safe_mode' ) == 'Off' || ! ini_get ( 'safe_mode' )) {
   $options [CURLOPT_FOLLOWLOCATION] = 1;
   $options [CURLOPT_MAXREDIRS] = 5;
  }
  $headers = $this->__get ( 'headers' );
  if ($request->options) {
   $options = $request->options + $options;
  }
  $options [CURLOPT_URL] = $request->url;
  if ($request->post_data && strtolower($request->method) == 'post' ) {
   $options [CURLOPT_POST] = 1;
   $options [CURLOPT_POSTFIELDS] = $request->post_data;
  }
  if ($headers) {
   $options [CURLOPT_HEADER] = 0;
   $options [CURLOPT_HTTPHEADER] = $headers;
  }
  return $options;
 }
 /**
  * 设置错误信息
  * @access public
  * @param string $msg
  */
 public function set_error($msg) {
  if (! empty ( $msg ))
   $this->errors [] = $msg;
 }
 /**
  * 获取错误信息
  * @access public
  * @param string $open
  * @param string $close
  * @return string
  */
 public function display_errors($open = '<p>', $close = '</p>') {
  $str = '';
  foreach ( $this->errors as $val ) {
   $str .= $open . $val . $close;
  }
  return $str;
 }
 /**
  * @access public
  * @param string $name
  * @param string $value
  * @return boolean
  */
 public function __set($name, $value) {
  if ($name == 'options' || $name == 'headers') {
   $this->{$name} = $value + $this->{$name};
  } else {
   $this->{$name} = $value;
  }
  return TRUE;
 }
 /**
  * 
  * @param string $name
  * @return mixed
  * @access public
  */
 public function __get($name) {
  return (isset ( $this->{$name} )) ? $this->{$name} : null;
 }
 /**
  * @return void
  * @access public
  */
 public function __destruct() {
  unset ( $this->size, $this->timeout, $this->callback, $this->options, $this->headers, $this->requests, $this->request_map, $this->errors );
 }
}
// END Curl Class
/* End of file curl.class.php */

以上就是本篇文章的全部内容了，更多相关内容请关注PHP中文网。

内容总结

以上是互联网集市为您收集整理的phpcurl批处理实现可控并发异步的操作全部内容，希望文章能够帮你解决phpcurl批处理实现可控并发异步的操作所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/136858.html

来源：【匿名】

【上一篇】php使用curl伪造来源ip和refer的方法【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【phpcurl批处理实现可控并发异步的操作】教程文章相关的互联网学习教程文章

CURL PHP实现多线程抓取网页【代码】【图】

PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址。既然 Curl Multi Function如此强大，能否用 Curl Multi Functions 来写并发多线程下载文件呢，当然可以，下面给出我的代码：<?php $urls = array( ‘http://www.sina.com.cn/‘, ‘ht...

php中curl的详细解说（转载）

本文转自：http://blog.csdn.net/yanhui_wei/article/details/21530811 这几天在帮一些同学处理问题的时候，突然发现这些同学是使用file_get_contents()函数来采集页面内容的，貌似都没有curl的概念亦或是对这种工具特别不敏感，本文我来给大家详细介绍下cURL的简单的使用方法，下文我将会给大家详细介绍cURL的高级应用，好，废话不多说，我们先来认识下什么是cURL，可能还有很多同学没有听说过这个工具，我先来给大家简单介绍下...

linux 下安装php curl扩展

方法一安装cURLwget https://curl.haxx.se/download/curl-7.53.1.tar.gz tar -zxf curl-7.17.1.tar.gz./configure --prefix=/usr/local/curlmake & make install安装php 只要打开开关 --with-curl=/usr/local/curl 就可以了。这个扩展库还是非常棒，是fsockopen等等相关的有效的替代品。方法二进入安装原php的源码目录，cd extcd curlphpize./configure --with-curl=DIRmake & make install就会在PHPDIR/ext/curl/moudles/下...

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

php curl

PHP中使用cURL实现Get和Post请求的方法，需要的朋友可以参考一下 1.cURL介绍　　cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。2.基本结构　　在学习更为复杂的功能之前，先来看一下在PHP中建立cURL请求的基本步骤：　　（1）初始化　　　　curl_init()　　（2）设置变量　　　　　　curl_clos...

在已经编译安装好php7场景下安装curl扩展

在已经编译安装好php7场景下安装curl扩展cd /root/php7/php-7.2.31/ext/curl #从php官网下载php源码安装包/usr/local/php746/bin/phpize #已经安装好的phpize的路径 yum install libcurl-devel #没有这个会报错 for cURL 7.10.5 or greater... configure: error: cURL version 7.10.5 or later is required to compile php with cURL supporconfigure --with-php-config=/usr/local/php746/bin/php-config makemake testmake in...

PHP免费API调用，使用(CURL)

<?phpclass GetApiModel{//获取第三方API //获取身份证信息 //返回json /*{ "errNum": 0, "retMsg": "success", "retData": { "sex": "M", //M-男，F-女，N-未知 "birthday": "1987-04-20", //出生日期 "address": "湖北省孝感市汉川市" //身份证归属地市/县 }}*/ public function getIdNumberInfo($apikey,$idNumber){ $ch = curl_init(); $url = ‘http://apis.bai...

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

$host = array("Host: act.qzone.qq.com");// 域名不帶http://$data = array( ‘aa‘ => ‘xx‘, ‘bb‘=>‘xx‘ ); $url = ‘http://127.0.0.1/xxx/xxx/api/‘;var_dump( $this->curl_post($host, $data,$url) );function curl_post($host,$data,$url){ $ch = curl_init(); $res= curl_setopt ($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt(...

PHP中curl详解【代码】【图】

定义curl是一个库，能让你通过URL和许多不同种的服务器进行勾搭、搭讪和深入交流，并且还支持许多协议。并且curl可以支持https认证、http post、ftp上传、代理、cookies、简单口令认证等等功能啦例子<?php //创建curl会话资源$ch = curl_init(); // 设置urlcurl_setopt($ch, CURLOPT_URL, "baidu.com"); //这是设置是否将响应结果存入变量，1是存入，0是直接echo出；curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将响应结果存入...

PHP读取CURL模拟登录时生成Cookie文件【图】

在使用PHP中的CURL模拟登录时会保存一个Cookie文件,例如下面的代码$login_url = ‘XXX‘;$post_fields[‘email‘] = ‘XXXX‘; $post_fields[‘password‘] = ‘XXXX‘; $post_fields[‘origURL‘] = ‘XXX‘; $post_fields[‘domain‘] = ‘xxx.com‘; //cookie文件存放在网站根目录的temp文件夹下 $cookie_file = tempnam(‘./temp‘,‘cookie‘);$ch = curl_init($login_url); curl_setopt($ch, CURLOPT_USERAGENT, ‘Mozilla/5...

php5.6开启curl【代码】

1. 打开php安装目录，打开ext目录，是否有php_curl.dll扩展文件，如果没有该扩展文件，请在网上下载此文件。2. 打开php.ini，找到 ;extension=php_curl.dll，去掉注释，重启Apache3. 在php下的ext目录找到libssh2.dll, php_curl.dll, ssleay32.dll, libeay32.dll，将这四个文件复制到windows/system32下。4. 将libssh2.dll复制到Apahe 下的bin目录下。5. 打开phpinfo,查看是否有curl模块。 ?php $url = "http://www.kuaidi....

php使用curl来获取远程图片【代码】

<?php $url = "图片绝对地址/thumbnail.jpg"; $filename = ‘curl.jpg‘; getImg($url, $filename); /**@通过curl方式获取制定的图片到本地*@ 完整的图片地址*@ 要存储的文件名*/function getImg($url = "", $filename = "") {if(is_dir(basename($filename))) {echo "The Dir was not exits";returnfalse;}//去除URL连接上面可能的引号$url = preg_replace( ‘/(?:^[‘"]+|[‘"/]+$)/‘, ‘‘, $url );$hander = curl_init();$fp ...

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

最近在使用curl中遇到CURL ERROR: Recv failure: Connection reset by peer的报错提示，现把解决方法与大家共享，希望对大家有所帮助。我们经常用curl来访问web站点，web站点目前主要分为http和https两种协议，众所周知https类型的网站都是通过ssl协议+http协议的，是目前最安全的网站协议，访问此类网站的时候，会走ssl协议，验证访问者的证书，检测是否安全。通过curl访问此类网站也是如此流程，但是curl中需要添加相应的参数，绕...

PHP扩展CURL的用法详解【代码】

实现的功能：1、实现远程获取和采集内容2、实现PHP 网页版的FTP上传下载3、实现模拟登陆：去一个邮件系统，curl可以模拟cookies4、实现接口对接（API），数据传输等：通过一个平台发送短信啊，抓取和传递所传输的信息。5、实现模拟Cookie等：登陆的状态下才可以操作一些属性。如何使用CURL功能：默认情况加PHP是不支持CURL的，需要在php.ini中开启该功能;extension=php_curl.dll前面的分号去掉1 整个操作过程中第一步是用cur_init...

[PHP]curl上传多文件【代码】

码一下curl上传多文件的行5.5之前版本的写法$file = array(‘pic[0]‘=>"@E:\\wwwroot\\10003\\temp_56.ini;type=text/html;filename=temp_56.ini",‘pic[1]‘=>"@E:\\wwwroot\\10003\\temp_29.html;type=text/html;filename=temp_29.html");5.5以上版本的写法php 5.5 version or above$file = array(‘pic[0]‘=>new CURLFile(‘E:\\wwwroot\\10003\\temp_56.ini‘, ‘text/html‘, ‘temp_56.ini‘),‘pic[1]‘=>new CURLFile(‘...

首页 / PHP / phpcurl批处理实现可控并发异步的操作

phpcurl批处理实现可控并发异步的操作

内容导读

内容图文

内容总结

内容备注

内容手机端

【phpcurl批处理实现可控并发异步的操作】教程文章相关的互联网学习教程文章

CURL PHP实现多线程抓取网页【代码】【图】

php中curl的详细解说（转载）

linux 下安装php curl扩展

php远程请求CURL案例（爬虫、保存登录状态）【代码】

php curl

在已经编译安装好php7场景下安装curl扩展

PHP免费API调用，使用(CURL)

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

PHP中curl详解【代码】【图】

PHP读取CURL模拟登录时生成Cookie文件【图】

php5.6开启curl【代码】

php使用curl来获取远程图片【代码】

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

PHP扩展CURL的用法详解【代码】

[PHP]curl上传多文件【代码】

PHP - 相关标签

URL - 相关标签

批处理 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程