首页 / PHP / 如何利用phpcurl实现多进程下载文件类

如何利用phpcurl实现多进程下载文件类

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何利用phpcurl实现多进程下载文件类，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5365字，纯文字阅读大概需要8分钟。

内容图文

批量下载文件一般使用循环的方式，逐一执行下载。但在带宽与服务器性能允许的情况下，使用多进程进行下载可以大大提高下载的效率。本文介绍php利用curl的多进程请求方法，实现多进程同时下载文件。

原理：

使用curl的批处理方法，开启多进程，实现批量下载文件。

主要方法：

curl_multi_init
返回一个新cURL批处理句柄

curl_multi_add_handle
向curl批处理会话中添加单独的curl句柄

curl_multi_exec
运行当前 cURL 句柄的子连接

curl_multi_getcontent
如果设置了CURLOPT_RETURNTRANSFER，则返回获取的输出的文本流

curl_multi_remove_handle
移除curl批处理句柄资源中的某个句柄资源

curl_multi_close
关闭一组cURL句柄

完整代码如下：

BatchDownLoad.class.php

<?php/**
 * 多进程批量下载文件（使用php curl_multi_exec实现）
 * Date:    2017-07-16
 * Author:  fdipzone
 * Version: 1.0
 *
 * Func
 * public  download 下载处理
 * public  process  多进程下载
 * private to_log   将执行结果写入日志文件
 */class BatchDownLoad {

    // 下载文件设置
    private $download_config = array();    // 最大开启进程数量
    private $max_process_num = 10;    // 超时秒数
    private $timeout = 10;    // 日志文件
    private $logfile = null;    /**
     * 初始化
     * @param  Array  $download_config   下载的文件设置
     * @param  Int    $max_process_num   最大开启的进程数量
     * @param  Int    $timeout           超时秒数
     * @param  String $logfile           日志文件路径
     */
    public function __construct($download_config, $max_process_num=10, $timeout=10, $logfile=''){
        $this->download_config = $download_config;        $this->max_process_num = $max_process_num;        $this->timeout = $timeout;        // 日志文件
        if($logfile){            $this->logfile = $logfile;
        }else{            $this->logfile = dirname(__FILE__).'/batch_download_'.date('Ymd').'.log';
        }
    }    /**
     * 执行下载
     * @result Int
     */
    public function download(){

        // 已处理的数量
        $handle_num = 0;        // 未处理完成
        while(count($this->download_config)>0){            // 需要处理的大于最大进程数
            if(count($this->download_config)>$this->max_process_num){                $process_num = $this->max_process_num;            // 需要处理的小于最大进程数
            }else{                $process_num = count($this->download_config);
            }            // 抽取指定数量进行下载
            $tmp_download_config = array_splice($this->download_config, 0, $process_num);            // 执行下载
            $result = $this->process($tmp_download_config);            // 写入日志
            $this->to_log($tmp_download_config, $result);            // 记录已处理的数量
            $handle_num += count($result);

        }        return $handle_num;

    }    /**
     * 多进程下载文件
     * @param  Array $download_config 本次下载的设置
     * @return Array
     */
    public function process($download_config){

        // 文件资源
        $fp = array();        // curl会话
        $ch = array();        // 执行结果
        $result = array();        // 创建curl handle
        $mh = curl_multi_init();        // 循环设定数量
        foreach($download_config as $k=>$config){            $ch[$k] = curl_init();            $fp[$k] = fopen($config[1], 'a');

            curl_setopt($ch[$k], CURLOPT_URL, $config[0]);
            curl_setopt($ch[$k], CURLOPT_FILE, $fp[$k]);
            curl_setopt($ch[$k], CURLOPT_HEADER, 0);
            curl_setopt($ch[$k], CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch[$k], CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)');            // 加入处理
            curl_multi_add_handle($mh, $ch[$k]);
        }        $active = null;        do{            $mrc = curl_multi_exec($mh, $active);
        } while($active);        // 获取数据
        foreach($fp as $k=>$v){
            fwrite($v, curl_multi_getcontent($ch[$k]));
        }        // 关闭curl handle与文件资源
        foreach($download_config as $k=>$config){
            curl_multi_remove_handle($mh, $ch[$k]);
            fclose($fp[$k]);            // 检查是否下载成功
            if(file_exists($config[1])){                $result[$k] = true;
            }else{                $result[$k] = false;
            }
        }

        curl_multi_close($mh);        return $result;

    }    /**
     * 写入日志
     * @param Array $data 下载文件数据
     * @param Array $flag 下载文件状态数据
     */
    private function to_log($data, $flag){

        // 临时日志数据
        $tmp_log = '';        foreach($data as $k=>$v){            $tmp_log .= '['.date('Y-m-d H:i:s').'] url:'.$v[0].' file:'.$v[1].' status:'.$flag[$k].PHP_EOL;
        }        // 创建日志目录
        if(!is_dir(dirname($this->logfile))){
            mkdir(dirname($this->logfile), 0777, true);
        }        // 写入日志文件
        file_put_contents($this->logfile, $tmp_log, FILE_APPEND);
    }

}?>

demo.php

<?phprequire 'BatchDownLoad.class.php';$base_path = dirname(__FILE__).'/photo';$download_config = array(    array('http://www.example.com/p1.jpg', $base_path.'/p1.jpg'),    array('http://www.example.com/p2.jpg', $base_path.'/p2.jpg'),    array('http://www.example.com/p3.jpg', $base_path.'/p3.jpg'),    array('http://www.example.com/p4.jpg', $base_path.'/p4.jpg'),    array('http://www.example.com/p5.jpg', $base_path.'/p5.jpg'),
);$obj = new BatchDownLoad($download_config, 2, 10);$handle_num = $obj->download();echo 'download num:'.$handle_num.PHP_EOL;?>

执行后日志输出

[2017-07-16 18:04:21] url:http://www.example.com/p1.jpg file:/home/fdipzone/photo/p1.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p2.jpg file:/home/fdipzone/photo/p2.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p3.jpg file:/home/fdipzone/photo/p3.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p4.jpg file:/home/fdipzone/photo/p4.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p5.jpg file:/home/fdipzone/photo/p5.jpg status:1

本篇文章讲解了批量下载文件的一些方式，更多相关内容请关注Gxl网。

内容总结

以上是互联网集市为您收集整理的如何利用phpcurl实现多进程下载文件类全部内容，希望文章能够帮你解决如何利用phpcurl实现多进程下载文件类所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/134199.html

来源：【匿名】

【上一篇】php文件上传所涉及的文件与表单操作及数据库操作【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【如何利用phpcurl实现多进程下载文件类】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

php curl

PHP中使用cURL实现Get和Post请求的方法，需要的朋友可以参考一下 1.cURL介绍　　cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。2.基本结构　　在学习更为复杂的功能之前，先来看一下在PHP中建立cURL请求的基本步骤：　　（1）初始化　　　　curl_init()　　（2）设置变量　　　　　　curl_clos...

在已经编译安装好php7场景下安装curl扩展

在已经编译安装好php7场景下安装curl扩展cd /root/php7/php-7.2.31/ext/curl #从php官网下载php源码安装包/usr/local/php746/bin/phpize #已经安装好的phpize的路径 yum install libcurl-devel #没有这个会报错 for cURL 7.10.5 or greater... configure: error: cURL version 7.10.5 or later is required to compile php with cURL supporconfigure --with-php-config=/usr/local/php746/bin/php-config makemake testmake in...

PHP免费API调用，使用(CURL)

<?phpclass GetApiModel{//获取第三方API //获取身份证信息 //返回json /*{ "errNum": 0, "retMsg": "success", "retData": { "sex": "M", //M-男，F-女，N-未知 "birthday": "1987-04-20", //出生日期 "address": "湖北省孝感市汉川市" //身份证归属地市/县 }}*/ public function getIdNumberInfo($apikey,$idNumber){ $ch = curl_init(); $url = ‘http://apis.bai...

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

$host = array("Host: act.qzone.qq.com");// 域名不帶http://$data = array( ‘aa‘ => ‘xx‘, ‘bb‘=>‘xx‘ ); $url = ‘http://127.0.0.1/xxx/xxx/api/‘;var_dump( $this->curl_post($host, $data,$url) );function curl_post($host,$data,$url){ $ch = curl_init(); $res= curl_setopt ($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt(...

PHP中curl详解【代码】【图】

定义curl是一个库，能让你通过URL和许多不同种的服务器进行勾搭、搭讪和深入交流，并且还支持许多协议。并且curl可以支持https认证、http post、ftp上传、代理、cookies、简单口令认证等等功能啦例子<?php //创建curl会话资源$ch = curl_init(); // 设置urlcurl_setopt($ch, CURLOPT_URL, "baidu.com"); //这是设置是否将响应结果存入变量，1是存入，0是直接echo出；curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将响应结果存入...

PHP读取CURL模拟登录时生成Cookie文件【图】

在使用PHP中的CURL模拟登录时会保存一个Cookie文件,例如下面的代码$login_url = ‘XXX‘;$post_fields[‘email‘] = ‘XXXX‘; $post_fields[‘password‘] = ‘XXXX‘; $post_fields[‘origURL‘] = ‘XXX‘; $post_fields[‘domain‘] = ‘xxx.com‘; //cookie文件存放在网站根目录的temp文件夹下 $cookie_file = tempnam(‘./temp‘,‘cookie‘);$ch = curl_init($login_url); curl_setopt($ch, CURLOPT_USERAGENT, ‘Mozilla/5...

php5.6开启curl【代码】

1. 打开php安装目录，打开ext目录，是否有php_curl.dll扩展文件，如果没有该扩展文件，请在网上下载此文件。2. 打开php.ini，找到 ;extension=php_curl.dll，去掉注释，重启Apache3. 在php下的ext目录找到libssh2.dll, php_curl.dll, ssleay32.dll, libeay32.dll，将这四个文件复制到windows/system32下。4. 将libssh2.dll复制到Apahe 下的bin目录下。5. 打开phpinfo,查看是否有curl模块。 ?php $url = "http://www.kuaidi....

php使用curl来获取远程图片【代码】

<?php $url = "图片绝对地址/thumbnail.jpg"; $filename = ‘curl.jpg‘; getImg($url, $filename); /**@通过curl方式获取制定的图片到本地*@ 完整的图片地址*@ 要存储的文件名*/function getImg($url = "", $filename = "") {if(is_dir(basename($filename))) {echo "The Dir was not exits";returnfalse;}//去除URL连接上面可能的引号$url = preg_replace( ‘/(?:^[‘"]+|[‘"/]+$)/‘, ‘‘, $url );$hander = curl_init();$fp ...

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

最近在使用curl中遇到CURL ERROR: Recv failure: Connection reset by peer的报错提示，现把解决方法与大家共享，希望对大家有所帮助。我们经常用curl来访问web站点，web站点目前主要分为http和https两种协议，众所周知https类型的网站都是通过ssl协议+http协议的，是目前最安全的网站协议，访问此类网站的时候，会走ssl协议，验证访问者的证书，检测是否安全。通过curl访问此类网站也是如此流程，但是curl中需要添加相应的参数，绕...

PHP扩展CURL的用法详解【代码】

实现的功能：1、实现远程获取和采集内容2、实现PHP 网页版的FTP上传下载3、实现模拟登陆：去一个邮件系统，curl可以模拟cookies4、实现接口对接（API），数据传输等：通过一个平台发送短信啊，抓取和传递所传输的信息。5、实现模拟Cookie等：登陆的状态下才可以操作一些属性。如何使用CURL功能：默认情况加PHP是不支持CURL的，需要在php.ini中开启该功能;extension=php_curl.dll前面的分号去掉1 整个操作过程中第一步是用cur_init...

[PHP]curl上传多文件【代码】

码一下curl上传多文件的行5.5之前版本的写法$file = array(‘pic[0]‘=>"@E:\\wwwroot\\10003\\temp_56.ini;type=text/html;filename=temp_56.ini",‘pic[1]‘=>"@E:\\wwwroot\\10003\\temp_29.html;type=text/html;filename=temp_29.html");5.5以上版本的写法php 5.5 version or above$file = array(‘pic[0]‘=>new CURLFile(‘E:\\wwwroot\\10003\\temp_56.ini‘, ‘text/html‘, ‘temp_56.ini‘),‘pic[1]‘=>new CURLFile(‘...

PHP CURL抓取网页 simple_html_dom类【代码】

抓取网页数据后数据录入到discuz中<?php include(‘simple_html_dom.php‘);function urlText(){$url = ‘http://www.kxt.com/data/3.html‘;//外汇$ch=curl_init();$timeout = 1;// echo CURLOPT_URL; // CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项curl_setopt($ch, CURLOPT_URL, $url);// echo CURLOPT_RETURNTRANSFER; //使用PHP curl获取页面内容或提交数据，有时候希望返回...

PHP Curl Accept-Encoding: gzip乱码问题解决【图】

在使用php curl对接hugegraph的过程中，发现向gremlin发送结果返回乱码，截图如下：发现返回乱码的乱码请求中有Accept-Encoding: gzip，即返回的内容采用了gzip压缩，所以需要在curl请求中加入curl_setopt($curl, CURLOPT_ENCODING, ‘gzip‘);即返回正常。原文：https://www.cnblogs.com/hejianrong/p/11512645.html

php下使用curl模拟用户登陆的代码

bool curl_setopt (int ch, string option, mixed value) curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置，value是这个选项给定的值。下列选项的值将被作为长整形使用(在option参数中指定)：　 *CURLOPT_INFILESIZE: 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。 *CURLOPT_VERBOSE: 如果你想CURL报告每一件意外的事情，设置这个选项为一个非零值。 *CURLOPT_HEADER: 如果你想把一个头包...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / 如何利用phpcurl实现多进程下载文件类

如何利用phpcurl实现多进程下载文件类

内容导读

内容图文

原理：

主要方法：

完整代码如下：

内容总结

内容备注

内容手机端

【如何利用phpcurl实现多进程下载文件类】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

php curl

在已经编译安装好php7场景下安装curl扩展

PHP免费API调用，使用(CURL)

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

PHP中curl详解【代码】【图】

PHP读取CURL模拟登录时生成Cookie文件【图】

php5.6开启curl【代码】

php使用curl来获取远程图片【代码】

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

PHP扩展CURL的用法详解【代码】

[PHP]curl上传多文件【代码】

PHP CURL抓取网页 simple_html_dom类【代码】

PHP Curl Accept-Encoding: gzip乱码问题解决【图】

php下使用curl模拟用户登陆的代码

PHP - 相关标签

URL - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程