首页 / PHP / php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程

php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5734字，纯文字阅读大概需要9分钟。

内容图文

php结合curl实现多线程抓取，phpcurl多线程抓取

php结合curl实现多线程抓取

<?php
/*
curl 多线程抓取
*/
 /** 
   * curl 多线程 
   * 
   * @param array $array 并行网址 
   * @param int $timeout 超时时间
   * @return array 
   */ 
 function Curl_http($array,$timeout){
 $res = array();
 $mh = curl_multi_init();//创建多个curl语柄
 $startime = getmicrotime();
 foreach($array as $k=>$url){
  $conn[$k]=curl_init($url);

    curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间
    curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
    curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别
    curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header，加块效率
    curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
    curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
    curl_multi_add_handle ($mh,$conn[$k]);
 }
 //防止死循环耗死cpu 这段是根据网上的写法
 do {
  $mrc = curl_multi_exec($mh,$active);//当无数据，active=true
 } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时
 while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时，active=true
  if (curl_multi_select($mh) != -1) {
  do {
   $mrc = curl_multi_exec($mh, $active);
  } while ($mrc == CURLM_CALL_MULTI_PERFORM);
  }
 }

 foreach ($array as $k => $url) {
   curl_error($conn[$k]);
    $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息
    $header[$k]=curl_getinfo($conn[$k]);//返回头信息
    curl_close($conn[$k]);//关闭语柄
    curl_multi_remove_handle($mh , $conn[$k]);  //释放资源 
 }

 curl_multi_close($mh);
 $endtime = getmicrotime();
 $diff_time = $endtime - $startime;

 return array('diff_time'=>$diff_time,
   'return'=>$res,
   'header'=>$header 
   );

 }
 //计算当前时间
 function getmicrotime() {
   list($usec, $sec) = explode(" ",microtime());
   return ((float)$usec + (float)$sec);
 }

 //测试一下，curl 三个网址
 $array = array(
  "http://www.weibo.com/",
  "http://www.renren.com/",
  "http://www.qq.com/"
  );
 $data = Curl_http($array,'10');//调用
 var_dump($data);//

输出 //如果POST的数据大于1024字节，curl并不会直接就发起POST请求 //发送请求时，header中包含一个空的Expect。curl_setopt($ch, CURLOPT_HTTPHEADER, array("Expect:")); ?>

我们再来看几个例子

（1）下面这段代码是实现抓取多个URL，然后将抓取的URL的页面代码写入指定的文件

$urls = array(
'http://www.bkjia.com/',
'http://www.google.com/',
'http://www.example.com/'
); // 设置要抓取的页面URL
$save_to='/test.txt'; // 把抓取的代码写入该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 将爬取的代码写入文件
curl_multi_add_handle ($mh,$conn[$i]);
} // 初始化
do {
curl_multi_exec($mh,$active);
} while ($active); // 执行
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
} // 结束清理
curl_multi_close($mh);
fclose($st);

（2）下面这段代码和上面差不多意思，只不过这个地方是将获得的代码先放入变量，然后再将获取到的内容写入指定的文件

$urls = array(
'http://www.bkjia.com/',
'http://www.google.com/',
'http://www.example.com/'
);
$save_to='/test.txt'; // 把抓取的代码写入该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 不将爬取代码写到浏览器，而是转化为字符串
curl_multi_add_handle ($mh,$conn[$i]);
}
do {
curl_multi_exec($mh,$active);
} while ($active);
foreach ($urls as $i => $url) {
$data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串
fwrite($st,$data); // 将字符串写入文件
} // 获得数据变量，并写入文件
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($st);

（3）下面这段代码实现的是利用 PHP 的 Curl Functions 实现并发多线程下载文件

$urls=array(
 'http://www.bkjia.com/5w.zip',
 'http://www.bkjia.com/5w.zip',
 'http://www.bkjia.com/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
 $g=$save_to.basename($url);
 if(!is_file($g)){
   $conn[$i]=curl_init($url);
   $fp[$i]=fopen($g,"w");
   curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
   curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
   curl_setopt($conn[$i],CURLOPT_HEADER ,0);
   curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
   curl_multi_add_handle($mh,$conn[$i]);
 }
}
do{
 $n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
 curl_multi_remove_handle($mh,$conn[$i]);
 curl_close($conn[$i]);
 fclose($fp[$i]);
}
curl_multi_close($mh);$urls=array(
 'http://www.bkjia.com/5w.zip',
 'http://www.bkjia.com/5w.zip',
 'http://www.bkjia.com/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
 $g=$save_to.basename($url);
 if(!is_file($g)){
   $conn[$i]=curl_init($url);
   $fp[$i]=fopen($g,"w");
   curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
   curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
   curl_setopt($conn[$i],CURLOPT_HEADER ,0);
   curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
   curl_multi_add_handle($mh,$conn[$i]);
 }
}
do{
 $n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
 curl_multi_remove_handle($mh,$conn[$i]);
 curl_close($conn[$i]);
 fclose($fp[$i]);
}
curl_multi_close($mh);

以上所述就是本文的全部内容了，希望大家能够喜欢。

http://www.bkjia.com/PHPjc/1029599.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/1029599.htmlTechArticlephp结合curl实现多线程抓取，phpcurl多线程抓取 php结合curl实现多线程抓取 php/*curl 多线程抓取*/ /** * curl 多线程 * * @param array $array 并行网址...

内容总结

以上是互联网集市为您收集整理的php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程全部内容，希望文章能够帮你解决php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/188034.html

来源：【匿名】

【上一篇】腾讯php经历，腾讯php_PHP教程【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程】教程文章相关的互联网学习教程文章

php中curl的详细解说（转载）

本文转自：http://blog.csdn.net/yanhui_wei/article/details/21530811 这几天在帮一些同学处理问题的时候，突然发现这些同学是使用file_get_contents()函数来采集页面内容的，貌似都没有curl的概念亦或是对这种工具特别不敏感，本文我来给大家详细介绍下cURL的简单的使用方法，下文我将会给大家详细介绍cURL的高级应用，好，废话不多说，我们先来认识下什么是cURL，可能还有很多同学没有听说过这个工具，我先来给大家简单介绍下...

linux 下安装php curl扩展

方法一安装cURLwget https://curl.haxx.se/download/curl-7.53.1.tar.gz tar -zxf curl-7.17.1.tar.gz./configure --prefix=/usr/local/curlmake & make install安装php 只要打开开关 --with-curl=/usr/local/curl 就可以了。这个扩展库还是非常棒，是fsockopen等等相关的有效的替代品。方法二进入安装原php的源码目录，cd extcd curlphpize./configure --with-curl=DIRmake & make install就会在PHPDIR/ext/curl/moudles/下...

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

php curl

PHP中使用cURL实现Get和Post请求的方法，需要的朋友可以参考一下 1.cURL介绍　　cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。2.基本结构　　在学习更为复杂的功能之前，先来看一下在PHP中建立cURL请求的基本步骤：　　（1）初始化　　　　curl_init()　　（2）设置变量　　　　　　curl_clos...

在已经编译安装好php7场景下安装curl扩展

在已经编译安装好php7场景下安装curl扩展cd /root/php7/php-7.2.31/ext/curl #从php官网下载php源码安装包/usr/local/php746/bin/phpize #已经安装好的phpize的路径 yum install libcurl-devel #没有这个会报错 for cURL 7.10.5 or greater... configure: error: cURL version 7.10.5 or later is required to compile php with cURL supporconfigure --with-php-config=/usr/local/php746/bin/php-config makemake testmake in...

PHP免费API调用，使用(CURL)

<?phpclass GetApiModel{//获取第三方API //获取身份证信息 //返回json /*{ "errNum": 0, "retMsg": "success", "retData": { "sex": "M", //M-男，F-女，N-未知 "birthday": "1987-04-20", //出生日期 "address": "湖北省孝感市汉川市" //身份证归属地市/县 }}*/ public function getIdNumberInfo($apikey,$idNumber){ $ch = curl_init(); $url = ‘http://apis.bai...

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

$host = array("Host: act.qzone.qq.com");// 域名不帶http://$data = array( ‘aa‘ => ‘xx‘, ‘bb‘=>‘xx‘ ); $url = ‘http://127.0.0.1/xxx/xxx/api/‘;var_dump( $this->curl_post($host, $data,$url) );function curl_post($host,$data,$url){ $ch = curl_init(); $res= curl_setopt ($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt(...

PHP中curl详解【代码】【图】

定义curl是一个库，能让你通过URL和许多不同种的服务器进行勾搭、搭讪和深入交流，并且还支持许多协议。并且curl可以支持https认证、http post、ftp上传、代理、cookies、简单口令认证等等功能啦例子<?php //创建curl会话资源$ch = curl_init(); // 设置urlcurl_setopt($ch, CURLOPT_URL, "baidu.com"); //这是设置是否将响应结果存入变量，1是存入，0是直接echo出；curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将响应结果存入...

PHP读取CURL模拟登录时生成Cookie文件【图】

在使用PHP中的CURL模拟登录时会保存一个Cookie文件,例如下面的代码$login_url = ‘XXX‘;$post_fields[‘email‘] = ‘XXXX‘; $post_fields[‘password‘] = ‘XXXX‘; $post_fields[‘origURL‘] = ‘XXX‘; $post_fields[‘domain‘] = ‘xxx.com‘; //cookie文件存放在网站根目录的temp文件夹下 $cookie_file = tempnam(‘./temp‘,‘cookie‘);$ch = curl_init($login_url); curl_setopt($ch, CURLOPT_USERAGENT, ‘Mozilla/5...

php5.6开启curl【代码】

1. 打开php安装目录，打开ext目录，是否有php_curl.dll扩展文件，如果没有该扩展文件，请在网上下载此文件。2. 打开php.ini，找到 ;extension=php_curl.dll，去掉注释，重启Apache3. 在php下的ext目录找到libssh2.dll, php_curl.dll, ssleay32.dll, libeay32.dll，将这四个文件复制到windows/system32下。4. 将libssh2.dll复制到Apahe 下的bin目录下。5. 打开phpinfo,查看是否有curl模块。 ?php $url = "http://www.kuaidi....

php使用curl来获取远程图片【代码】

<?php $url = "图片绝对地址/thumbnail.jpg"; $filename = ‘curl.jpg‘; getImg($url, $filename); /**@通过curl方式获取制定的图片到本地*@ 完整的图片地址*@ 要存储的文件名*/function getImg($url = "", $filename = "") {if(is_dir(basename($filename))) {echo "The Dir was not exits";returnfalse;}//去除URL连接上面可能的引号$url = preg_replace( ‘/(?:^[‘"]+|[‘"/]+$)/‘, ‘‘, $url );$hander = curl_init();$fp ...

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

最近在使用curl中遇到CURL ERROR: Recv failure: Connection reset by peer的报错提示，现把解决方法与大家共享，希望对大家有所帮助。我们经常用curl来访问web站点，web站点目前主要分为http和https两种协议，众所周知https类型的网站都是通过ssl协议+http协议的，是目前最安全的网站协议，访问此类网站的时候，会走ssl协议，验证访问者的证书，检测是否安全。通过curl访问此类网站也是如此流程，但是curl中需要添加相应的参数，绕...

PHP扩展CURL的用法详解【代码】

实现的功能：1、实现远程获取和采集内容2、实现PHP 网页版的FTP上传下载3、实现模拟登陆：去一个邮件系统，curl可以模拟cookies4、实现接口对接（API），数据传输等：通过一个平台发送短信啊，抓取和传递所传输的信息。5、实现模拟Cookie等：登陆的状态下才可以操作一些属性。如何使用CURL功能：默认情况加PHP是不支持CURL的，需要在php.ini中开启该功能;extension=php_curl.dll前面的分号去掉1 整个操作过程中第一步是用cur_init...

[PHP]curl上传多文件【代码】

码一下curl上传多文件的行5.5之前版本的写法$file = array(‘pic[0]‘=>"@E:\\wwwroot\\10003\\temp_56.ini;type=text/html;filename=temp_56.ini",‘pic[1]‘=>"@E:\\wwwroot\\10003\\temp_29.html;type=text/html;filename=temp_29.html");5.5以上版本的写法php 5.5 version or above$file = array(‘pic[0]‘=>new CURLFile(‘E:\\wwwroot\\10003\\temp_56.ini‘, ‘text/html‘, ‘temp_56.ini‘),‘pic[1]‘=>new CURLFile(‘...

PHP CURL抓取网页 simple_html_dom类【代码】

抓取网页数据后数据录入到discuz中<?php include(‘simple_html_dom.php‘);function urlText(){$url = ‘http://www.kxt.com/data/3.html‘;//外汇$ch=curl_init();$timeout = 1;// echo CURLOPT_URL; // CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项curl_setopt($ch, CURLOPT_URL, $url);// echo CURLOPT_RETURNTRANSFER; //使用PHP curl获取页面内容或提交数据，有时候希望返回...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程

php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程

内容导读

内容图文

php结合curl实现多线程抓取，phpcurl多线程抓取

内容总结

内容备注

内容手机端

【php结合curl实现多线程抓取，phpcurl多线程抓取_PHP教程】教程文章相关的互联网学习教程文章

php中curl的详细解说（转载）

linux 下安装php curl扩展

php远程请求CURL案例（爬虫、保存登录状态）【代码】

php curl

在已经编译安装好php7场景下安装curl扩展

PHP免费API调用，使用(CURL)

PHP CURL header 设置HOST主机头进行访问并 POST提交數據

PHP中curl详解【代码】【图】

PHP读取CURL模拟登录时生成Cookie文件【图】

php5.6开启curl【代码】

php使用curl来获取远程图片【代码】

PHP执行Curl时报错提示CURL ERROR: Recv failure: Connection reset by peer的解决方法【代码】

PHP扩展CURL的用法详解【代码】

[PHP]curl上传多文件【代码】

PHP CURL抓取网页 simple_html_dom类【代码】

PHP - 相关标签

URL - 相关标签

多线程 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程