首页 / 爬虫 / php远程请求CURL案例（爬虫、保存登录状态）

php远程请求CURL案例（爬虫、保存登录状态）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了php远程请求CURL案例（爬虫、保存登录状态），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8685字，纯文字阅读大概需要13分钟。

内容图文

GET案例

/**
?*?curl_get
?*?@param?$url
?*?@param?null?$param
?*?@param?null?$options
?*?@return?array
?*/
function?curl_get($url,?$param?=?null,?$options?=?null){
????$defaultOptions?=?array(
????????‘timeout‘???????????????=>?30,?//?超时时间(秒)
????????//?header(请求头)??????????Array|String????????????推荐使用数组
????????//?参数格式1(数组)：
????????//??????array(‘Content-type:?text/plain‘,?‘User-Agent:?Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/89.0.4389.114?Safari/537.36‘)
????????//?参数格式2(字符串):
????????//??????$header?=?"Content-type:?text/plain?\n?User-Agent:?Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/89.0.4389.114?Safari/537.36";
????????‘header‘????????????????=>?[],
????????‘get_header‘????????????=>?false,?//?是否返回请求头，默认false
????????//?请求头里的cookie（字符串）??String?????????????直接复制浏览器请求头里set-cookie即可
????????‘cookie‘????????????????=>?‘‘,
????????//?cookiePath??????????????String??????????????cookie文件路径，需要可读写权限
????????‘cookie_file‘???????????=>?‘‘,
????????//?是否启动跟踪，重定向页面是否跟随跳转
????????‘followlocation‘????????=>?0,
????????//?禁止服务器端的验证ssl
????????‘ssl‘???????????????????=>?0,
????????//?伪装请求来源，绕过防盗
????????‘referer‘???????????????=>?null
????);
????//?处理默认值
????foreach?($defaultOptions?as?$key?=>?$item)?{
????????if(!isset($options[$key])){
????????????$options[$key]?=?$item;
????????}
????}
????$result?=?array(
????????‘code‘??????=>?0,
????????‘msg‘???????=>?‘success‘,
????????‘body‘??????=>?‘‘
????);
????if?(is_array($param))?{
????????$param?=?http_build_query($param);
????}
????$url?=?strstr($url,‘?‘)??trim($url,‘&‘).‘&‘.$param:?$url.‘?‘.$param;

????$ch?=?curl_init();?//?curl初始化
????curl_setopt($ch,?CURLOPT_URL,?$url);?//?设置url
????//?判断&设置超时
????!empty($options[‘timeout‘])?&&?curl_setopt($ch,?CURLOPT_TIMEOUT,?$options[‘timeout‘]);
????//?判断&设置请求头
????if?(!empty($options[‘header‘]))?{
????????if?(is_string($options[‘header‘]))?{
????????????$header?=?str_replace(array("\r\n",?"\r",?"\n"),?"__SLONG__",?$options[‘header‘]);?//?将换行符转换为特定字符串
????????????$header?=?explode(‘__SLONG__‘,?$header);?//?通过特定字符串分割成数组
????????????$options[‘header‘]?=?array_values(array_filter($header));?//?去除空元素，重组数组
????????}
????????curl_setopt($ch,?CURLOPT_HTTPHEADER,?$options[‘header‘]);
????}
????//?cookie,如果要保持自动更新cookie的话只能用cookie_file文件路径方式来
????//，curl会自己读取cookie_file路径的文件转为cookie在连接时自己带过去
????//,?并在有新cookie更新时写入到文件里
????if?(!empty($options[‘cookie_file‘])?&&?file_exists($options[‘cookie_file‘]))?{
????	//?自动同步更新
????????curl_setopt($ch,?CURLOPT_COOKIEFILE,?$options[‘cookie_file‘]);
????????curl_setopt($ch,?CURLOPT_COOKIEJAR,?$options[‘cookie_file‘]);
????}?elseif?(!empty($options[‘cookie‘]))?{
????	//?固定cookie
????????curl_setopt($ch,?CURLOPT_COOKIE,?$options[‘cookie‘]);
????}
????//?是否跟踪(重定向页面是否继续抓取)
????!empty($options[‘followlocation‘])?&&?curl_setopt($ch,?CURLOPT_FOLLOWLOCATION,?$options[‘followlocation‘]);
????//?禁止服务器端的验证ssl
????empty($options[‘ssl‘])?&&?curl_setopt($ch,?CURLOPT_SSL_VERIFYPEER,?$options[‘ssl‘]);
????//伪装请求来源，绕过防盗
????!empty($options[‘referer‘])?&&?curl_setopt($ch,?CURLOPT_REFERER,?$options[‘referer‘]);
????curl_setopt($ch,?CURLOPT_ENCODING,?‘gzip,deflate‘);?//curl解压gzip页面内容
????curl_setopt($ch,?CURLOPT_HEADER,?0);//?不获取请求头
????curl_setopt($ch,?CURLOPT_RETURNTRANSFER,?1);//?输出转移，不输出页面
????//?设置预设之外的参数
????if?(count($options)?!=?count($defaultOptions))?{
????????foreach?($options?as?$key?=>?$item)?{
????????????if?(!isset($defaultOptions[$key]))?{
????????????????curl_setopt($ch,?$key,?$item);
????????????}
????????}
????}
????//执行并获取内容
????$output?=?curl_exec($ch);
????//对获取到的内容进行操作
????if?($output?===?false)?{
????????$result[‘code‘]?=?1;?//?错误
????????$result[‘msg‘]?=?"CURL?Error:".curl_error($ch);
????}?else?{
????????if?($options[‘get_header‘])?{
????????????//?获得响应结果里的：头大小
????????????$headerSize?=?curl_getinfo($ch,?CURLINFO_HEADER_SIZE);
????????????//?根据头大小去获取头信息内容
????????????$result[‘header‘]?=?substr($output,?0,?$headerSize);
????????????$result[‘body‘]?=?substr($output,?$headerSize);
????????}else{
????????????$result[‘body‘]?=?$output;
????????}
????}
????//释放curl句柄
????curl_close($ch);
????return?$result;
}

POST案例

/**
?*?curl_post
?*?@param?$url??????????????请求地址
?*?@param?null?$param???????get参数
?*?@param?array?$options????配置参数
?*?@return?array
?*/
function?curl_post($url,?$param?=?null,?$options?=?array()){
????$defaultOptions?=?array(
????????‘timeout‘???????????????=>?30,?//?超时时间(秒)
????????//?header(请求头)??????????Array|String????????????推荐使用数组
????????//?参数格式1(数组)：
????????//??????array(‘Content-type:?text/plain‘,?‘User-Agent:?Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/89.0.4389.114?Safari/537.36‘)
????????//?参数格式2(字符串):
????????//??????$header?=?"Content-type:?text/plain?\n?User-Agent:?Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/89.0.4389.114?Safari/537.36";
????????‘header‘????????????????=>?[],
????????‘get_header‘????????????=>?false,?//?是否返回请求头，默认false
????????//?请求头里的cookie（字符串）??String?????????????直接复制浏览器请求头里set-cookie即可
????????‘cookie‘????????????????=>?‘‘,
????????//?cookiePath??????????????String??????????????cookie文件路径，需要可读写权限
????????‘cookie_file‘???????????=>?‘‘,
????????//?是否启动跟踪，重定向页面是否跟随跳转
????????‘followlocation‘????????=>?0,
????????//?禁止服务器端的验证ssl
????????‘ssl‘???????????????????=>?0,
????????//?伪装请求来源，绕过防盗
????????‘referer‘???????????????=>?null
????);
????//?处理默认值
????foreach?($defaultOptions?as?$key?=>?$item)?{
????????if?(!isset($options[$key]))?{
????????????$options[$key]?=?$item;
????????}
????}
????$result?=?array(
????????‘code‘??????=>?0,
????????‘msg‘???????=>?‘success‘,
????????‘body‘??????=>?‘‘
????);
????if?(is_array($param))?{
????????$param?=?http_build_query($param);
????}
????$ch?=?curl_init();?//?curl初始化
????curl_setopt($ch,?CURLOPT_URL,?$url);?//?设置url
????curl_setopt($ch,?CURLOPT_POST,?true);
????curl_setopt($ch,?CURLOPT_POSTFIELDS,?$param);
????//?判断&设置超时
????!empty($options[‘timeout‘])?&&?curl_setopt($ch,?CURLOPT_TIMEOUT,?$options[‘timeout‘]);
????//?判断&设置请求头
????if?(!empty($options[‘header‘]))?{
????????if?(is_string($options[‘header‘]))?{
????????????$header?=?str_replace(array("\r\n",?"\r",?"\n"),?"__SLONG__",?$options[‘header‘]);?//?将换行符转换为特定字符串
????????????$header?=?explode(‘__SLONG__‘,?$header);?//?通过特定字符串分割成数组
????????????$options[‘header‘]?=?array_values(array_filter($header));?//?去除空元素，重组数组
????????}
????????curl_setopt($ch,?CURLOPT_HTTPHEADER,?$options[‘header‘]);
????}
????//?cookie,如果要保持自动更新cookie的话只能用cookie_file文件路径方式来
????//，curl会自己读取cookie_file路径的文件转为cookie在连接时自己带过去
????//,?并在有新cookie更新时写入到文件里
????if?(!empty($options[‘cookie_file‘])?&&?file_exists($options[‘cookie_file‘]))?{
????	//?自动同步更新
????????curl_setopt($ch,?CURLOPT_COOKIEFILE,?$options[‘cookie_file‘]);
????????curl_setopt($ch,?CURLOPT_COOKIEJAR,?$options[‘cookie_file‘]);
????}?elseif?(!empty($options[‘cookie‘]))?{
????	//?固定cookie
????????curl_setopt($ch,?CURLOPT_COOKIE,?$options[‘cookie‘]);
????}
????//?是否跟踪(重定向页面是否继续抓取)
????!empty($options[‘followlocation‘])?&&?curl_setopt($ch,?CURLOPT_FOLLOWLOCATION,?$options[‘followlocation‘]);
????//?禁止服务器端的验证ssl
????empty($options[‘ssl‘])?&&?curl_setopt($ch,?CURLOPT_SSL_VERIFYPEER,?$options[‘ssl‘]);
????//伪装请求来源，绕过防盗
????!empty($options[‘referer‘])?&&?curl_setopt($ch,?CURLOPT_REFERER,?$options[‘referer‘]);
????curl_setopt($ch,?CURLOPT_ENCODING,?‘gzip,deflate‘);?//curl解压gzip页面内容
????curl_setopt($ch,?CURLOPT_HEADER,?0);//?不获取请求头
????curl_setopt($ch,?CURLOPT_RETURNTRANSFER,?1);//?输出转移，不输出页面
????//?设置预设之外的参数
????if?(count($options)?!=?count($defaultOptions))?{
????????foreach?($options?as?$key?=>?$item)?{
????????????if?(!isset($defaultOptions[$key]))?{
????????????????curl_setopt($ch,?$key,?$item);
????????????}
????????}
????}
????//执行并获取内容
????$output?=?curl_exec($ch);
????//对获取到的内容进行操作
????if?($output?===?false)?{
????????$result[‘code‘]?=?1;?//?错误
????????$result[‘msg‘]?=?"CURL?Error:".curl_error($ch);
????}?else?{
????????if?($options[‘get_header‘])?{
????????????//?获得响应结果里的：头大小
????????????$headerSize?=?curl_getinfo($ch,?CURLINFO_HEADER_SIZE);
????????????//?根据头大小去获取头信息内容
????????????$result[‘header‘]?=?substr($output,?0,?$headerSize);
????????????$result[‘body‘]?=?substr($output,?$headerSize);
????????}?else?{
????????????$result[‘body‘]?=?$output;
????????}
????}
????//释放curl句柄
????curl_close($ch);
????return?$result;
}

其他请求类型请自己参考封装处理

原文：https://blog.51cto.com/u_15115111/2801268

内容总结

以上是互联网集市为您收集整理的php远程请求CURL案例（爬虫、保存登录状态）全部内容，希望文章能够帮你解决php远程请求CURL案例（爬虫、保存登录状态）所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1199742.html

来源：【匿名】

【上一篇】Nginx负载均衡和防爬虫策略【下一篇】PHP使用swoole实现多线程爬虫

更多 ►

【php远程请求CURL案例（爬虫、保存登录状态）】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

PHP网络爬虫之CURL详解

php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。这个时候有人就要发问了：为什么你特么不用file_get_contents?curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。下面先分别介绍一些常用的函数。curl_init 初始化一个curl对话curl_setopt 设置curl参数，即传输选项curl_exec 执行请求curl_close 关闭一个curl对话主要是上面四个curl_errno 返回最后一次错误码,ph...

PHP学习CURL之爬虫实例

很多时候我们需要批量抓取一些网站的资源，这个时候就需要用到爬虫。爬虫的基础就是通过CURL来模拟HTTP请求然后解析数据，本文就通过编写一个简单的网络爬虫来带领大家学习PHP的CURL。先介绍一些常用的函数。curl_init 初始化一个curl对话 curl_setopt 设置curl参数，即传输选项 curl_exec 执行请求 curl_close 关闭一个curl对话主要是上面四个curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码 curl_errror 返回一个保...

网页爬虫-php如何通过curl模拟登录带验证码站点并抓取数据？

现要模拟登录一个带验证码的站点(模拟一个登录页面，手动输入验证码)，并实时采集订单数据。能否提供一个思路？验证码图片是否需要curl带cookie抓取，保存到本地，然后显示在页面上？2.我现在的做法是模拟登录页面的验证码图片直接设置img的src为远程链接，这样貌似导致了我抓取到本地的cookie和浏览器缓存的cookie不一致，登录结果会显示登录超时回复内容：现要模拟登录一个带验证码的站点(模拟一个登录页面，手动输入验证码)，并...

python爬虫__wget_curl_ZHOU125disorder_【代码】

curl curl的使用参数说明示列-A 设置User-Agent curl -A"chrome" https://www.baidu.com -X 使用指定的方法请求 curl -X POST https://www.baidu.com(发起post请求)或curl -X GET https://www.baidu.com(发起get请求) -I 只返回头信息 curl -I https://www.baidu.com -d 以post方法请求url并发送相应的参数 -d a=1 -d b=2 -d c=3 || -d"a=1&b=2&c=3" || -d@filena...

php+curl解决爬虫绝对路径及相对路径的问题。

打算做个模板爬虫，爬啊爬。爬虫爬过来的代码不显示调用图片，css，js的绝对路径，引用到本地格式就错乱了。为了解决这个问题，特地请教大师并优化代码，代码如下。 <?php$rpp = <sdf src="bbbs/sdd" <link rel="stylesheet" type="text/css" href="/public/ui/v2/static/css/basic.css?1594346753">; //源代码，有加斜杠的，有没加斜杠的 $furl = "http://www.baidu.com"; /暂定为目标urlfunction relative_to_absolute($con...

PHP 中的 cURL 爬虫实战基础【代码】【图】

最近准备入手 PHP 爬虫，发现 PHP 的 cURL 这一知识点不可越过。本文探讨基础实战，需要提前了解命令行的使用并会进行 PHP 的环境搭建。 cURL 的概念 cURL，Client URL Library Functions，是利用 URL 语法在命令行方式下工作的开源文件传输工具，被广泛应用在 Unix、 Linux 发行版本中，并且有 Win32、Win64 下的移植版本。常用的 cURL 库 libcurl 支持 http、https、ftp、gopher、telnet、dict、file 和 ldap 协议。libcurl 同时...

网络爬虫curl，api接口调用，数据简单处理，简单格式化表

$value) {$i++;$data[$i]=$value;}echo 'id|城市|92号|95号|98号|0号|'."\n";for ($i = 1; $i < count($data); $i++) {echo $i.'|'.$data[$i]['city'].'|'.$data[$i]['92h'].'|'.$data[$i]['95h'].'|'.$data[$i]['98h'].'|'.$data[$i]['0h'].'|'."\n";// foreach ($data[$i] as $v) {$sum1[$i]=$data[$i]['92h'];$sum2[$i]=$data[$i]['95h'];$sum3[$i]=$data[$i]['98h'];$sum4[$i]=$data[$i]['0h'];}$sum1=array_sum($sum1);$sum2=...

首页 / 爬虫 / php远程请求CURL案例（爬虫、保存登录状态）

php远程请求CURL案例（爬虫、保存登录状态）

内容导读

内容图文

内容总结

内容备注

内容手机端

【php远程请求CURL案例（爬虫、保存登录状态）】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

PHP网络爬虫之CURL详解

PHP学习CURL之爬虫实例

网页爬虫-php如何通过curl模拟登录带验证码站点并抓取数据？

python爬虫__wget_curl_ZHOU125disorder_【代码】

php+curl解决爬虫绝对路径及相对路径的问题。

PHP 中的 cURL 爬虫实战基础【代码】【图】

网络爬虫curl，api接口调用，数据简单处理，简单格式化表

CURL - 相关标签

远程 - 相关标签

保存 - 相关标签

爬虫 - 最新教程

爬虫 - 最热教程