首页 / PHP / http-php的curl如何使用head协议来获取资源的大小等信息

http-php的curl如何使用head协议来获取资源的大小等信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了http-php的curl如何使用head协议来获取资源的大小等信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3121字，纯文字阅读大概需要5分钟。

内容图文

我的程序里允许用户填写网址从其它网站抓取资源，但是在抓取之前我要知道资源的大小，要不然资源太大耗时太长也会占用不必要的带宽。我查到了http里面有HEAD这个协议，就是只获取一个资源的http头部信息，那么在curl里怎么只获取http的头而不下载全部body呢？

还有content-length是所有的http头部信息里必须都有的吗，因为我只有这个办法来获取资源大小了。如果没有这个信息，我想用一个替代方法，就是设置curl下载资源的最大长度，如果超过了就中断连接，然后报错。在curl有达到此类效果的选项吗？

最后问一点，各大服务器对HEAD协议支持情况如何呢？

回复内容：

我的程序里允许用户填写网址从其它网站抓取资源，但是在抓取之前我要知道资源的大小，要不然资源太大耗时太长也会占用不必要的带宽。我查到了http里面有HEAD这个协议，就是只获取一个资源的http头部信息，那么在curl里怎么只获取http的头而不下载全部body呢？

还有content-length是所有的http头部信息里必须都有的吗，因为我只有这个办法来获取资源大小了。如果没有这个信息，我想用一个替代方法，就是设置curl下载资源的最大长度，如果超过了就中断连接，然后报错。在curl有达到此类效果的选项吗？

最后问一点，各大服务器对HEAD协议支持情况如何呢？

其实curl里面早就有对HEAD协议的支持

// 只需要在你的代码中加上这样一行，就会自动选择head协议
curl_setopt($ch, CURLOPT_NOBODY, true);

如果你要读取Content-Length，那么只需要在curl_exec后

// 读取的header里的Content-Length值
$size = curl_getinfo($ch, CURLINFO_CONTENT_LENGTH_DOWNLOAD);

需要说明的是HEAD协议虽然被大部分服务器支持，但也不是说所有的服务器都支持，有的服务器为了防抓取，在设置中干掉了这个协议。而Content-Length也不是必须的字段，你应该做到如果有这个值，而且超过了最大值，可以返回错误，如果没有这个值，或者没有超过最大值，就必须自己通过已经下载的内容大小来判断。

至于你说的最大资源下载长度，我还没看到这个设置项，不过这个问题有一个更加美好的解决方案，那就是用到CURLOPT_HEADERFUNCTION和CURLOPT_WRITEFUNCTION两个回调，那么就只需要一次请求即可完成所有的判断，而且可以随时断掉

$size = 0;
$max_size = 123456;

curl_setopt($ch, CURLOPT_HEADERFUNCTION, function ($ch, $str) {
	// 第一个参数是curl资源，第二个参数是每一行独立的header!
    list ($name, $value) = array_map('trim', explode(':', $str, 2));
    $name = strtolower($name);
    
    // 判断大小啦
    if ('content-length' == $name) {
    	if ($value > $max_size) {
        	return 0;	// 返回0就会中断读取
        }
    }
});

// 对于没有content-length的，我们一边读取一边判断
curl_setopt($ch, CURLOPT_WRITEFUNCTION, function ($ch, $str) use (&$size) {
	$len = strlen($str);
    $size += $len;
    
    if ($size > $max_size) {
    	return 0;	// 中断读取
    }
    
    return $len;
});

为什么要用curl呢？直接用fsockopen往那边发一个head请求就行了。

不过head请求不一定会返回资源的大小，这个似乎不是可以保证的。

curl_setopt($curl, CURLOPT_HEADER, true);

curl_exec返回的结果中也就包含了HTTP response header，其中抽取 Content-Length 值就可以了

HTTP/1.1 200 OK
Server: Apache
Content-Type: text/html
Content-Encoding: gzip
Content-Length: 26395

这个长度值不可靠，服务器后端脚本可以任意修改该值。

设置最大抓取大小不就行了。远程服务器并不可信，给出的Content-Length并不一定是真实大小。为了防止被滥用，你也得去加上大小限制。

同时你可以做一个额外判断，比如说某个域名经常返回Content-Length与实际不一致的内容，就给它一个比较低的reputation。用户如果提交reputation低的域名的资源抓取需求，可以延迟或低优先级处理。

加上最大执行时间控制就好了吧，Curl是可以控制超时时间的。

内容总结

以上是互联网集市为您收集整理的http-php的curl如何使用head协议来获取资源的大小等信息全部内容，希望文章能够帮你解决http-php的curl如何使用head协议来获取资源的大小等信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/234253.html

来源：【匿名】