PHP下的cURL库主要有两个Requests和Guzzle，两个都很复杂。 Requests优先使用cURL，没有cURL时会自动启用fsockets，除非你手工指定了Transport。 Guzzle有丰富的日志库支持和日志格式，用插件订阅的方式订阅，从代码上看采用事件机制，质量更高。它只支持cURL（至少只v3版本是），并依赖于Symfony的EventEmitter，但它被ReactPHP所依赖。最近（2014-03-28）发现它从v3.8.1升级到v4.0.0rc，居然把Namespace改了，将前两段缩减为一段...
1，问题现象最近在本地搭建了个 PHP 环境（64位 Win7 系统，Apache24，PHP5.6）调试程序。由于页面需要用到 curl，便将 php.ini 中的相关配置进行修改。extension=php_curl.dllextension_dir = "G:/php/ext"但重启 Apache 后仍然报没有 curl_init 函数错误（Fatal error: Call to undefined function curl_init() in xxxxxx），使用 phpinfo() 查看也发现curl功能没有打开。2，问题解决（1）将 php 目录下的 libeay32.dll、ssleay3...
在做采集程序时，有时我们要抓取一些登录才能访问的页面。但是有时即使我们登录成功了，却还是无法抓取相关页面，这是为什么呢？ 嗯，最有可能的原因是没把登录成功后的 cookie 一并传递过去。 对于一些安全防范措施不是做得很高的网站，我们可以通过 PHP 的函数 curl_setopt 来登录的。
今天用 curl_init 函数抓取搜狐的网页时，发现采集的网页时乱码，经过分析发现原来是服务器开启了gzip压缩功能。只要往函数 curl_setopt 添加多个选项 CURLOPT_ENCODING 解析 gzip 就可以正确解码了。 还有如果抓取的网页时 GBK 编码，但是脚本确是 utf-8 编码，还得把抓取的网页再用函数 mb_convert_encoding 转换下。
php利用curl抓取远程图片,可以解决防盗链问题哦.function ycimg($file,$newfile) { // 初始化一个 cURL 对象 $curl = curl_init(); // 设置你需要抓取的URL curl_setopt($curl, CURLOPT_URL, $file); // 设置header curl_setopt($curl, CURLOPT_HEADER, 0); // 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 运行cURL，请求网页 $data = curl_exec($curl); // 关闭...
1.CURL介绍CURL是一个利用URL语法规定来传输文件和数据的工具.支持很多协议，如HTTP、FTP、TELNET等。幸运的是PHP也支持CURL库。本文将介绍curl的一些高级特性，以及在PHP中如何运用它。2.基本结构在学习更为复杂的功能之前，先来看一下在PHP中建立CURL请求的基本步骤：（1）初始化 curl_init()（2）设置变量 curl_setopt() //最为重要，一切玄妙均在此。有一长串curl参数可供设置，它们能指定URL请求的各个细节。要一次性全部看完...
/定义一个要发送的目标URL；$url = "https://www.btc123.com/api/getTicker?symbol=btcchinabtccny";//定义传递的参数数组；$data[buy]=buy;$data[buydollar]=buydollar;//定义返回值接收变量；$httpstr = http($url, $data, POST, array("Content-type: text/html; charset=utf-8"));//幻灯$flash=M(Flash)->order(sort)->limit(6)->select();$this->assign(flash,$flash);通过此方式无法获取到数据这个是什么问题，有谁预见过吗？...
RT，我需要多线程抓取一批网页内容，请问这个是否是真正的多线程抓取？回复内容：RT，我需要多线程抓取一批网页内容，请问这个是否是真正的多线程抓取？这个其实你可以测试一下的，比如用它去抓取图片，对比才能知道差异据说是多线程的 http://stackoverflow.com/ques... 你也可以看一下源码 https://github.com/php/php-sr...
curl -IL http://127.0.0.1:8080curl: (7) Failed to connect to 127.0.0.1 port 8080: Connection refused无解了，回复内容：curl -IL http://127.0.0.1:8080curl: (7) Failed to connect to 127.0.0.1 port 8080: Connection refused无解了，默认是80端口吧
一、什么是CURL? cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。最爽的是，PHP也支持 cURL 库。使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库。二、C...
做过好多抓取别家网站内容的产品，习惯了使用方便快捷的file_get_contents函数，但是总是会遇到获取失败的问题，尽管按照手册中的例子设置了超时，可多数时候不会奏效：$config[context] = stream_context_create(array(‘http’ =< array(‘method’ =< “GET”,’timeout’ =< 5//这个超时时间不稳定，经常不奏效)));这时候，看一下服务器的连接池，会发现一堆类似的错误，让你头疼万分：file_get_contents(http://***): failed ...
爬取图片信息，但是懒加载只能加载部分，怎么爬取全部的图片
今天在阿里云上部署一个比较老的程序，用的是阿里云的esc，环境如下：PHP Version 5.2.17 Apache/2.2.29 (Unix) Mysql 5.1.73index.php文件中有如下代码 $ch = curl_init(); curl_setopt($ch,CURLOPT_URL,'http://www.baidu.com/'); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "GET"); //curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); //curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt($ch, CURLOPT_RETURNTRA...
phpinfo()下curl已经enabled了，但是使用curl_init()函数仍然报错。回复内容：phpinfo()下curl已经enabled了，但是使用curl_init()函数仍然报错。改了 php.ini没有？ 重启php-fpm没有 ？
这是接口：http://api.k780.com:88/?app=w... 现在问题就是无论我怎么用curl或者是file_get_contents()来请求接口都很慢，自己也查了下，说是将域名换成ip就好了,但ip有时候会跟换，而且这网站配置了虚拟域名，用ip访问不了 想问下有没有方法能缩短时间？