首页 / 爬虫 / PHP 中的 cURL 爬虫实战基础

PHP 中的 cURL 爬虫实战基础

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP 中的 cURL 爬虫实战基础，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7283字，纯文字阅读大概需要11分钟。

内容图文

PHP 中的 cURL 爬虫实战基础 - 文章图片

最近准备入手 PHP 爬虫，发现 PHP 的 cURL 这一知识点不可越过。本文探讨基础实战，需要提前了解命令行的使用并会进行 PHP 的环境搭建。

cURL 的概念

cURL，Client URL Library Functions，是利用 URL 语法在命令行方式下工作的开源文件传输工具，被广泛应用在 Unix、 Linux 发行版本中，并且有 Win32、Win64 下的移植版本。常用的 cURL 库 libcurl 支持 http、https、ftp、gopher、telnet、dict、file 和 ldap 协议。libcurl 同时也支持 HTTPS 认证、HTTP POST、HTTP PUT、 FTP 上传(这个也能通过PHP的FTP扩展完成)、HTTP 基于表单的上传、代理、cookies 和用户名+密码的认证。

[图片上传失败...(image-cc9fed-1513766114783)]](//upload-images.jianshu.io/upload_images/2558748-f4dcbe5d6e4e7097.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

简而言之，cURL 便是客户端发起的，支持绝大多数互联网协议族的，能对网络文件进行下载或上传的管理程式。

命令行下的 cURL 能做什么

爬取网页源代码

打开命令行，输入如下命令，可以向百度服务器发送获取首页源代码的请求，> 命令将源代码输出保存到当前目录的 baidu.html 下。


curl https://www.baidu.com &gt; baidu.html

PHP 中的 cURL 爬虫实战基础 - 文章图片

获取表单 · GET 或 POST 方法

网页中的 <form> 标签常用来生成一个表单。当我们点击表单中的提交按钮时，浏览器会讲所有表单中填入的参数分析并包装，最终用指定的 HTTP 方式发送到目标网络地址。

如下所示代码将用户在输入框填写的参数信息加入 URL 地址之后，并向目标服务器下的 judge.php 发送 GET 方法。GET 方法中，值和表单内各个字段一一对应。


&lt;form method="GET" action="judge.php"&gt;
    &lt;input type=text name="year"&gt;
    &lt;input type=submit name=press value="OK"&gt;
&lt;/form&gt;

GET 方法中的参数会出现在 URL 地址中，因此，我们同样在基于命令行 cURL 下模拟这一点。


curl www.example.com/judge.php?year=1997&amp;press=ok

URL 语法指明，一个通用的 URL 地址格式如下，不难看出，上例代码中的 year 字段及其取值是 <params> 的实例。


 &lt;scheme&gt;://&lt;user&gt;:&lt;password&gt;@&lt;host&gt;:&lt;port&gt;/&lt;path&gt;:&lt;params&gt;?&lt;query&gt;#&lt;frag&gt;

与 GET 方法不同的是，HTTP 中的 POST 求求向服务器传送数据，由于常有账号密码等私密信息，这些数据通常加入 HTML Header，而在 URL 地址中不可见，并向目标服务器传送数据。

命令行中 cURL 对 POST 方法的处理方法为 -d 参数。


curl -d "year=1997&amp;press=OK" www.example.com/judge.php

上传文件 · POST 或 PUT 方法

1995年年末，RFC 1867 定义了一种新的POST方法，用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的：


&lt;form method="POST" enctype='multipart/form-data' action="upload.php"&gt;
    &lt;input type=file name=upload&gt;
    &lt;input type=submit name=press value="OK"&gt;
&lt;/form&gt;

对应的 cURL 命令中用 -F 作为命令参数如下。


curl -F upload=@localfilename -F press=OK URL

HTTP协议文件上传的标准方法是使用 PUT，此时 cURL 命令使用 -T 参数：


curl -T uploadfile www.uploadhttp. com/receive.php

伪装成指定的客户端

有些网络资源首先需要判断用户使用的是什么浏览器，符合标准了才能够下载或者浏览。此时curl可以把自己“伪装”成任何其他浏览器：


curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" URL

这个指令表示 cURL 伪装成了 IE5.0，用户平台是 Windows 2000。


curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" URL

此时 cURL 变成了 Netscape，运行在 PIII 平台的 Linux 上了。

以及更多

正如 cURL 的概念一节所说，cURL 的功能除了请求网页、上传文件和伪装，还包括携带 cookie 访问目标服务器(参数 -b)、访问加密的 HTTP 页面(HTTPS)、用本地证书访问需要证书认证的 HTTP 地址(参数 -E)、授权、断点续传、设置代理与网络限速等等，所有网络上的资源都可以用 cURL 访问和下载到。

PHP 中的 cURL 爬虫实战基础 - 文章图片

在 PHP 中使用 cURL

PHP 支持的由 Daniel Stenberg 创建的 libcurl 库允许我们与各种的服务器使用各种类型的协议进行连接和通讯。

为了使用 cURL 函数你需要安装 cURL 包。PHP 需要我们使用 cURL 7.0.2-beta 或更高版。如果 cURL 的版本低于 7.0.2-beta，PHP 将不工作。

要使用 PHP 的 CURL 支持，我们必须用带有 --with-curl[=DIR] 参数重新编译 PHP ( DIR 是包含库和头文件的目录)。

在之前讲到的命令行下 cURL 的实现，我们不难理解 PHP 中 cURL 函数：首先使用 curl_init() 函数初始化 cURL 会话，而后可以设置有关此次 cURL 过程的所有选项，通过 curl_exec() 函数执行，最后我们可以用 curl_close() 函数来结束当前会话，节省资源。以下是慕课网上有关 PHP 中 cURL 过程的图解。

[图片上传失败...(image-1c28eb-1513766114784)]](//upload-images.jianshu.io/upload_images/2558748-d0b8cacdffe9766e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

安装 cURL

Mac 下自带的 PHP 环境对 cURL 提供了良好的支持。如果不是 Macintosh，或许这些能有所帮助：

通用 Linux 下的 cURL 安装

获得安装包，从网上直接下载或者其他途径，这里直接 wget


# wget http://curl.haxx.se/download/curl-7.17.1.tar.gz

解压到当前目录并进入


# tar -zxf curl-7.17.1.tar.gz &amp; cd curl-7.17.1

配置，指定安装的目录，这里是 “/usr/local/curl”


# ./configure –prefix=/usr/local/curl

编译并安装


# make  &amp; make install

安装完毕，将 curl 命令加入环境变量中。


# export PATH=$PATH:/usr/local/curl/bin

Ubuntu 小的 cURL 安装

Ubuntu 自带的 apt-get 包管理器可以帮我们解决一切依赖。


sudo apt-get install curl libcurl3 libcurl3-dev php5-curl

然后重启服务器，这里是 apache 服务器。


sudo /etc/init.d/apache2 restart

Windows 下的拓展

在 Windows 下安装好 PHP 后，将PHP文件夹下的三个文件php_curl.dll , libeay32.dll , ssleay32.dll 复制到system32下，再将php.ini (c:WINDOWS 目录下) 中的 ;extension=php_curl.dll 中的分号去掉后，重启服务器即可。

开始实战

这里从简单到较为复杂的小 Demo ，循序渐进。

用 cURL 做一个简单的网页爬虫

将如下 PHP 代码保存为 example1.php，并在命令行中执行。


&lt;?php
    $curl = curl_init("https://www.baidu.com");
    curl_exec($curl);
    curl_close($curl);
?&gt;


php -f example1.php &gt; baidu1.html


open baidu1.html

用 cURL 抓去网页信息并替换部分内容

将如下 PHP 代码保存为 example2.php，并在命令行中执行。


&lt;?php
    $curlobj = curl_init();
    curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com");
    curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 只是下载页面内容，不直接
打印
    $output = curl_exec($curlobj);
    echo str_replace("百度", "谷歌", $output); // 将“百度”替换为"谷歌"
?&gt;


php -f example2.php &gt; baidu2.html


open baidu2.html

用 cURL 获取天气信息

将如下 PHP 代码保存为 example2.php，并在命令行中执行。


&lt;?php
    $data = "theCityName=西安";
    $curlobj = curl_init();
    curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName");
    curl_setopt($curlobj, CURLOPT_HEADER, 0); // 不显示 Header
    curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); // 只是下载页面内容，不直接打印
    curl_setopt($curlobj, CURLOPT_POST, 1); // 此请求为 post 请求
    curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); // 传递 post 参数
    curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(
        "application/x-www-form-urlencoded;charset=utf-8",
        "Content-length: ".strlen($data)
        )); // 设置 HTTP Header
    curl_setopt($curlobj, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36'); // 伪造一个 HTTP_USER_AGENT 信息，解决为将对象引用设置到对象的实例问题
    $rtn = curl_exec($curlobj);

    if(!curl_errno($curlobj)) {
        // $info = curl_getinfo($curlobj);
        // print_r($info);
        echo $rtn;
    } else {
        echo 'Curl error: ' . curl_error($curlobj);
    }
?&gt;


php -f example2.php &gt; weather.html


open weather.html

PHP 中的 cURL 爬虫实战基础 - 文章图片

本文介绍了 cURL 的基础知识和 PHP 中 cURL 的基础实战，对于更高阶的用法，尽请期待。

Hello，我是韩亦乐，现任本科软工男一枚。软件工程专业的一路学习中，我有很多感悟，也享受持续分享的过程。如果想了解更多或能及时收到我的最新文章，欢迎订阅我的个人微信号：韩亦乐。我的简书个人主页中，有我的订阅号二维码和 Github 主页地址；我的知乎主页中也会坚持产出，欢迎关注。

本文内部编号经由我的 Github 相关仓库统一管理；本文可能发布在多个平台但仅在上述仓库中长期维护；本文同时采用【知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议】进行许可。

原文地址：https://www.jianshu.com/p/95b4858f0aa4

内容总结

以上是互联网集市为您收集整理的PHP 中的 cURL 爬虫实战基础全部内容，希望文章能够帮你解决PHP 中的 cURL 爬虫实战基础所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/840485.html

来源：【匿名】

【上一篇】JAVA各种框架使用爬虫代理的正确方案【下一篇】PHP使用swoole实现多线程爬虫

更多 ►

【PHP 中的 cURL 爬虫实战基础】教程文章相关的互联网学习教程文章

php远程请求CURL案例（爬虫、保存登录状态）【代码】

GET案例/** ?*?curl_get ?*?@param?$url ?*?@param?null?$param ?*?@param?null?$options ?*?@return?array ?*/ function?curl_get($url,?$param?=?null,?$options?=?null){ ????$defaultOptions?=?array( ????????‘timeout‘???????????????=>?30,?//?超时时间(秒) ????????//?header(请求头)??????????Array|String????????????推荐使用数组 ????????//?参数格式1(数组)： ????????//??????array(‘Content-type:?text/plain‘,...

PHP网络爬虫之CURL详解

php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。这个时候有人就要发问了：为什么你特么不用file_get_contents?curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。下面先分别介绍一些常用的函数。curl_init 初始化一个curl对话curl_setopt 设置curl参数，即传输选项curl_exec 执行请求curl_close 关闭一个curl对话主要是上面四个curl_errno 返回最后一次错误码,ph...

PHP学习CURL之爬虫实例

很多时候我们需要批量抓取一些网站的资源，这个时候就需要用到爬虫。爬虫的基础就是通过CURL来模拟HTTP请求然后解析数据，本文就通过编写一个简单的网络爬虫来带领大家学习PHP的CURL。先介绍一些常用的函数。curl_init 初始化一个curl对话 curl_setopt 设置curl参数，即传输选项 curl_exec 执行请求 curl_close 关闭一个curl对话主要是上面四个curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码 curl_errror 返回一个保...

网页爬虫-php如何通过curl模拟登录带验证码站点并抓取数据？

现要模拟登录一个带验证码的站点(模拟一个登录页面，手动输入验证码)，并实时采集订单数据。能否提供一个思路？验证码图片是否需要curl带cookie抓取，保存到本地，然后显示在页面上？2.我现在的做法是模拟登录页面的验证码图片直接设置img的src为远程链接，这样貌似导致了我抓取到本地的cookie和浏览器缓存的cookie不一致，登录结果会显示登录超时回复内容：现要模拟登录一个带验证码的站点(模拟一个登录页面，手动输入验证码)，并...

python爬虫__wget_curl_ZHOU125disorder_【代码】

curl curl的使用参数说明示列-A 设置User-Agent curl -A"chrome" https://www.baidu.com -X 使用指定的方法请求 curl -X POST https://www.baidu.com(发起post请求)或curl -X GET https://www.baidu.com(发起get请求) -I 只返回头信息 curl -I https://www.baidu.com -d 以post方法请求url并发送相应的参数 -d a=1 -d b=2 -d c=3 || -d"a=1&b=2&c=3" || -d@filena...

php+curl解决爬虫绝对路径及相对路径的问题。

打算做个模板爬虫，爬啊爬。爬虫爬过来的代码不显示调用图片，css，js的绝对路径，引用到本地格式就错乱了。为了解决这个问题，特地请教大师并优化代码，代码如下。 <?php$rpp = <sdf src="bbbs/sdd" <link rel="stylesheet" type="text/css" href="/public/ui/v2/static/css/basic.css?1594346753">; //源代码，有加斜杠的，有没加斜杠的 $furl = "http://www.baidu.com"; /暂定为目标urlfunction relative_to_absolute($con...