首页 / PHP / PHP使用Curl实现模拟登录及抓取数据步骤详解

PHP使用Curl实现模拟登录及抓取数据步骤详解

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP使用Curl实现模拟登录及抓取数据步骤详解，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4739字，纯文字阅读大概需要7分钟。

内容图文

这次给大家带来PHP使用Curl实现模拟登录及抓取数据步骤详解，PHP使用Curl实现模拟登录及抓取数据的注意事项有哪些，下面就是实战案例，一起来看一下。

使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下（个人总结）：

1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：

（1）登录页面的地址；

（2）验证码的地址；

（3）登录表单需要提交的各个字段的名称和提交方式；

（4）登录表单提交的地址；

（5）另外要需要知道要抓取的数据所在的地址。

2. 获取cookie并存储（针对使用cookie文件的网站）：

$login_url = 'http://www.xxxxx';  //登录页面地址
$cookie_file = dirname(FILE)."/pic.cookie";  //cookie文件存放位置（自定义）
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $login_url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_exec($ch);
curl_close($ch);

3. 获取验证码并存储（针对使用验证码的网站）：

$verify_url = "http://www.xxxx";   //验证码地址
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $verify_url);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$verify_img = curl_exec($ch);
curl_close($ch);
$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存
fwrite($fp, $verify_img);
fclose($fp);

说明：

由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。

4. 模拟提交登录表单：

$ post_url = 'http://www.xxxx';   //登录表单提交地址
$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $ post_url);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_exec($ch);
curl_close($ch);

5. 抓取数据：

$data_url = "http://www.xxxx";   //数据所在地址
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $data_url);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
$data = curl_exec($ch);
curl_close($ch);

到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。

需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。

以上方法对使用http协议的一般网站是有效的。但是如果你要模拟登录的是使用了https协议的网站的话还需要添加如下一些处理：

1. 跳过https验证：

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

2. 使用用户代理：

$UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)';
curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);

注意：如果不添加这些处理的话模拟登录时是不能成功的。

使用以上程序模拟登录网站一般都是能成功的，但是实际上还是需要针对模拟登录的网站具体情况具体考虑。例如：有些网站编码不同，所以你抓取下来的页面是乱码的，这时就要进行一下编码转换，如：$data = iconv("gb2312", "utf-8",$data);，把gbk编码转换为utf8编码。还有一些对安全性要求比较高的网站，比如网银，会把验证码放在一个内联框架中，这时你就需要先抓取到内联框架的页面然后在从中提取出验证码的地址，再去抓取验证码。还有一些网站（比如网银）是在js代码中去提交表单的，提交表单之前还会去做一些处理，比如加密等，所以如果你是直接提交的话也是不能登录成功的，你必须要去做类似的处理后再提交，但是这种情况如果你能知道js代码中进行的具体操作，比如加密的话，加密算法是怎样的，你就可以进行跟它一样的处理，然后再去提交数据，这样也是能成功的。但是，关键的地方来了，如果你根本不知道它进行的是什么操作，比如它进行了加密，但是你不知道加密的具体算法，那么你就无法进行相同的操作，也就不能成功地模拟登录了。这方面典型的案例就是网银，它在js代码中提交表单之前使用网银控件对用户提交的密码和验证码进行了一些处理，但是我们根本不知道它进行的是什么操作，所以无法模拟。所以如果你以为你看了本文之后就能模拟登录网银的话那么你就太天真了，人家银行的网站能那么容易被你模拟登录吗？当然，如果你能破解网银控件的话，那就另当别论了。话说回来，为什么我的感受如此深刻，因为我就遇到这个难题了，不说了，说多了都是泪啊。。。

相信看了本文案例你已经掌握了方法，更多精彩请关注Gxl网其它相关文章！

推荐阅读：

PHP+MySQL处理高并发加锁事务步骤详解

实现购物车结算方法总结

以上就是PHP使用Curl实现模拟登录及抓取数据步骤详解的详细内容，更多请关注Gxl网其它相关文章！

内容总结

以上是互联网集市为您收集整理的PHP使用Curl实现模拟登录及抓取数据步骤详解全部内容，希望文章能够帮你解决PHP使用Curl实现模拟登录及抓取数据步骤详解所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/136705.html

来源：【匿名】