PHP怎样用正则抓取页面中的网址

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP怎样用正则抓取页面中的网址，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2154字，纯文字阅读大概需要4分钟。

内容图文

前言

链接也就是超级链接，是从一个元素（文字、图片、视频等）链接到另一个元素（文字、图片、视频等）。网页中的链接一般有三种，一种是绝对URL超链接，也就是一个页面的完整路径；另一种是相对URL超链接，一般都链接到同一网站的其他页面；还有一种是页面内的超链接，这种一般链接到同一页面内的其他位置。

搞清楚了链接的种类，就知道要抓链接，主要还是绝对URL超链接和相对URL超链接。要写出正确的正则表达式，就必须要了解我们查找的对象的模式。

先说绝对链接，也叫作URL（Uniform Resource Locator），标识了互联网上的唯一资源。URL的结构包含三部分：协议、服务器名称、路径和文件名。

协议是告诉浏览器如何处理将要打开文件的标识，最常见的就是 http 协议。本文也只考虑HTTP协议，至于其他的 https、ftp、mailto、telnet协议等，根据需要也可以添加。

服务器名称是告诉浏览器如何到达这个服务器的方式，通常是域名或者IP地址，有时还会包含端口号（默认为80）。FTP协议中，也可以包含用户名和密码，本文就不考虑了。

路径和文件名，一般以 / 分割，指出到达这个文件的路径和文件本身的名称。如果没有具体的文件名，则访问这个文件夹下的默认文件（可以在服务器端设置）。

那么现在清楚了，要抓取的绝对链接的典型形式可以概括为

http://www.xxx.com/xxx/yyy/zzz.html

每个部分可以使用的字符范围有明确的规范，具体可以参考RFC1738。那么正则表达式就可以写出来了。

/(http|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.]+)/i

解释如下：

(http|https)第一个括号内匹配的是协议部分。

([\w\d\-_]+[\.\w\d\-_]+)第二个括号内匹配的是域名部分。

([\/]?[\w\/\.]+)第三个括号内匹配的是相对路径。

写到这个时候，基本上大部分的网址都能匹配到了，但是对于URL中带有参数的还不能抓取，这样有可能造成再次访问的时候页面报错。关于参数RFC1738规范中要求是用？来分割，后面带上参数，但是现代的RIA应用有可能使用其他奇怪的形式进行分割。

稍微修改一下，这样就可以将查询参数部分搜索出来。这里仍然没有涵盖全部的情况，例如URL中有中文、有空格及其他特殊字符的情况，但是基本上能够满足我的需求了，就没有继续深化。

/(http|ftp|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.\?=&;%@#\+,]+)/i

使用括号的好处是，在处理结果时，可以很容易的获取到协议、域名、相对路径这些内容，方便后续的处理。

例如使用 preg_match_all() 匹配时，结果数组索引0为全部结果、1为协议、2为域名、3为相对路径。

以上就是使用PHP的正则抓取页面中的网址的全部内容，希望对大家在PHP使用中有所帮助。

内容总结

以上是互联网集市为您收集整理的PHP怎样用正则抓取页面中的网址全部内容，希望文章能够帮你解决PHP怎样用正则抓取页面中的网址所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---