robots怎么禁止抓取php

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了robots怎么禁止抓取php，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1417字，纯文字阅读大概需要3分钟。

内容图文

robots禁止抓取php的方法：1、在robots.txt文件里写入“Disallow: /*?*”；2、在robots.txt文件里添加规则“User-agent:* Allow: .html$ Disallow: /”即可。

robots怎么禁止抓取php - 文章图片

本文操作环境：windows7系统、PHP7.1版，DELL G3电脑

robots禁止搜索引擎抓取php动态网址

所谓的动态网址也就是指URL中包括？，& 等字符类的网址，如：news.php?lang=cn&class=1&id=2，当我们在开启了网站的伪静态之后，为了网站的SEO，就很有必要避免搜索引擎抓取我们网站的动态网址。

为什么要这么做？因为搜索引擎在对相同的页面抓取两次之后但最后判定为同一个页面的时候会而对网站做些触发的，具体是怎么处罚的，这个不太清楚，总之是不利于整个网站的SEO的。那么该如何禁止搜索引擎抓取我们网站的动态网址呢？

利用robots.txt文件即可解决这个问题，请看下面的详细操作。

我们知道动态页面都有一个共同的特征，就是在链接里会带有"?"这个问号的符号，因此我们可以在robots.txt文件里写入如下这样的规则：

User-agent: *
Disallow: /*?*

这样即可禁止搜索引擎抓取整个网站的动态链接了。另外如果我们只想让搜索引擎抓取指定类型文件，如html格式的静态页面，可在robots.txt里面加入如下这样的规则：

User-agent: *
Allow: .html$
Disallow: /

另外记得一定要将写好的robots.txt文件放在你网站的根目录中哦，不然是不起作用的。另外写入规则有一个简便的捷径，登陆google网站管理员工具，只接在里面写入规则后，生成robots.txt文件即可。

【推荐学习：《PHP视频教程》】

以上就是robots怎么禁止抓取php的详细内容。

本文系统来源：https://www.php.cn/php-ask-471980.html

内容总结

以上是互联网集市为您收集整理的robots怎么禁止抓取php全部内容，希望文章能够帮你解决robots怎么禁止抓取php所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/121920.html

来源：【匿名】

【上一篇】php魔术是什么意思【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【robots怎么禁止抓取php】教程文章相关的互联网学习教程文章

file_get_contents在某些情况下会出错。这样在运行中会时不时的出现上述错误，我也换过file_get_contents等其他函数都没用，在网上查阅后发现用CURL方法抓取不会出错$url = "http://www.php100.com/logo.gif";$ch = curl_init();curl_setopt ($ch, CURLOPT_URL, $url);curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);$img = curl_exec($ch); 原文：http://www.cnblogs.com/prolovec...

PHP爬虫抓取网页内容 (simple_html_dom.php)【代码】【图】

使用simple_html_dom.php，下载|文档　　因为抓取的只是一个网页，所以比较简单，整个网站的下次再研究，可能用Python来做爬虫会好些。 1 <meta http-equiv="content-type" content="text/html;charset=utf-8"/>2 <?php3include_once ‘simplehtmldom/simple_html_dom.php‘;4//获取html数据转化为对象 5$html = file_get_html(‘http://paopaotv.com/tv-type-id-5-pg-1.html‘);6//A-Z的字母列表每条数据是在id=letter-focus 的di...

PHP爬虫抓取【代码】【图】

目标：利用PHP解决网站列表内容抓取描述：在群里看到小伙伴问到关于抓取网站列表内容，我就想起了当时工作关于文章采集的问题，但是后面想想又不对，这是列表抓取，于是就想起了大神们经常说的说的“爬虫”，我想一定可以解决小伙伴的问题，因为是php小白，所以在网上找了很多爬虫的写法，但是太长了不想看，受个别启发看到了fopen()方法，那么这个方法是干嘛的，查找得出“把指定文件或者url资源绑定到资源流上”，额好像不错，就...

PHP 抓取网页图片并且另存为的实现代码

下面是源代码，及其相关解释复制代码代码如下:<?php //URL是远程的完整图片地址，不能为空, $filename 是另存为的图片名字 //默认把图片放在以此脚本相同的目录里 function GrabImage($url, $filename=""){ //$url 为空则返回 false; if($url == ""){return false;} $ext = strrchr($url, ".");//得到图片的扩展名 if($ext != ".gif" && $ext != ".jpg" && $ext != ".bmp"){echo "格式不支持！";return false;} if($filename == ...

PHP CURL抓取网页 simple_html_dom类【代码】

抓取网页数据后数据录入到discuz中<?php include(‘simple_html_dom.php‘);function urlText(){$url = ‘http://www.kxt.com/data/3.html‘;//外汇$ch=curl_init();$timeout = 1;// echo CURLOPT_URL; // CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项curl_setopt($ch, CURLOPT_URL, $url);// echo CURLOPT_RETURNTRANSFER; //使用PHP curl获取页面内容或提交数据，有时候希望返回...

php 抓取图片【代码】

<?php /*** Created by PhpStorm.* Date: 15-2-9* Time: 下午3:10*/for($i=0;$i<1000;$i++){$getData[‘page‘] = $i+1;getImg($getData); }function getImg($getData) {$path = "D:/NFS/img/";$opts = array(‘http‘=>array(‘method‘=>"GET",‘timeout‘=>3,//设置3秒等待),);if(is_array($getData) && !empty($getData)){$ser = http_build_query($getData, ‘‘, ‘&‘);}$cnt=0;//如果请求失败继续请求3次while($cnt<3 &&...

PHP抓取网页图片的实例【代码】

PHP抓取网页图片的实例<?php /** * 抓取网站上的图片到本地 * PS: 如果网页中的图片路径不是绝对路径，就无法抓取 */ set_time_limit(0);//抓取不受时间限制 $URL=‘http://image.baidu.com/‘;//任意网址 get_pic($URL); function get_pic($pic_url) { //获取图片二进制流 $data=CurlGet($pic_url); /*利用正则表达式得到图片链接*/ $pattern_src = ‘/<[img|IMG].*?src=[\‘|\"](...

网页抓取信息（php正则表达式、php操作excel）【图】

1.问题描述实现对固定网页上自己需要的信息抓取，以表格形式存储。我是拿wustoj上的一个排行榜来练习的，地址：wustoj2.思路网页自己就简单学习了一下php，刚好用它来做点事情吧，我的想法是这样的：（1）查看网页源代码并保存在文件中。（2）根据需要的信息写出正则表达式，读文件，根据正则表达式来提取需要的信息。写正则表达式的时候最好分组，这样提取起来就方便了很多。（3）对excel操作，将提取的信息以excel的形式输出。比...

php 抓取天气情况 www.weather.com.cn

<?phpfunction getweather($city){$url="http://www.weather.com.cn/weather1d/".$city.".shtml";$result=file_get_contents($url);$arr=explode("<li class='dn on' data-dn='todayT'>",$result);$arr1=explode("<div class=\"m m2\" id=\"2_3d\">",$arr[1]);$wt= mb_convert_encoding($arr1[0],"GBK","UTF-8");$wt1=explode("</i> </p>",$wt);$first=explode("</h1>",$wt1[0]);$w1_1=$first[0];//echo strip_tags($w1_1);//当前状...

php抓取文章内容分析【代码】

preg_match_all — 执行一个全局正则表达式匹配int preg_match_all ( string pattern, string subject, array matches [, int flags] )在 subject 中搜索所有与 pattern 给出的正则表达式匹配的内容并将结果以 flags 指定的顺序放到 matches 中。搜索到第一个匹配项之后，接下来的搜索从上一个匹配项末尾开始。flags 可以是下列标记的组合（注意把 PREG_PATTERN_ORDER 和 PREG_SET_ORDER 合起来用没有意义）：PREG_PATTERN_ORDER对...

php抓取页面与代码解析推荐

得到数据我们不能直接输出，往往需要对内容进行提取，然后再进行格式化，以更加友好的方式显现出来。下面先简单说一下本文的主要内容：一、 PHP抓取页面的主要方法： 1. file()函数 2. file_get_contents()函数 3. fopen()->fread()->fclose()模式 4.curl方式 5. fsockopen()函数 socket模式 6. 使用插件(如：http://sourceforge.net/projects/snoopy/) 二、PHP解析html或xml代码主要方式： 1. 正则表达式 2. PHP DOMDocument对象...

简单的PHP伪缓存并定时抓取某页面内容_PHP教程

需求：要抓取某个页面的一部分内容，然后iframe到别的页面去。iframe的时候，不需求每次都访问源页面，而是每天只读取源页面一次，并生成文件，iframe的时候只访问该暂时文件，也就是伪缓存啦。这么做适合访问量不大的页面，降低数据库访问压力。程序设计如下：导航', $cssarray[0]);$css_min = explode('', $css_rem_inner[0]);$str_css = $css_min[0];$head = ' ';$str_1 = '';$str_html = $htmlarray[1]; $content = $str_css....

在PHP中抓取,缓存和解析远程XML提要,验证检查【代码】

目前,我正在抓取远程站点的XML feed并在我的服务器上保存本地副本以便在PHP中进行解析. 问题是如何在PHP中添加一些检查以查看feed.xml文件是否有效,如果是,请使用feed.xml. 如果错误无效(有时远程XML提供某些显示空白feed.xml),请从之前的抓取/保存中提供feed.xml的备份有效副本？代码抓取feed.xml<?php /** * Initialize the cURL session */ $ch = curl_init(); /** * Set the URL of the page or file to download. */ curl_se...

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径_PHP

404页面Nginx 我在服务器上有每天切割nginx日志的习惯，所以针对每天各大搜索引擎来访，总能记录一些404页面信息，传统上我只是偶尔分析下日志，但是对于很多日志信息的朋友，人工来筛选可能不是一件容易的事情，这不我个人自己慢慢研究了一点点，针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件，直接上代码test.php。代码如下: <?php //访问test.php?s=google $domain=http://www.bit...

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径_php实例

我在服务器上有每天切割nginx日志的习惯，所以针对每天各大搜索引擎来访，总能记录一些404页面信息，传统上我只是偶尔分析下日志，但是对于很多日志信息的朋友，人工来筛选可能不是一件容易的事情，这不我个人自己慢慢研究了一点点，针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件，直接上代码test.php。代码如下: <?php //访问test.php?s=google $domain=http://www.gxlcms.com; $spi...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / robots怎么禁止抓取php

robots怎么禁止抓取php

内容导读

内容图文

内容总结

内容备注

内容手机端

【robots怎么禁止抓取php】教程文章相关的互联网学习教程文章

PHP 抓取远程文件出错的解决方案

PHP爬虫抓取网页内容 (simple_html_dom.php)【代码】【图】

PHP爬虫抓取【代码】【图】

PHP 抓取网页图片并且另存为的实现代码

PHP CURL抓取网页 simple_html_dom类【代码】

php 抓取图片【代码】

PHP抓取网页图片的实例【代码】

网页抓取信息（php正则表达式、php操作excel）【图】

php 抓取天气情况 www.weather.com.cn

php抓取文章内容分析【代码】

php抓取页面与代码解析推荐

简单的PHP伪缓存并定时抓取某页面内容_PHP教程

在PHP中抓取,缓存和解析远程XML提要,验证检查【代码】

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径_PHP

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径_php实例

PHP - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程