首页 / 爬虫 / php抓取蜘蛛爬虫痕迹的代码分享

php抓取蜘蛛爬虫痕迹的代码分享

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了php抓取蜘蛛爬虫痕迹的代码分享，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含970字，纯文字阅读大概需要2分钟。

内容图文

本文介绍下，php实现抓取蜘蛛爬虫痕迹的一段代码，有需要的朋友参考下。

用php代码分析web日志中蜘蛛爬虫痕迹，代码如下：

 'googlebot',
                    'Baidu'        => 'baiduspider',
                    'Yahoo'        => 'yahoo slurp',
                    'Soso'        => 'sosospider',
                    'Msn'        => 'msnbot',
                    'Altavista'    => 'scooter ',
                    'Sogou'        => 'sogou spider',
                    'Yodao'        => 'yodaobot'
            );
    $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
    foreach ($bots as $k => $v){
        if (strstr($v,$userAgent)){
            return $k;
            break;
        }
    }
    return false;
} //by bbs.it-home.org

//获取哪种蜘蛛爬虫后保存蜘蛛痕迹。
//根据采集时HTTP_USER_AGENT是否为空来防止采集
//抓蜘蛛爬虫 --by bbs.it-home.org
$spi    = isSpider();
if($spi){
    $tlc_thispage    = addslashes($_SERVER['HTTP_USER_AGENT']);
    $file            = 'robot.txt';
    $time            = date('Y-m-d H:i:s',mktime());
    $handle            = fopen($file,'a+');
    $PR                = $_SERVER['REQUEST_URI'];
    fwrite($handle, "Time:{$time} ROBOT:{$spi} AGENT:{$tlc_thispage} URL:{$PR} \n\r");
    fclose($handle);
}
?>

内容总结

以上是互联网集市为您收集整理的php抓取蜘蛛爬虫痕迹的代码分享全部内容，希望文章能够帮你解决php抓取蜘蛛爬虫痕迹的代码分享所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/162927.html

来源：【匿名】