首页 / ASP / 网站生成静态页面，及网站数据采集的攻、防原理和策略

网站生成静态页面，及网站数据采集的攻、防原理和策略

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了网站生成静态页面，及网站数据采集的攻、防原理和策略，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含12310字，纯文字阅读大概需要18分钟。

内容图文

发布时间：2005年11月27日晚
文章作者：翟振凯 (小琦)
交流方式：
个人站：http://www.gxlsystem.com
QQ：53353866 22336848
关于本文：
        本着互联网共享主义精神，特写此文献给建站新手，授人以鱼，不如授人以渔，本文所讲的只是方法和原理，希
望大家看完此文，能够从中得到些帮助和启发。

        本文从一个ASP程序员的角度用大量实例祥细介绍了动态网站如何生成静态页面原理，又从一个采集程序开发者
的角度去祥细介绍了网站数据采集的原理及功防策略。

        关于网站生成静态页面，为了让本文读者容易理解，文内列举了目前常用的多种生成静态页面的方法，其中用了
很多的实例代码进行说明。

        关于网站数据采集攻防，作者本身是一个采集程序的开发者，同时作者也收集研究了多种采集程序，列举了目前
国内比较流行的几种防采集策略，并对每种策略作了简单客观的分析评价，希望能给广大站长们提供一些帮助。此章节也
把作者原创的防采集方法奉献给大家，目地是为了让大家了解，防采集，不防搜索引擎，是可行的，有效的。

声明：希望各位朋友转载时，不要把原有作者版权去掉，谢谢合作。
         由于本人写作水平有限，写的不好的地方，还请大家多多包涵，如要批评或意见，请加我QQ。
目前很多人都开始注重动态页面生成HTML页了，但选择哪种生成HTML的方法和防采集却不防搜索引擎的问题却经常困扰大
家。解决此问题则是本文产生的原因。

首先祥细说一下常用的几种生成HTML的方法：

生成HTML方法主要步骤只有两个：
一、获取要生成的html文件的内容
二、将获取的html文件内容保存为html文件

我在这里主要说明的只是第一步：如何获取要生成的html文件的内容：
目前常用获取html文件的内容的方法有几下几种：
1、

str="<html标记>内容</html标记>"
str=str&"<html标记>内容</html标记><html标记>数据库读取内容....</html标记>....."
这种方法与是在脚本内写要生成的html内容，不太方便预览生成页面的内容，无法可视化布局页面，更改html模板时会更
加复杂。
用这种方法的人很多，但我感觉这种方法是最不方便的。

2、
制作单独的HTML模板页，动态的内容用特定的字符作为标记(如：有人用$title$标记为网页标题)，用ADODB.Stream或者
Scripting.FileSystemObject将其模板内容载入，然后再用替换方法把原先定好的标记替换为动态内容(如：Replace(载
入的模板内容,"$title$",rs("title" ) ) )。

3、
用XMLHTTP或serverXMLHTTP获取动态页所显示的HTML内容，

我常用的生成html文件的实例：
'-----------------翟振恺(小琦)
'weburl是要获取的动态页地址
'getHTTPPage(weburl)是获取动态页内容的函数
weburl="http://"&Request.ServerVariables("SERVER_NAME")&"/contact.asp?id="&rs("id")&""‘指定动态页地址
body=getHTTPPage(weburl)'用函数取到动态页地址的内容
'-----------------翟振恺(小琦)
此方法最大的好处就是不用费力气专门去写静态的模板页面，只是将原来就有的动态页面转换为HTML静态页面，但生成速
度不是太快。

我常用的生成HTML的方法就是第3种：用XMLHTTP获取动态页生成的HTML内容，再用ADODB.Stream或者
Scripting.FileSystemObject保存成html文件。

第二步是生成文件的方法：
ASP里常用的有用ADODB.Stream生成文件和Scripting.FileSystemObject生成文件两种
1、

Scripting.FileSystemObject生成文件方法：

'-----------------翟振恺(小琦)
Set fso = CreateObject("Scripting.FileSystemObject")
File=Server.MapPath("要生成文件路径和文件名.htm")
Set txt=fso.OpenTextFile(File,8,True)
data1="文件内容"用WriteLine方法生成文件
txt.WriteLine data1
data2="文件内容"'用Write方法生成文件
txt.Write data2
txt.Close
txt.fso
'-----------------翟振恺(小琦)
2、

ADODB.Stream生成文件方法：

'-----------------翟振恺(小琦)
Dim objAdoStream
set objAdoStream = Server.createObject("ADODB.Stream")
objAdoStream.Type = 1
objAdoStream.Open()
objAdoStream.Write("文件内容")
objAdoStream.SaveToFile 要生成文件路径和文件名.htm,2
objAdoStream.Close()
'-----------------翟振恺(小琦)
再说一下我对HTML防采集却不防搜索引擎蜘蛛的一些经验：

我开发过几个采集程序，也研究过很多采集程序代码，所以对采集程序的原理还算是稍微有些了解。
先说一下采集原理：

采集程序的主要步骤如下：

一、获取被采集的页面的内容
二、从获取代码中提取所有用的数据

一、获取被采集的页面的内容

我目前所掌握的ASP常用获取被采集的页面的内容方法：

1、用serverXMLHTTP组件获取数据

Function GetBody(weburl)
'-----------------翟振恺(小琦)
    '创建对象
    Dim ObjXMLHTTP
    Set ObjXMLHTTP=Server.CreateObject("MSXML2.serverXMLHTTP")
    '请求文件,以异步形式
    ObjXMLHTTP.Open "GET",weburl,False
    ObjXMLHTTP.send
    While ObjXMLHTTP.readyState <> 4
        ObjXMLHTTP.waitForResponse 1000
    Wend
    '得到结果
     GetBody=ObjXMLHTTP.responseBody
    '释放对象
     Set ObjXMLHTTP=Nothing
'-----------------翟振恺(小琦)
End Function
调用方法：
GetBody(文件的URLf地址)
2、或XMLHTTP组件获取数据

Function GetBody(weburl)
'-----------------翟振恺(小琦)
    '创建对象
    Set Retrieval = CreateObject("Microsoft.XMLHTTP")
    With Retrieval
     .Open "Get", weburl, False, "", ""
     .Send
     GetBody = .ResponseBody
     End With
    '释放对象
    Set Retrieval = Nothing
'-----------------翟振恺(小琦)
End Function
调用方法：
GetBody(文件的URLf地址)
这样获取的数据内容还需要进行编码转换才可以使用

Function BytesToBstr(body,Cset)
'-----------------翟振恺(小琦)
        dim objstream
        set objstream = Server.CreateObject("adodb.stream")
        objstream.Type = 1
        objstream.Mode =3
        objstream.Open
        objstream.Write body
        objstream.Position = 0
        objstream.Type = 2
        objstream.Charset = Cset
        BytesToBstr = objstream.ReadText
        objstream.Close
        set objstream = nothing
'-----------------翟振恺(小琦)
End Function

调用方法：BytesToBstr(要转换的数据,编码)'编码常用为GB2312和UTF-8
二、从获取代码中提取所有用的数据
目前我掌握的方法有：
1、用ASP内置的MID函数截取需要的数据

Function body(wstr,start,over)
'-----------------翟振恺(小琦)
start=Newstring(wstr,start)
'设置需要处理的数据的唯一的开始标记
over=Newstring(wstr,over)
'和start相对应的就是需要处理的数据的唯一的结束标记
body=mid(wstr,start,over-start)
'设置显示页面的范围
'-----------------翟振恺(小琦)
End Function
调用方法：body(被采集的页面的内容,开始标记,结束标记)
2、用正则获取需要的数据

Function body(wstr,start,over)
'-----------------翟振恺(小琦)
Set xiaoqi = New Regexp'设置配置对象
xiaoqi.IgnoreCase = True'忽略大小写
xiaoqi.Global = True'设置为全文搜索
xiaoqi.Pattern =  "”&start&“.+?”&over&“"'正则表达式
Set Matches =xiaoqi.Execute(wstr)'开始执行配置
set  xiaoqi=nothing
body=""
For Each Match in Matches
body=body&Match.Value '循环匹配
Next
'-----------------翟振恺(小琦)
End Function
调用方法：body(被采集的页面的内容,开始标记,结束标记)
采集程序祥细思路：
1、取得网站的分页列表页的每页地址
目前绝大部分动态网站的分页地址都有规则，如:
动态页
第一页：index.asp?page=1
第二页：index.asp?page=2
第三页：index.asp?page=3
.....

静态页
第一页：page_1.htm
第二页：page_2.htm
第三页：page_3.htm
.....
取得网站的分页列表页的每页地址，只需要用变量替代每页地址的变化的字符即可如：page_<%="&page&"%>.htm

2、获取被采集网站的分页列表页内容
3、从分页列表代码中提取被采集的内容页面的URL连接地址
绝大部分分页页面里的内容页连接也有固定规则，如：
<a href="url1">连接1</a> <br>
<a href="url2">连接2</a> <br>
<a href="url3">连接3</a> <br>

用以下代码就可以获得一个URL连接集合

'-----------------翟振恺(小琦)
Set xiaoqi = New Regexp
xiaoqi.IgnoreCase = True
xiaoqi.Global = True
xiaoqi.Pattern =  ””“.+?”““
Set Matches =xiaoqi.Execute(页面列表内容)
set  xiaoqi=nothing
url=""
For Each Match in Matches
url=url&Match.Value
Next
'-----------------翟振恺(小琦)
4、取得被采集的内容页面内容，根据”提取标记“从被采集的内容页面分别截取要取得的数据

因为是动态生成的页面，大多数内容页面内都有相同的html标记，我们可以根据这些有规则的标记提取需要的各个部分的
内容。
如：
每个页面都有网页标题<title>网页标题</title>，用我上面写的MID截取函数就可以获得<title></title>之间的值，也
可以用正则表达式来获得。
例：body("<title>网页标题</title>","<title>","</title>")

介绍完采集器的祥细原理后，就开始说一下防采集的策略。

目前防采集的方法有很多种，先介绍一下常见防采集策略方法和它的弊端及采集对策：

一、判断一个IP在一定时间内对本站页面的访问次数，如果明显超过了正常人浏览速度，就拒绝此IP访问
弊端：
1、此方法只适用于动态页面，如：asp\jsp\php等...静态页面无法判断某个IP一定时间访问本站页面的次数
2、此方法会严重影响搜索引擎蜘蛛对其收录，因为搜索引擎蜘蛛收录时，浏览速度都会比较快而且是多线程。此方法也
会拒绝搜索引擎蜘蛛收录站内文件
采集对策：只能放慢采集速度，或者不采
建议：做个搜索引擎蜘蛛的IP库，只允许搜索引擎蜘蛛快速浏览站内内容。搜索引擎蜘蛛的IP库的收集，也不太容易，一
个搜索引擎蜘蛛，也不一定只有一个固定的IP地址。
评论：此方法对防采集比较有效，但却会影响搜索引擎对其收录。

二、用javascript加密内容页面

弊端：此方法适用于静态页面，但会严重影响搜索引擎对其收录情况，搜索引擎收到到的内容，也都是加密后的内容
采集对策：建议不采，如非要采，就把解密码的JS脚本也采下来。
建议：目前没有好的改良建议
评论：建议指望搜索引擎带流量的站长不要使用此方法。

三、把内容页面里的特定标记替换为”特定标记+隐藏版权文字“

弊端：此方法弊端不大，仅仅会增加一点点的页面文件大小，但容易反采集
采集对策：把采集来的含有隐藏版权文字内容的版权文字替掉，或替换成自己的版权。
建议：目前没有好的改良建议
评论：自己感觉实用价值不大，就算是加上随机的隐藏文字，也等于画蛇添足。

四、只允许用户登陆后才可以浏览
弊端：此方法会严重影响搜索引擎蜘蛛对其收录
采集对策：目前落伍已经有人发了对策文章，具体对策就看这个吧《ASP小偷程序如何利用XMLHTTP实现表单的提交以及
cookies或session的发送》
建议：目前没有好的改良建议
评论：建议指望搜索引擎带流量的站长不要使用此方法。不过此方法防一般的采集程序，还是有点效果的。

五、用javascript、vbscript脚本做分页
弊端：影响搜索引擎对其收录
采集对策：分析javascript、vbscript脚本，找出其分页规则，自己做个对应此站的分页集合页即可。
建议：目前没有好的改良建议
评论：感觉懂点脚本语言的人都能找出其分页规则

六、只允许通过本站页面连接查看，如：Request.ServerVariables("HTTP_REFERER")
弊端：影响搜索引擎对其收录
采集对策：不知道能不能模拟网页来源。。。。目前我没有对应此方法的采集对策
建议：目前没有好的改良建议
评论：建议指望搜索引擎带流量的站长不要使用此方法。不过此方法防一般的采集程序，还是有点效果的。

从以上可以看出，目前常用的防采集方法，要么会对搜索引擎收录有较大影响，要么防采集效果不好，起不到防采集的效
果。那么，还有没有一种有效防采集，而又不影响搜索引擎收录的方法呢？那就请继续往下看吧，精彩的地方马上呈献给
大家。

下面就是我的防采集策略，防采集而又不防搜索引擎

从前面的我讲的采集原理大家可以看出，绝大多数采集程序都是靠分析规则来进行采集的，如分析分页文件名规则、分析
页面代码规则。

一、分页文件名规则防采集对策

大部分采集器都是靠分析分页文件名规则，进行批量、多页采集的。如果别人找不出你的分页文件的文件名规则，那么别
人就无法对你的网站进行批量多页采集。
实现方法：
我认为用MD5加密分页文件名是一个比较好的方法，说到这里，有人会说，你用MD5加密分页文件名，别人根据此规则也可
以模拟你的加密规则得到你的分页文件名。

我要指出的是我们加密分页文件名时，不要只加密文件名变化的部分
如果I代表分页的页码，那么我们不要这样加密
page_name=Md5(I,16)&".htm"

最好给要加密的页码上再跟进一个或多个字符，如：page_name=Md5(I&"任意一个或几个字母",16)&".htm"

因为MD5是无法反解密的，别人看到的会页字母是MD5加密后的结果，所以加人也无法知道你在 I 后面跟进的字母是什么
，除非他用暴力****MD5，不过不太现实。

二、页面代码规则防采集对策

如果说我们的内容页面无代码规则，那么别人就无法从你的代码中提取他们所需要的一条条内容。
所以我们要的这一步做到防采集，就要使代码无规则。
实现方法：
使对方需要提取的标记随机化
1、定制多个网页模板，每个网页模板里的重要HTML标记不同，呈现页面内容时，随机选取网页模板，有的页面用CSS+DIV
布局，有的页面用table布局，此方法是麻烦了点，一个内容页面，要多做几个模板页面，不过防采集本身就是一件很烦
琐的事情，多做一个模板，能起到防采集的作用，对很多人来说，都是值得的。
2、如果嫌上面的方法太麻烦，把网页里的重要HTML标记随机化，也可以。

做的网页模板越多，html代码越是随机化，对方分析起内容代码时，就越麻烦，对方针对你的网站专门写采集策略时，难
度就更大，在这个时候，绝大部分人，都会知难而退，因为这此人就是因为懒，才会采集别人网站数据嘛~~~再说一下，
目前大部分人都是拿别人开发的采集程序去采集数据，自己开发采集程序去采集数据的人毕竟是少数。

还有些简单的思路提供给大家：
1、把对数据采集者重要，而对搜索引擎不重要的内容用客户端脚本显示
2、把一页数据，分为N个页面显示，也是加大采集难度的方法
3、用更深层的连接，因为目前大部分采集程序只能采集到网站内容的前3层，如果内容所在的连接层更深，也可以避免被
采集。不过这样可能会给客户造成浏览上的不便。
如：
大多网站都是首页----内容索引分页----内容页
如果改成：
首页----内容索引分页----内容页入口----内容页
注：内容页入口最好能加上自动转入内容页的代码

<meta http-equiv="refresh" content="6;url=内容页(http://www.xiaoqi.net)">
其实，只要做好防采集的第一步(加密分页文件名规则)，防采集的效果就已经不错了，还是建议两条反采集方法同时使用
，给采集者增加采集难度，使得他们知难页退。

至此，全文完，欢迎大家在此讨论与此相关技术，谢谢!
作者：翟振恺(小琦)
希望大家转载时，不要把作者版权去掉，谢谢合作!

内容总结

以上是互联网集市为您收集整理的网站生成静态页面，及网站数据采集的攻、防原理和策略全部内容，希望文章能够帮你解决网站生成静态页面，及网站数据采集的攻、防原理和策略所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/385239.html

来源：【匿名】

【上一篇】实例讲解ASP实现抓取网上房产信息【下一篇】ASP知识讲座四

更多 ►

【网站生成静态页面，及网站数据采集的攻、防原理和策略】教程文章相关的互联网学习教程文章

定时生成静态页面(PHP和ASP版)【图】

使用方法：在网站的流量大的页面，一般为首页用 iframe 调用上面的代码即可，如插入转载地址： http://blog.qita.in/?post=327 很多时候，我们需要用到定时生成html页面的功能，原理简介：利用文件如index.html的最后修改时间和当前的时间做比较，当时间差超过一定间隔如2小时，则调用相关页面进行生成新页面。原始源代码如下。 PHP版本的的定时生成页面的：$file = dirname(__FILE__).'/index.html';$timex=time()-filem...

asp生成静态HTML(动态读取)

代码如下: <% call ConnectionDatabase()dim str,str_newstr=""str_new=""sqlx="select id from Fl_Products order by id desc" set rsx=conn.execute(sqlx)do while not rsx.eofstr=str&rsx("id")&"|"rsx.movenext :looprsx.closesqlx="select id from Fl_News order by id desc" set rsx=conn.execute(sqlx)do while not rsx.eofstr_new=str_new&rsx("id")&"|"rsx.movenext :looprsx....

从一个网站扒下的asp生成静态页面的代码脚本之家特供版

代码如下:<% webfolder="/" host="index_cn.asp"'前台动态地址 folder="/"'文件夹 filename="index_cn.html"'生成静态文件名 Fso_info host,folder,filename response.write"生成网站中文首页静态HTML完成.<br />" '生成html Function Fso_info(host,folder,filename) host="http://"+Request.ServerVariables("HTTP_HOST")&webfolder&host if SaveFile(""&folder&filename&"",""&host&"") then response.Write ""&folder&filename...

ASP批量生成静态页面的写法(批量生成技巧iframe)

代码如下:  <html> <head> <meta http-equiv="Content-Language" content="zh-cn"> <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> <title>生成百度XML</title> </head> <body> <% dim sid,eid sid=abs(request("sid")) if sid=0 then sid=0 else sid=cint(request("sid")) end if eid=cint(request("eid")) if eid=0 then ...

asp定时生成静态HTML的代码

代码如下:<% 判断是否要生成新的HTML if Application("cache_asptohtml_date")="" then Application.Lock Application("cache_asptohtml_date")=now() Application.Unlock Call aspTohtml Response.Redirect("index.html") end if if DateDiff("s", Application("cache_asptohtml_date"),Now)> 100 then 比较上次更新时间与当前时间相差多少秒 Application.Lock Application("cache_asptohtml_date")=now() Application.UnLock Cal...

ASP UTF-8编码生成静态网页的函数

以下函数采用FSO对象，文件位置在FSO.ASP。FSO对象的文件编码属性只有三种，系统默认，Unicode，ASCII，并没有我们要的utf-8，所以一般中文系统上使用FSO对象生成的文件都是gb2312网页编码格式，无法生成UTF-8编码，因此，英文等拉丁语系和中文可以正常显示，但象俄语等非拉丁语系，页面就会出现乱码。代码如下:function createfile(sfilename,scontent) set fso=server.CreateObject("scripting.filesystemobject") set f1=fso....

ASP新闻分页，将一篇过长的文章分页，生成静态页面

上次还是CSDN里的朋友回答的，我复制了下来。原文如下 =========================== 利用统计文章字数，然后达到一定字数就截断输出，但是分页的内容就会在莫名其妙的地方截断，不是很友好。　　很简单，在要截断的地方附近找下面的符号: ；'”？。！;'".! 　　如果后面存在<p>或<br>就分页。主要是要研究文章的格式。 <% if Request.ServerVariables("Content_Length") > 0 then content = Request.Form("textarea1")PageLength ...

fso asp生成静态html的代码

FSO生成静态HTML文件的时候替换模板标签一直是一个很麻烦的问题，至少我是这么认为的，还要别外做一个模板，麻烦！，我今天看见有一个方法可以解决这个问题如一个正常的index.asp页面，并且用ASP代码调出数据库中的内容，另建一个makehtml.asp的页面，加入一个textarea域，假设为name="body"，将index.asp在textarea里调出来，如： <textarea name="body"></textarea>，将这个textarea包...

ASP生成静态文件编码为UTF-8格式的HTML文件

一般我们在ASP环境下，运行动生静操作时都用到的是FSO,他是专门对文件进行操作的一个组件，他FSO的编码属性只有三种，系统默认，Unicode，ASCII，并没有我们要的utf-8,所以一般中文系统上使用FSO组件生成的文件都是gb2312格式的了，即便您在网页内写上charset="utf-8"也是没用的要生成utf-8格式的文件，ASP环境下我们用 ADODB.Stream代替FSO读写utf-8文件，因为，ADODB.Stream,有一个CharSet 属性，可以让您定义要打开或要写入的文...

ASP生成静态htm页面基本代码

以下虚线框内为mk.asp文件的具体代码：--------------------------------------------------------------------------------<%filename="test.htm"if request("body")<>"" thenset fso = Server.CreateObject("Scripting.FileSystemObject")set fout = fso.CreateTextFile(server.mappath(""&filename&""))fout.write "标题(title):" & request.form("title") & "<br>"fout.write "内容(body):" & request.form("body")fout.closes...

ASP - 技术教程分类

ASP 教程 ASP 简介 ASP 安装 ASP 语法 ASP 变量 ASP 程序 ASP 表单 ASP Cookies ASP Session ASP Application ASP #include ASP Global.asa ASP 发送电子邮件 ASP Response ASP Request ASP Application ASP Session ASP Server ASP Error ASP FileSystem ASP Drive ASP File ASP Folder ASP Dictionary ASP ADO ASP Content Rotator AJAX 简介 AJAX ASP AJAX 数据库 ASP 快速参考 ASP 总结 ASP 实例 asp 全部

ASP - 最热教程

查看ASP详细错误提示信息的图文设置方法 asp实现本周的一周时间列表的代码 asp取得数组中的最大值的方法 ASP实现URL编码 asp中把数据导出为excel的2种方法 ASP模拟POST请求异步提交数据的方法 asp 获取access系统表，查询等操作代码 asp实现二进制字符串转换为Unicode字符...asp php jsp的区别有哪些 ASP常用源代码的总结（下）