以下部分源于 安全家 http://www.anquanjia.net.cn/newsinfo/729480.html 资源虽多，优质却少。不要被信息海迷惑的心智，新人要想入门，除了优质的系统教学资源，别无他法。请从以下所有信息海，找到知识的来源，找教学。不好意思，新人必须做一个伸手党：你不伸手要来源，去搜文章看的话，思维是无法汇聚的，文章也看得云里雾里。作为专家，也请多把自己的学习经历，接触了什么优质教学资源分享出来。不要掌握了，就随便写写文章，...
简单采集类1.0测试版------------------------------Cls_Ajax.asp 负责采集网页Cls_Filter.asp 负责过滤数据Cls_Thief.asp 前2个类的整合，并负责数据处理和缓存演示和使用已在index.asp给出这里的抓取多已百度为主，原因是页面简洁，容易写正则其实很多地方，抓rss效果和效率会更好，本人只是在上次看到一个ajax留言本后，用此练习下，类的功能很简单，仅用于练习正则写的不好，望高手指点演示地址：http://home.goofar.com/robin...
代码如下:<% '================================================== '过程名：Admin_ShowChannel_Name '作 用：显示频道名称 '参 数：ChannelID ------频道ID '================================================== Sub Admin_ShowChannel_Name(ChannelID) Dim Sqlc,Rsc,TempStr ChannelID=Clng(ChannelID) Sqlc ="select top 1 ChannelName from Cl_Channel Where ChannelID=" & ChannelID Set Rsc=server.Creat...
利用MSXML2.XmlHttp和Adodb.Stream 代码如下:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.gxlsystem.com/logos.gif",Server.MapPath("google.gif")) %> </body> </html>
phpcurl 正在用php的curl抓取页面信息时，遭遇asp的__VIEWSTATE和__EVENTVALIDATION有搜到博客提供的方法，但有一个关键问题（也可能是白痴的问题)：action是空的， CURLOPT_URL 怎么写？ 写表单所在页面不行，空的不行，有个博客这样写http://???/default.aspx，也不行，真心求解
我写的是这样: Function ClearHTMLCode(originCode) Dim reg set reg = new RegExp reg.IgnoreCase = True reg.Global = True reg.Pattern = "(<s+cript(.+?)<\/s+cript>)" originCode= reg.Replace(originCode, "") reg.Pattern = "(<s+tyle(.+?)<\/s+tyle>)" originCode= reg.Replace(originCode, "") reg.Pattern = "<[^>]*>" originCode= reg.Replace(originCode, "") ClearHTMLCode = originCode End Function 不过有一些过滤...
先说一下采集原理： 采集程序的主要步骤如下： 一、获取被采集的页面的内容 二、从获取代码中提取所有用的数据 一、获取被采集的页面的内容 我目前所掌握的ASP常用获取被采集的页面的内容方法： 1、用serverXMLHTTP组件获取数据 代码如下:Function GetBody(weburl) 创建对象 Dim ObjXMLHTTP Set ObjXMLHTTP=Server.CreateObject("MSXML2.serverXMLHTTP") 请求文件,以异步形式 ObjXMLHTTP.Open "GET",weburl,False ObjXMLHTTP.send...
其主要的优点便是无需再手工添加大量的信息了，可以指定对某一个站信息的截取进行批量录入，达到省时省力的目的。与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站。 参考代码： 代码如下:<% 声明取得目标信息的函数,通过XML组件进行实现。 Function Geturl(/blog/url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With Retrieval .Open "GET", url, False .Send GetURL = bytes2bstr(.responsebody) 对取得信息进...
代码如下:<title>雷锋|优酷-专辑 采集程序</title></head> <form name="form1" method="post" action="?action=add"> <table width="95%" border="0" align="center" cellpadding="0" cellspacing="1" class="tableBorder"> <tr><th colspan="2" align="center" class="tableHeaderText"><<<< <font color=red>雷锋|优酷-专辑 采集程序</font> >>>></td></tr> <tr><td align="center"><a href="http://www.gxlsystem.com/playlist/...
昨天在网上看到一个防采集软件，说采集只访问当前网页，不会访问网页的图片、JS等，今天突然想到，通过动态程序和Js访问分别记录访问者的IP，然后进行IP判断，由于采集过程不会访问JS，采集的时候只会查到用动态程序记录的IP，而不会有通过JS记录的IP，从而实现网页程序的防采集。 防采集的原理非常简单，首先放一段动态语句，把访问者的IP加入到数据库的一个表里，然后在页面底部加入一个JS，JS直接访问动态页面，将访问者的IP加入...
原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页。比如新闻采集程序，很多都是调用了sina的新闻网页，并且对其中的html进行了一些替换，同时对广告也进行了过滤。用采集程序的优点有：无须维护网站，因为采集程序中的数据来自其他网站，它将随着该网站的更新而更新；可以节省服务器资源，一般采集程序就几个文件，所有网页内容都是来自其他网站。缺点有：不稳定，如果目标网站出错，程序也会出错，而且，如果目...
代码如下:<% Dim AppealNum,AppealCount AppealNum=10 '同一IP60秒内请求限制10次 AppealCount=Request.Cookies("AppealCount") If AppealCount="" Then Response.Cookies("AppealCount")=1 AppealCount=1 Response.Cookies("AppealCount").Expires=DateAdd("s",60,Now()) Else Response.Cookies("AppealCount")=AppealCount+1 Response.Cookies("AppealCount").Expires=DateAdd("s",60,Now()) End If If Int(AppealCount)>Int(App...
用采集程序的优点有：无须维护网站，因为采集程序中的数据来自其他网站，它将随着该网站的更新而更新；可以节省服务器资源，一般采集程序就几个文件，所有网页内容都是来自其他网站。缺点有：不稳定，如果目标网站出错，程序也会出错，而且，如果目标网站进行升级维护，那么采集程序也要进行相应修改；速度，因为是远程调用，速度和在本地服务器上读取数据比起来，肯定要慢一些。一、事例 下面就XMLHTTP在ASP中的应用做个简单说明 ...
相同点： a. 两者都需要直接抓取到网页源码才能有效工作， b. 两者单位时间内会多次大量抓取被访问的网站内容; c. 宏观上来讲两者IP都会变动; d. 两者多没耐心的去破解你对网页的一些加密(验证)，比如网页内容通过js文件加密，比如需要输入验证码才能浏览内容，比如需要登录才能访问内容等。 不同点： 搜索引擎爬虫先忽略整个网页源码脚本和样式以及html标签代码，然后对剩下的文字部分进行切词语法句法分析等一系列的复杂处...
代码如下:'================================================== '函数名：GetHttpPage '作 用：获取网页源码 '参 数：HttpUrl ------网页地址 '================================================== Function GetHttpPage(HttpUrl) If IsNull(HttpUrl)=True Or Len(HttpUrl)<18 Or HttpUrl="$False$" Then GetHttpPage="$False$" Exit Function End If Dim Http Set Http=server.createobject("MSX" & "ML2.XM" & "LHT" & "TP") H...
第一采用防刷新机制,譬如浏览刷新时间间隔3秒,但采集时如果采用间隔3秒再采集,那有没有办法,但我们可以使用随机变量来让它采集不成功!