Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2413字，纯文字阅读大概需要4分钟。

内容图文

Asp 使用 Microsoft.XMLHTTP 抓取网页内容(没用乱码)，并过滤需要的内容

示例源码：
代码如下:

<% 
Dim xmlUrl,http,strHTML,strBody 
xmlUrl = Request.QueryString("u") 

REM 异步读取XML源 
Set http = server.CreateObject("Microsoft.XMLHTTP") 
http.Open "POST",xmlUrl,false 
http.setrequestheader "User-Agent", "Mozilla/4.0" 
http.setrequestheader "Connection", "Keep-Alive" 
http.setRequestHeader "Content-Type", "application/x-www-form-urlencoded" 
http.Send() 

strHTML = BytesToBstr(http.ResponseBody) 
set http = nothing 

REM 抓取主要内容 
strBody = GetBody(strHTML,"<div id=""Div_newsContentc"" class=""cnt"">","</div>",0,0) 
strBody =Replace(strBody,"（本文首发于","") 
strBody =Replace(strBody,"财富动力网</a>，转载请注明出处。）","") 
strBody =Replace(strBody,"本文首发于，转载请注明出处。）","") 
strBody =Replace(strBody,"财富动力网</a>:http://www.gxlsystem.com","") 
strBody =Replace(strBody,"本文首发于","") 

Response.Write RegRemoveHref(strBody) 

REM 获取对应网址响应的HTML 
Function BytesToBstr(body) 
dim objstream 
set objstream = Server.CreateObject("adodb.stream") 
objstream.Type = 1 
objstream.Mode =3 
objstream.Open 
objstream.Write body 
objstream.Position = 0 
objstream.Type = 2 
objstream.Charset = "UTF-8" 

'转换原来默认的UTF-8编码转换成GB2312编码，否则直接用 
'XMLHTTP调用有中文字符的网页得到的将是乱码 
BytesToBstr = objstream.ReadText 
objstream.Close 
set objstream = nothing 
End Function 


REM 使用正则表达式，抓取之内标记的内容 
Function GetBody(ConStr,StartStr,OverStr,IncluL,IncluR) 
If ConStr="$False$" or ConStr="" or IsNull(ConStr)=True Or StartStr="" or IsNull(StartStr)=True Or OverStr="" or IsNull(OverStr)=True Then 
GetBody="$False$" 
Exit Function 
End If 
Dim ConStrTemp 
Dim Start,Over 
ConStrTemp=Lcase(ConStr) 
StartStr=Lcase(StartStr) 
OverStr=Lcase(OverStr) 
Start = InStrB(1, ConStrTemp, StartStr, vbBinaryCompare) 
If Start<=0 then 
GetBody="$False$" 
Exit Function 
Else 
If IncluL=False Then 
Start=Start+LenB(StartStr) 
End If 
End If 
Over=InStrB(Start,ConStrTemp,OverStr,vbBinaryCompare) 
If Over<=0 Or Over<=Start then 
GetBody="$False$" 
Exit Function 
Else 
If IncluR=True Then 
Over=Over+LenB(OverStr) 
End If 
End If 
GetBody=MidB(ConStr,Start,Over-Start) 
End Function 

REM 过滤a超链接 
Function RegRemoveHref(HTMLstr) 
Set ra = New RegExp 
ra.IgnoreCase = True 
ra.Global = True 
ra.Pattern = "<a[^>]+>(.+?)<\/a>" 

RegRemoveHref = Replace(ra.replace(HTMLstr,"$1"),"href=""http://www.gxlsystem.com""","") 
END Function 
%> 
 
效果图如下：  
 
            
            


           
                
                                                

内容总结

以上是互联网集市为您收集整理的Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的全部内容，希望文章能够帮你解决Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---