首页 / ASP.NET / 分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)

分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7156字，纯文字阅读大概需要11分钟。

内容图文

分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)

代码如下:
<?php
/**
* HOST: www.icbase.com
*/
//set_time_limit(0);
// base function
function curl_get($url, $data = array(), $header = array(), $timeout = 15, $port = 80, $reffer = '', $proxy = '')
{
$ch = curl_init();
if (!empty($data)) {
$data = is_array($data)?http_build_query($data): $data;
$url .= (strpos($url,'?')? '&': "?") . $data;
}
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_PORT, $port);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //是否抓取跳转后的页面
$reffer && curl_setopt($ch, CURLOPT_REFERER, $reffer);
if($proxy) {
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYPORT, 1723);
curl_setopt($ch, CURLOPT_PROXYUSERPWD,"andhm001:andhm123");
}

$result = array();
$result['result'] = curl_exec($ch);
if (0 != curl_errno($ch)) {
$result['error'] = "Error:\n" . curl_error($ch);

}
curl_close($ch);
return $result;
}

代码如下:
function curl_post($url, $data = array(), $header = array(), $timeout = 5, $port = 80)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//curl_setopt($ch, CURLOPT_PORT, $port);
!empty ($header) && curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

$result = array();
$result['result'] = curl_exec($ch);
if (0 != curl_errno($ch)) {
$result['error'] = "Error:\n" . curl_error($ch);

}
curl_close($ch);

return $result;
}

/**
* 获取列表页的html源码
* @param string $keywords 搜索关键字
* @param int $page 页数
* @return boolean|array
*/
function getListHtml($keywords, $page=1)
{
if ($page < 0)
{
return false;
}
$page = $page == 0 ? 1 : intval($page);
if ($page == 1)
{
$result = curl_get('http://www.icbase.com/ProResult.aspx', array('ProKey' => $keywords));
if ( isset($result['error']) )
{
return false;
//exit($result['error']);
}
$result = $result['result'];

// asp.net post提交数据
if(! defined('__VIEWSTATE') && preg_match('/<input\s+type="hidden"\s+name="__VIEWSTATE"\s+id="__VIEWSTATE"\s+value="(.[^"]+)"/isU', $result, $matches))
{
define('__VIEWSTATE', $matches[1]);
} else {
return false;
}

if(! defined('__PREVIOUSPAGE') && preg_match('/<input\s+type="hidden"\s+name="__PREVIOUSPAGE"\s+id="__PREVIOUSPAGE"\s+value="(.[^"]+)"/isU', $result, $matches))
{
define('__PREVIOUSPAGE', $matches[1]);
} else {
return false;
}

if(! defined('__EVENTVALIDATION') && preg_match('/<input\s+type="hidden"\s+name="__EVENTVALIDATION"\s+id="__EVENTVALIDATION"\s+value="(.[^"]+)"/isU', $result, $matches))
{
define('__EVENTVALIDATION', $matches[1]);
} else {
return false;
}

return $result;
}
$data = array(
'__EVENTTARGET' => 'pager',
'__EVENTARGUMENT' => $page,
'__VIEWSTATE' => __VIEWSTATE,
'__PREVIOUSPAGE' => __PREVIOUSPAGE,
'__EVENTVALIDATION' => __EVENTVALIDATION,
);
$result = curl_post('http://www.icbase.com/ProResult.aspx?ProKey=' . $keywords, $data);
if ( isset($result['error']) )
{
return false;
//exit($result['error']);
}
$result = $result['result'];
return $result;
}

/**
* 获取列表页 a链接的url
* @param string $html html源码
* @return array
*/
function getListHref($html)
{
$pattern = '/<a\s+href=\'(.[^\']+)\'\s+target="_blank"\s*>[\s\n]*<img.+[^>]\/>/isU';
if (preg_match_all($pattern, $html, $matches))
{
return $matches[1];
} else {
// 没有匹配项
return array();
}
}

/**
* 获取下一页数字
* @param string $html html源码
* @return number
*/
function getListNextPage($html)
{
$pattern = '/<div\s+id="Pager".+[^>]>.+<a\s+href="javascript\:__doPostBack$\'Pager\',\'(\d+)\'$">><\/a>/isU';
if (preg_match($pattern, $html, $matches))
{
return intval($matches[1]);
} else {
return -1;
}
}

/**
* 获取列表也所有的href
* @param string $keywords 搜索关键字
* @return boolean|array
*/
function getListHrefAll($keywords)
{
if (empty($keywords))
{
return false;
}

$html = getListHtml($keywords);
$hrefList = getListHref($html);
if (empty($hrefList))
{
// 没有结果
return array();
}
$nextPage = getListNextPage($html);
while ($nextPage > 0)
{
$html = getListHtml($keywords, $nextPage);
$tmpHrefList = getListHref($html);
$hrefList = array_merge($hrefList, $tmpHrefList);
$nextPage = getListNextPage($html);
}
return $hrefList;
}

/**
* 获取详情页信息
* @param string $url url地址或者是抓取到的html源代码根据@see $is_url 区分
* @param int $is_url 1使用的是url地址 0直接处理html源代码
* @return boolean|multitype:|multitype:string
*/
function getDetail($url, $is_url = 1)
{
if ( empty($url) )
{
return false;
}
$host = 'www.icbase.com';
$html = $url;
if ($is_url) {
$url = '/' . ltrim($url, '/');
$result = curl_get($host . $url);
if ( isset($result['error']) )
{
exit($result['error']);
}
$html = $result['result'];
}

$result = array(
'sup_part' => '', // 供应商型号
'sup_id' => '', // 供应商ID
'mfg_part' => '', // 制造商型号
'mfg_name' => '', // 制造商名称
'cat_name' => '', // 分类名称
'para' => '', // 属性
'desc' => '', // 描述
'pdf_url' => '', // PDF地址
'sup_stock' => '', // 库存
'min_purch' => '', // 最小订购量
'price' => '', // 价格
'img_url' => '', // 图片地址
'createtime' => '', // 创建时间
'datacode' => '', // 批号
'package' => '', // 封装
'page_url' => '', // 页面地址
);

// mfg_part
$pattern = '/<td>产品型号<\/td><td>(.[^<]+)</isU';
if (preg_match($pattern, $html, $matches))
{
$result['mfg_part'] = trim($matches[1]);
} else {
// 此项木有，说明也没处处了
return array();
}

// mfg_name
$pattern = '/<td>厂商<\/td>[\s\n]*<td>(.+)<\/td>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['mfg_name'] = trim($matches[1]);
}

// para
$pattern = '/<tr\s+style="background-color:#E9E9E9;color:black; font-weight:bold;">(.+)<\/tr><\/table>/isU';
if (preg_match($pattern, $html, $matches))
{
if (preg_match_all('/<td>(.+)<\/td>/isU', $matches[1], $matches))
{
$count = count($matches[1]);
$count = intval($count / 2 );
foreach ($matches[1] as $k=>$v)
{
if ($k >= $count)
{
break;
}
if (trim($v) == '描述')
{
// desc
$result['desc'] = trim($matches[1][$count + $k]);
continue;
}
$v = trim($v);
$result['para'][$v] = trim($matches[1][$count + $k]);
}
}
}

// pdf_url
$pattern = '/<td>详细资料<\/td><td><a\s+href="(.[^"]+)"/isU';
if (preg_match($pattern, $html, $matches))
{
$result['pdf_url'] = trim($matches[1]);
}

// sup_stock
$pattern = '/<td>库存数量<\/td>[\s\n]*<td>(\d+)<\/td>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['sup_stock'] = trim($matches[1]);
}

// price
$pattern = '/<tr><td.[^>]+>(\d+)\+<\/td><td.[^>]+>.[^\d]*([\d.]+)<\/td><\/tr>/isU';
if (preg_match_all($pattern, $html, $matches))
{
foreach ($matches[1] as $k=>$v)
{
$result['price'][$v] = '￥' . $matches[2][$k];
}
}

//img_url
$pattern = '/<td>图片<\/td><td><img\s+src="(.[^"]+)"/isU';
if (preg_match($pattern, $html, $matches))
{
$result['img_url'] = trim($matches[1]);
}

// page_url
if ($is_url)
{
$result['page_url'] = $host . $url;
}

return $result;
}

/**
* 最终调用函数
* @param string $keywords 搜索关键字
* @return array
*/
function getData($keywords)
{
$hrefList = getListHrefAll($keywords);
$result = array();

foreach ($hrefList as $k=>$v)
{
$result[] = getDetail($v);
}

return $result;
}

// Test Script
$keywords = trim($_GET['keywords']);
$result = getData($keywords);

print_r($result);

内容总结

以上是互联网集市为您收集整理的分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)全部内容，希望文章能够帮你解决分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/281327.html

来源：【匿名】

【上一篇】asp.net 组合模式的一个例子【下一篇】asp.net伪静态关于页面优化和伪静态

更多 ►

【分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)】教程文章相关的互联网学习教程文章

asp.net mvc 如何在View中获取Url参数的值

如果url是 /home/index?id=3 直接Request就ok。但是如果路由设定为：{controller}/{action}/{id} url是 /home/index/3 这时想在页面View中获取参数id的值，该怎么获取？查了下资料好多人都利用Action获取到参数值后，用Viewdata传到View中例如Controlers中的phonelist这样定义 public ActionResult phonelist(int id) { ViewData["id"] = id; return View(); } 其实，没有必要，只要在view中这样获取就可以：<%=...

asp.net mvc 之获取地址栏参数

方法有两种test1的view页面@html.actionlink("参数传递","test2/1","html")1在test2 的controller中获取public ActionResult test2(int id) { ViewData["id"] = id; return View(); }2在test2的view 中获取@html.viewcontext.routedata.values["id"] 原文：http://www.cnblogs.com/dh2014/p/4821125.html

asp.net 页面之间传递参数的几种方法

第一种方法：通过URL链接地址传递 send.aspx: 复制代码代码如下:protected void Button1_Click(object sender, EventArgs e) { Request.Redirect("Default2.aspx?username=honge"); } receive.aspx: 复制代码代码如下:string username = Request.QueryString["username"];这样可以得到参数值。第二种方法：send.aspx 复制代码代码如下:<form id="form1" runat="server" action="receive.aspx" method=post> <div> <asp:Button ...

Asp.Net中的获取Web.config中设置的参数！（前后台的代码示例）

一、Web.config中设置代码 <appSettings> <add key="deleted" value="1"/> </appSettings> 二、在App_Code中建立sys.cs // 注意：需要添加相应的引用命名空间using public class sys{ public static int deleted = int.Parse(ConfigurationManager.AppSettings["deleted"]);} 三、cs文件中调用 if (aaa== systemparam.deleted) { ....... }原文：http://www.cnblogs.com/taofx/...

asp.net MVC4在Action间跳转 RedirectToAction 传值参数问题【代码】

return RedirectToAction("Test", new { cw = cw, firstdirectoryid = firstdirectoryid });上式中cw是一个对象，按上式传递参数后，在Test中收不到对象cw,但firstdirectoryid可以接收到。　　RedirectToAction函数允许传递一系列的objects，但在实践中发现，这些所谓的objects，并不是真正的objects，调用者若传递出object reference，接收者得到的都是null。其实，RedirectToAction转移使用的是HTTP协议，只有值变量才能被传递。...

ASP.NET jquery ajax传递参数

第一种：GET传递前台 ajax GET 传递：即在请求的地址后面加上参数，URL地址长度有显示，安全性低后台接收：Request.QueryString[“参数名字”]！例如：function LoadBar(id) { var project = id; var month = $("#txtMonth").val(); $.ajax({ type: "GET", async: false, url: ‘GetProjectScore.aspx?project=‘ + project + ‘&month=‘ + month, data...

ASP.NET MVC基于标注特性的Model验证：将ValidationAttribute应用到参数上【代码】【图】

原文:ASP.NET MVC基于标注特性的Model验证：将ValidationAttribute应用到参数上ASP.NET MVC默认采用基于标准特性的Model验证机制，但是只有应用在Model类型及其属性上的ValidationAttribute才有效。如果我们能够将ValidationAttribute特性直接应用到参数上，我们不但可以实现简单类型（比如int、double等）数据的Model验证，还能够实现“一个Model类型，多种验证规则”，本篇文章将为你提供相关的解决方案（源代码从这里下载）。[本...

asp.net中函数返回参数和调用的实例！（超简单示例）

asp.net中函数返回参数和调用的实例！一、接收 read.aspx.cs调用 string cpuInfo = Read.Pro();二、返回函数，建立一个：read.csusing System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Management; using System.Management.Instrumentation;/// <summary> /// read 的摘要说明 /// </summary> /// public class Read {public Read() { }public static string Pro(){return "ok!...

ASP.NET MVC5学习笔记之Action参数模型绑定值提供体系【代码】【图】

这一节我们关注模型绑定的值提供体系，先来介绍几个重要的接口一. IValueProvider，接口定义如下:1publicinterface IValueProvider 2 { 34bool ContainsPrefix(string prefix); 56 ValueProviderResult GetValue(string key); 7 }从上面可以看出，IValueProvider定义了两个方法，一个是检测是否包含指定的前缀，一个是通过指定的Key获取查询结果.这里前缀的概念主要是针对复杂类型的绑定，复杂类型包含属性，而属...

ASP.NET MVC传送参数至服务端【图】

ASP.NET MVC传送参数至服务端，前端与服务端的写法，你可以参考与采用适合你的需求的。当你只传递一两个参数也许觉得没有什么，如果一个方法中带的参数多的话，可以考虑model，前端可以考虑对象进行，这样与model的属性名称比对，好维护与少错误。下面所有演示均是在ASP.NET MVC环境中进行。在控制器中，创建两个Action，第二个Action是带四个参数的方法，正常开发环境中，你有几个参数，就得写上几个参数。在视图中，需要把用户填...

ASP.NET使用Jquery-Ajax向ashx传递参数中文出现乱码【代码】【图】

今天遇到个问题，IE11下Jquery-Ajax向ashx传递参数中文出现乱码,但在谷歌、火狐、360等浏览器中没有乱码的问题，百度了好久最后发现使用escape()对参数值进行处理就可以了；参考代码： 1function SetGoodsName() {2 3 $("input[id$=‘GoodsName‘]").val(val);4 5 $.ajax({6 7 type: "get",8 9 url: "../ashx/GetConfigCategory.ashx?GoodsName=" + escape(val) , 1011 ...

ASP.NET Core API 接收参数去掉烦人的 [FromBody]【代码】【图】

原文:ASP.NET Core API 接收参数去掉烦人的 [FromBody] 在测试ASP.NET Core API 项目的时候,发现后台接口参数为类型对象，对于PostMan和Ajax的Post方法传Json数据都获取不到相应的值,后来在类型参数前面加了一个[FromBody]属性才获取到。但是我看微软官方文档演示代码中并没有添加[FromBody]，难道是微软官方文档写错了，按道理应该不会。Google里看到一片篇文章里的一个细节，又追回微软官方文档发现可行，于是记下去掉这个烦人的...

ASP.NET 页面之间传递参数方法

1、通过URL链接地址传递 (1) send.aspx代码 protected void Button1_Click(object sender, EventArgs e) { Request.Redirect("Default2.aspx?username=honge"); } (2) receive.aspx代码 string username = Request.QueryString["username"];//这样可以得到参数值。 2、POST方式传递 (1) send.aspx代码 <form id="form1" runat="server" action="receive.aspx" method=post> <div> <asp:Button ID="Button1" runat="server" OnClick...

jQuery调用WebService返回JSON数据及参数设置注意问题【图】

.NET Framework 3.5的发布解决了WebService调用中json问题，本文将介绍jQuery调用基于.NET Framework 3.5的WebService返回JSON数据，另外还要介绍一下用jQuery调用WebService的参数设置及设置不当所出现的问题，还有出现问题的原因 jQuery调用WebService网上的介绍也比较多，最近的项目中我也用到不少，一直都很少用.NET Ajax，比较钟情于jQuery调用请求WebService有几种方法，这主要说一下POST与GET方法，其实安全方法考虑不建议...

asp.net Silverlight应用程序中获取载体aspx页面参数

1. 使用InitParameters属性，动态设置传递参数。 2. 在SL工程中使用HtmlPage类来直接获取页面参数。下面是利用HtmlPage类来获取参数的代码：代码如下:void Page_Loaded(object sender, RoutedEventArgs e){ IDictionary<String, String> paras = HtmlPage.Document.QueryString; this.lblUserName.Text = paras["username"]; this.lblEmail.Text = paras["email"];}

首页 / ASP.NET / 分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)

分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)

内容导读

内容图文

内容总结

内容备注

内容手机端

【分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)】教程文章相关的互联网学习教程文章

参数 - 相关标签

ASP.NET - 技术教程分类

ASP.NET - 最新教程

ASP.NET - 最热教程