首页 / PHP / 分享下页面关键字抓取components.arrow.com站点代码

分享下页面关键字抓取components.arrow.com站点代码

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了分享下页面关键字抓取components.arrow.com站点代码，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7005字，纯文字阅读大概需要11分钟。

内容图文

代码如下:
<?php
/**
* HOST: components.arrow.com
*/
//set_time_limit(0);
// base function
function curl_get($url, $data = array(), $header = array(), $timeout = 15, $port = 80, $reffer = '', $proxy = '')
{
$ch = curl_init();
if (!empty($data)) {
$data = is_array($data)?http_build_query($data): $data;
$url .= (strpos($url,'?')? '&': "?") . $data;
}
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_PORT, $port);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //是否抓取跳转后的页面
$reffer && curl_setopt($ch, CURLOPT_REFERER, $reffer);
if($proxy) {
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYPORT, 1723);
curl_setopt($ch, CURLOPT_PROXYUSERPWD,"andhm001:andhm123");
}

$result = array();
$result['result'] = curl_exec($ch);
if (0 != curl_errno($ch)) {
$result['error'] = "Error:\n" . curl_error($ch);

}
curl_close($ch);
return $result;
}

代码如下:
function curl_post($url, $data = array(), $header = array(), $timeout = 15, $port = 80)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_PORT, $port);
!empty ($header) && curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

$result = array();
$result['result'] = curl_exec($ch);
if (0 != curl_errno($ch)) {
$result['error'] = "Error:\n" . curl_error($ch);

}
curl_close($ch);

return $result;
}

/**
* 获取列表页的html源码
* @param string $keywords 搜索关键字
* @param int $start 开始记录数
* @return boolean|array
*/
function getListHtml($keywords, $start = 0)
{
if ($start < 0)
{
return false;
}

$postData = array(
'search_token' => $keywords,
'start' => $start,
'limit' => 100,
);

$result = curl_post('http://components.arrow.com/part/search/' . $keywords, http_build_query($postData));
if ( isset($result['error']) )
{
return false;
//exit($result['error']);
}
$result = $result['result'];

return $result;
}

/**
* 获取列表页连接href
* @param string $html html源码
* @return array
*/
function getListHref($html)
{
$pattern = '/<td\s+class="col_mfr_part_num"><a\s+href="(.[^>]+)">/isU';
if (preg_match_all($pattern, $html, $matches))
{
return $matches[1];
} else {
// 没有匹配项
return array();
}
}

/**
* 获取下一页数字start
* @param string $html html源码
* @return number
*/
function getListNextPage($html)
{
$pattern = '/<script\s+language="javascript">buildPagination$\'\d+\',\'\d+\',\'(\d+)\',\d+$;<\/script>/isU';
if (preg_match($pattern, $html, $matches))
{
return intval($matches[1]);
} else {
return -1;
}
}

/**
* 获取列表也所有的详细列表
* @param string $keywords 搜索关键字
* @return boolean|array
*/
function getListHrefAll($keywords)
{
if (empty($keywords))
{
return false;
}

$html = getListHtml($keywords);
$hrefList = getListHref($html);
if (empty($hrefList))
{
// 没有结果
return array();
}
$nextPage = getListNextPage($html);
$loop =0;
while ($nextPage > 0)
{
$html = getListHtml($keywords, $nextPage);
$tmpHrefList = getListHref($html);
$hrefList = array_merge($hrefList, $tmpHrefList);
$nextPage = getListNextPage($html);
$loop ++;
}
return $hrefList;
}

/**
* 获取详情页信息
* @param string $url url地址
* @return array()
*/
function getDetail($url)
{
if ( empty($url) )
{
return false;
}
$host = 'http://components.arrow.com';

$url = $host . $url;
$result = curl_get($url);
if ( isset($result['error']) )
{
return array();
//exit($result['error']);
}
$html = $result['result'];

$result = array(
'sup_part' => '', // 供应商型
'sup_id' => '', // 供应商ID
'mfg_part' => '', // 制造商型号
'mfg_name' => '', // 制造商名称
'cat_name' => '', // 分类名称
'para' => '', // 属性
'desc' => '', // 描述
'pdf_url' => '', // PDF地址
'sup_stock' => '', // 库存
'min_purch' => '', // 最小订购量
'price' => '', // 价格
'img_url' => '', // 图片地址
'createtime' => '', // 创建时间
'datacode' => '', // 批号
'package' => '', // 封装
'page_url' => '', // 页面地址
);

// mfg_part
$pattern = '/<li>[\s\n]*<strong>Part No:\s*<\/strong>(.+)<\/li>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['mfg_part'] = trim($matches[1]);
} else {file_put_contents('page.txt', $html);die('xxx');
return array();
}

// mfg_name
$pattern = '/<li>[\s\n]*<strong>Manufacturer: <\/strong>(.+)<\/li>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['mfg_name'] = trim($matches[1]);
}

// cat_name
$pattern = '/displayCategory$\'(.[^\']+)\'$;/isU';
if (preg_match($pattern, $html, $matches))
{
$result['cat_name'] = trim($matches[1]);
$result['cat_name'] = str_replace('|', '>', $result['cat_name']);
}

// para
$tablepattern = '/<table\s+id="part_specs".[^>]*>(.+)<\/table>/isU';
if (preg_match($tablepattern, $html, $matches))
{
$pattern = '/<tr>[\s\n]*<td><strong>(.+)<\/strong><\/td><td>(.+)<\/td>[\s\n]*<\/tr>/isU';
if (preg_match_all($pattern, $matches[1], $matches))
{
foreach($matches[1] as $k=>$v)
{
$v = trim($v);
if ('Package Type' == $v)
{
$result['package'] = trim($matches[2][$k]);
continue;
}
$result['para'][$v] = trim($matches[2][$k]);
}
}
}

// desc
$pattern = '/<div\s+id="part_title">.+<h4>(.+)<\/h4>[\s\n]*<\/div>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['desc'] = trim($matches[1]);
}

// pdf_url
$pattern = '/<li\s+class="datasheet">[\s\n]*<strong>Datasheet:<\/strong><a\s+href="(.[^"]+)"/isU';
if (preg_match($pattern, $html, $matches))
{
$result['pdf_url'] = $host . trim($matches[1]);
}

// sup_stock
$pattern = '/<td\s+id="inv_1"\s+class="li_inv">([\d,]+)<\/td>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['sup_stock'] = trim($matches[1]);
$result['sup_stock'] = str_replace(',', '', $result['sup_stock']);
}

// min_purch
$pattern = '/<span\s+id="multiples">[\s\n]*<strong>Multiple:\s*<\/strong>(.+)<\/span>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['min_purch'] = trim($matches[1]);
}

// price
$pattern = '/<div\s+id="price_1"\s+class="li_price">(.[^<]+)<\/div>/isU';
if (preg_match($pattern, $html, $matches))
{
$result['price'][1] = trim($matches[1]);
}
$pattern = '/<div\s+id="price_1"\s+class="li_price">[\s\n]*<span.[^>]+title="(.[^"]+)">/isU';
if (preg_match($pattern, $html, $matches))
{
$priceurl = str_replace('&', '&', $matches[1]);
$json = curl_get($priceurl);
$json = $json['result'];
if (! empty($json))
{
$jsonresult = json_decode($json, true);
foreach ($jsonresult['parts'][0]['webprice']['resale'] as $k=>$v)
{
$result['price'][$v['minqty']] = $v['price'];
}
}
}

// img_url
$pattern = '/<div\s+id="part_image">[\s\n]*<img\s+src="(.[^"]+)"/isU';
if (preg_match($pattern, $html, $matches))
{
$result['img_url'] = trim($matches[1]);
}

// page_url
$result['page_url'] = $url;

return $result;
}

/**
* 最终调用函数
* @param string $keywords 搜索关键字
* @return array
*/
function getData($keywords)
{
$hrefList = getListHrefAll($keywords);
$result = array();

foreach ($hrefList as $k=>$v)
{
$result[] = getDetail($v);
}

return $result;
}

// Test Script
$keywords = trim($_GET['keywords']);
$result = getData($keywords);

print_r($result);

内容总结

以上是互联网集市为您收集整理的分享下页面关键字抓取components.arrow.com站点代码全部内容，希望文章能够帮你解决分享下页面关键字抓取components.arrow.com站点代码所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/281325.html

来源：【匿名】

【上一篇】php实现图片添加水印功能【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【分享下页面关键字抓取components.arrow.com站点代码】教程文章相关的互联网学习教程文章

phpunit 单元测试之代码覆盖率【代码】【图】

最近团队在不断完善项目中的单元测试用例，会用到代码覆盖率分析，本来以为 homestead 应该默认安装了 xdebug ，所以使用 phpunit --coverage-html ./tests/codeCoverage 来生成 html 报告，但是执行后提示如下错误Error: No code coverage driver is available这是因为没有安装或启用 xdebug 导致。个人环境：PHP 7.2.0-1+ubuntu16.04.1 + Homesteadinstall xdebug$ wget https://xdebug.org/files/xdebug-2.6.0.tgz $ ta...

PHP JS HTML ASP页面跳转代码延时跳转代码【代码】

1.PHP延时跳转代码 //跳转到浏览界面 header("Refresh:1;url=machine_list.php"); //不延时 <?php header("location: http://www.baidu.com"); ?>2.JavaScript 跳转 <script language="javascript">window.location= "http://www.baidu.com"; </script><script language="javascript">document.location = "http://www.baidu.com"; </script>3.（带进度条） <html> <head> <meta http-equiv="Content-Language" content="zh-cn"> <...

phpcms前台任意代码执行漏洞(php<5.3)【代码】

phpcms v9 中 string2array()函数使用了eval函数,在多个地方可能造成代码执行漏洞 /phpsso_server/phpcms/libs/functions/global.func.php/** * 将字符串转换为数组 * * @param string $data 字符串 * @return array 返回数组格式，如果，data为空，则返回空数组 */function string2array($data) { if($data == ‘‘‘‘) returnarray(); eval("\$array = $data;"); return$array; } 在文件/phpcms/modules/vote/in...

PHP中读写文件实现代码

在PHP中读写文件，可以用到一下内置函数： 1.fopen（创建文件和打开文件）语法：复制代码代码如下:fopen(filename,mode) filename，规定要打开的文件。mode，打开文件的模式，可能的值见下表。 mode 说明 "r" 只读方式打开，将文件指针指向文件开头。 "r+" 读写方式打开，将文件指针指向文件开头。 "w" 写入方式打开，将文件指针指向文件开头并将文件大小截为零。如果文件不存在则尝试创建。 "w+" 读写方式打开，将文件指针指向...

php代码审计工具CodeXploiter

下载地址原文：http://0daysec.blog.51cto.com/9327043/1571559

PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT【代码】【图】

PHP屏蔽蜘蛛访问代码代码：常用搜索引擎名与 HTTP_USER_AGENT对应值百度baiduspider谷歌googlebot搜狗sogou腾讯SOSOsosospider雅虎slurp有道youdaobotBingbingbotMSNmsnbotAlexais_archiver function is_crawler() { $userAgent = strtolower($_SERVER[‘HTTP_USER_AGENT‘]); $spiders = array( ‘Googlebot‘, // Google 爬虫 ‘Baiduspider‘, // 百度爬虫 ‘Yahoo! Slurp‘, // 雅虎爬虫 ‘YodaoBot‘, // 有道爬虫 ‘msnbot‘...

php代码整洁之道【代码】

介绍 Robert C.Martin‘s 的软件工程师准则 Clean Code 同样适用于 PHP。它并不是一个编码风格指南，它指导我们用 PHP 写出具有可读性，可复用性且可分解的代码。并非所有的准则都必须严格遵守，甚至一些已经成为普遍的约定。这仅仅作为指导方针，其中许多都是 Clean Code 作者们多年来的经验。灵感来自于 clean-code-javascript 尽管许多开发者依旧使用 PHP 5 版本，但是这篇文章中绝大多数例子都是只能在 PHP 7.1 + 版本下运行。...

Dreamweaver PHP代码护眼配色方案【图】

php实现处理输入转义字符的代码【代码】

先来个函数，是最近WordPress 3.6中刚刚引入的/*** Add slashes to a string or array of strings.** This should be used when preparing data for core API that expects slashed data.* This should not be used to escape data going directly into an SQL query.** @since 3.6.0** @param string|array $value String or array of strings to slash.* @return string|array Slashed $value*/ function wp_slash( $value ) {if...

eval(phpcode) 字符当代码执行

eval(phpcode)eval() 函数把字符串按照 PHP 代码来计算。相当于在字符串两边分别加上PHP语法标签该字符串必须是合法的 PHP 代码，且必须以分号结尾。如果没有在代码字符串中调用 return 语句，则返回 NULL。如果代码中存在解析错误，则 eval() 函数返回 false。<?php$string = "beautiful";$time = "winter";$str = ‘This is a $string $time morning!‘;echo $str. "<br />"; // This is a $string $time morning!eval("\$str = ...

Php连接及读取和写入mysql数据库的常用代码【代码】

既然现在你看到了这篇文章，说明你肯定知道PHP和MySQL是怎么一回事，我就不啰嗦了。但为什么你还要继续阅读此文呢？可能是以前你习惯复制粘贴一些代码，并没有真正弄懂代码的含义；也可能你以前弄懂了，但像我一样，有一段时间没有接触，生疏了；再或者，有人问你类似的简单问题，而你已经不屑于回答，直接上网搜索，恰好找到了这篇，于是就推荐给那谁谁谁了...不管怎样，在这里我总结了常用的PHP连接MySQL数据库以及读取写入数据库...

php课程---文件操作及文件上传的代码总结【代码】

php里面文件包含目录和文件两种<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>无标题文档</title> </head><body> <?php//获取文件类型filetype("./1.jpg"); //文件：filefiletype("./code"); //目录：d...

PHP7 windows增加自定义扩展和编译PHP源代码【图】

PHP7 windows增加自定义扩展和编译PHP源代码需要用到的材料推荐教程：php7教程①确定需要编译的版本,查看PHPINFO，确定PHP版本,VC版本和PHP位数。根据PHP VC版本下载对应的Visual Studio或者编译器,图下博主的版本是VC15 需要下载Visual Studio 2017版本②准备PHP源代码根据自己需要扩展的版本下载对应的WINDOWS源码下载地址(https://windows.php.net/download/)③下载PHP-sdk包(点击下载)(https://github.com/microsoft/php-sdk-...

合并ThinkPHP配置文件以消除代码冗余的实现方法【代码】

很多时候我们在使用ThinkPHP配置网站前台和网站后台的数据库连接时，往往都是分别在前台的配置文件和后台的配置文件单独都写了配置的。但是有很多时候配置前台和后台的数据库可能是一样的配置，但是在二个文件中用的都是一样的配置，那么这时代码就产生了冗余。网站前台好使用数据库，比方说用户的注册、用户的登录还有评论等，这些都需要我们在前台使用到数据库，既然使用了数据库那么就得连接数据库！网站后台那就更不用讲了，使...

php 无限分类的树类代码

复制代码代码如下:<?php /** by lenush; */ class Tree { var $data = array(); var $child = array(-1=>array()); var $layer = array(-1=>-1); var $parent = array(); function Tree ($value) { $this->setNode(0, -1, $value); } // end func function setNode ($id, $parent, $value) { $parent = $parent?$parent:0; $this->data[$id] = $value; $this->child[$id] = array(); $this->child[$parent][] = $id; $this->paren...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / 分享下页面关键字抓取components.arrow.com站点代码

分享下页面关键字抓取components.arrow.com站点代码

内容导读

内容图文

内容总结

内容备注

内容手机端

【分享下页面关键字抓取components.arrow.com站点代码】教程文章相关的互联网学习教程文章

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程