首页 / PHP / php同步大量采集，超难问题，新手勿进，谢谢

php同步大量采集，超难问题，新手勿进，谢谢

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了php同步大量采集，超难问题，新手勿进，谢谢，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6379字，纯文字阅读大概需要10分钟。

内容图文

回复讨论(解决方案)

1、程序类似myip.cn/wanben.net ，他的站可以在3秒内采集出wanben.net的所有信息。

2、我通过php也可以完成采信wanben.net的全部信息，但速度太慢，如
采集网站title
采集alexa信息
采集域名信息
采集服务器信息，

我通过php写的程序，要顺序执行所有代码。所以时间很长，全部采集完成要15秒左右

而myip……

数据采集建议使用CURL来完成

PHP的cURL库功能简介：抓取网页，POST数据及其他

本文介绍了PHP的cURL库的几个使用方法。cURL是一个功能强大的PHP库，可以用于获取网页内容，获取网页内容以及取一个XML文件并把其导入数据库等等。
使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

启用 cURL 设置

首先，我们得先要确定我们的PHP是否开启了这个库，你可以通过使用php_info()函数来得到这一信息。

??phpphpinfo();??

如果你可以在网页上看到下面的输出，那么表示cURL库已被开启。

如果你看到的话，那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下，那么非常简单，你需要改一改你的php.ini文件的设置，找到php_curl.dll，并取消前面的分号注释就行了。如下所示：

//取消下在的注释extension=php_curl.dll

如果你是在Linux下面，那么，你需要重新编译你的PHP了，编辑时，你需要打开编译参数??在configure命令上加上“?with-curl” 参数。

一个小示例

如果一切就绪，下面是一个小例程：

??php
// 初始化一个 cURL 对象
$curl = curl_init();

// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://cocre.com');

// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);

// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// 运行cURL，请求网页
$data = curl_exec($curl);

// 关闭URL请求
curl_close($curl);

// 显示获得的数据
var_dump($data);

如何POST数据

上面是抓取网页的代码，下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php，其可以接受两个表单域，一个是电话号码，一个是短信内容。

??php$phoneNumber = '13912345678';$message = 'This message was generated by curl and php';$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';$ch = curl_init();curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');curl_setopt($ch, CURLOPT_HEADER, 1);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_POST, 1);curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);$data = curl_exec();curl_close($ch);??

从上面的程序我们可以看到，使用CURLOPT_POST设置HTTP协议的POST方法，而不是GET方法，然后以CURLOPT_POSTFIELDS设置POST的数据。

关于代理服务器

下面是一个如何使用代理服务器的示例。请注意其中高亮的代码，代码很简单，我就不用多说了。

??php $ch = curl_init();curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');curl_setopt($ch, CURLOPT_HEADER, 1);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');$data = curl_exec();curl_close($ch);??

关于SSL和Cookie

关于SSL也就是HTTPS协议，你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然，还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。

关于Cookie，你需要了解下面三个参数：

CURLOPT_COOKIE，在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR，当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE，Cookie的文件。

HTTP服务器认证

最后，我们来看一看HTTP服务器认证的情况。

??php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')

$data = curl_exec();
curl_close($ch);
??

关于其它更多的内容，请参看相关的cURL手册。

官方CURL中文文档：

curl_setopt

问下楼主,如果网络环境不好,或者网站数据量大,或者php程序结构执行比较费时间,php执行超时怎么办?

引用楼主 mywaster 的回复:
1、程序类似myip.cn/wanben.net ，他的站可以在3秒内采集出wanben.net的所有信息。

2、我通过php也可以完成采信wanben.net的全部信息，但速度太慢，如
采集网站title
采集alexa信息
采集域名信息
采集服务器信息，

我通过php写的程序，要顺序执行所有代码。所以时间很长，全部采集完成要15秒左右……

我就是忘记说了，我就是用php curl写的采集，请根据我的问题回答

采集网站title
采集alexa信息
采集域名信息
采集服务器信息

想同时进行怎么办？？？？？？？？？？

有能力自己写扩展呗,多线程,云计算

引用 1 楼 skyaspnet 的回复:
引用楼主 mywaster 的回复:
1、程序类似myip.cn/wanben.net ，他的站可以在3秒内采集出wanben.net的所有信息。

2、我通过php也可以完成采信wanben.net的全部信息，但速度太慢，如
采集网站title
采集alexa信息
采集域名信息
采集服务器信息，

我通过php写的程序，要顺序执行……

采集网站title
这个很简单，在获取到数据后直接正则即可取出。

采集alexa信息
这个需要向alexa发送查询即可获取到数据，建议和获取TITLE的操作分开。

采集域名信息
这一步也同样需要发送查询命令，建议也分开做

采集服务器信息
服务器信息只能获取到很少的一部分，例如一些头信息，大部分是获取不到的

想要加快速度的话，建议将一系列操作通过一定的方法关联起来，然后再分步执行，这样速度会有比较明显的提高

我测试了一下
首次在 myip.cn上检索wanben.com耗时16秒（当然，我的电脑显示有点慢）
再次在 myip.cn上检索仅仅两秒

所以可以肯定myip.cn用了缓存，你后来看到的检索结果都是从缓存中调出的，所以很快。

我自己解决了

谢谢大伙的思路，看看我空间的办法
http://hi.baidu.com/dalianufo/blog/item/c70ef1d9a1a92a3f10df9b0a.html

http://www.chaiba.com 也很快的,原理类似

http://www.chayiba.com 这个

如果url下面还有子链接呢？例如http://news.ifeng.com/mil/,下面还有子栏目，子链接，该怎么办呢?

内容总结

以上是互联网集市为您收集整理的php同步大量采集，超难问题，新手勿进，谢谢全部内容，希望文章能够帮你解决php同步大量采集，超难问题，新手勿进，谢谢所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/197202.html

来源：【匿名】

【上一篇】访问一个php页面竟报这个错误【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【php同步大量采集，超难问题，新手勿进，谢谢】教程文章相关的互联网学习教程文章

PHP采集利器 Snoopy 试用心得

Snoopy是什么? （下载snoopy） Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机 * 支持基本的用户名/密码验证 * 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) * 支持浏览器转向，并能控制转向深度 * 能把网页中的链接扩展成高质量的url(默...

PHP下载/采集远程图片到本地【代码】

/*** 下载远程图片到本地** @param string $url 远程文件地址* @param string $filename 保存后的文件名（为空时则为随机生成的文件名，否则为原文件名）* @param array $fileType 允许的文件类型* @param string $dirName 文件保存的路径（路径其余部分根据时间系统自动生成）* @param int $type 远程获取文件的方式* @return json 返回文件名、文件的保存路径* @author blog.snsgou.com*/ function download_image($url, $fileNa...

火车头discuz6.1 完美采集的php接口文件

PS：对原文件的修改较大,程序中注释已经很详尽，这里就不多说了。复制代码代码如下:<?php // header(‘Content-Type:text/html;charset=UTF-8‘); //if(function_exists("mb_convert_encoding")){ // $tmp = checkAndTranslate("使用前请将该文件直接上传至论坛根目录", 0); // header(‘Content-Type:text/html;charset=UTF-8‘); // print($tmp); //}else{ // print("NO"); //} // exit("this.line=".__line__); /* 文件名：lo...

PHP多线程批量采集下载美女图片的实现代码

使用curl的多线程，另外curl可以设置请求时间，遇到很慢的url资源，可以果断的放弃，这样没有阻塞，另外有多线程请求，效率应该比较高下面是代码实现/** * curl 多线程 * @author http://www.lai18.com* @param array $array 并行网址 * @param int $timeout 超时时间* @return mix */public function Curl_http($array,$timeout='15'){$res = array();$mh = curl_multi_init();//创建多个curl语柄foreach($array as $k=>$url){$co...

php 采集书并合成txt格式的实现代码

<?php /** * @name 采集书.php * @date Sun Mar 01 22:48:02 CST 2009 * @copyright 马永占(MyZ) * @author 马永占(MyZ) * @link http://blog.csdn.net/mayongzhan/ */ //header(‘Content-Type:text/html;charset=utf8‘); header(‘Content-Type:text/html;charset=gb2312‘); error_reporting(E_ALL); date_default_timezone_set(‘Asia/Shanghai‘); set_time_limit(0); function writer($content,$url) { $fp = fopen($url, ‘...

PHP 采集程序原理分析篇

苦想了几天，终于弄明白了里面的道理。在这里写出来，请高手指正。采集程序的思路很简单，无非就是先打一个页面，一般都是列表页，取得里面全部链接的地址，然后打开逐条链接，寻找我们感兴趣的东西，如果找到，就把它入库或别的处理。下面以一个很简单的例子来说说。首先确定一个采集页，一般就是列表面了。这里目标是:http://www.jb51.net/article/11/index.htm。这是一个列表页，我们的目的就是采集这个列表页上全部的文章。 ...

PHPCMS V9 采集实例【图】

采集目标：列表： http://www.cnys.com/zixun/list_2_2.html 原文：http://www.cnblogs.com/guo2001china/p/5299238.html

PHP采集程序大全

在论坛好久了没有怎么正式的发表过东西，今天给大家共享一下我的采集代码！思路：　　采集程序的思路很简单大体可以分为以下几个步骤： 1.获取远程文件源代码（file_get_contents或用fopen）.2.分析代码得到自己想要的内容（这里用正规匹配，一般是得到分页）。　　3.跟根得到的内容进行下载入库等操作。在这里第二步有可能要重复的操作好几次，比如说要先分析一下分页地址，在分析一下内页的内容才能取得我们想要的东西。代码：...

php采集DEMO一个

?123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169...

php 模拟登陆（不带验证码）采集数据【代码】【图】

这里模拟表单登陆窗口提交代码部分1，生成session_id保存到 cookie$login_url = ‘http://www.96net.com.cn/Login.php‘;$cookie_file = dirname(__FILE__)."/pic.cookie";$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $login_url);curl_setopt($ch, CURLOPT_HEADER, 0);curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);curl_exec($ch);curl_close($ch);2,处理提交的登陆的数...

php 带cookie采集某页面【代码】

<?php error_reporting(0); define("temp_dir", dirname(__FILE__)."/Public/"); define("U", "11111");//$_GET[‘e‘];define("P", "mima");$dlfk=login(U, P); echo$dlfk; //登陆$bbb=friendshow(); $bbb = preg_replace(‘/<script[^>]*?>(.*?)<\/script>/is‘,"",$bbb); $bbb = preg_replace(‘/<input[^>]*?>/is‘,"",$bbb); $bbb = preg_replace(‘/<a style[^>]*?>(.*?)<\/a>/is‘,"",$bbb); $bbb = preg_replace(‘/<a[^>...

php curl采集，服务器gzip压缩返回数据怎么办

一般服务器不会胡乱返回gzip压缩的数据，一般是客户端请求的头部里包含你浏览器能接受的压缩方式，Accept-Encoding:gzip,deflate,sdch这里是gzip 、deflate、sdch这三种方式，这里不一一说明是指什么，不懂的可以去找谷哥度娘，有些服务器强制返回gzip压缩的数据，我们采集的时候，返回的是乱码，根本无法读取使用，这个时候马上查看手册发现其实curl里有个参数，curl_setopt($ch, CURLOPT_ENCODING,‘gzip‘);手册解释： CURLOPT_...

php采集内容中带有图片地址的远程图片并保存的方法

本文实例讲述了php采集内容中带有图片地址的远程图片并保存的方法。分享给大家供大家参考。具体实现方法如下：复制代码代码如下:function my_file_get_contents($url, $timeout=30) { if ( function_exists(‘curl_init‘) ) { $ch = curl_init(); curl_setopt ($ch, curlopt_url, $url); curl_setopt ($ch, curlopt_returntransfer, 1); curl_setopt ($ch, curlopt_connecttimeout, $timeout); $file_conten...

我的php学习笔记：php通用采集程序

php采集程序构建基本步骤：采集程序是什么？获取远程数据（文字、图片、图片）并快速保存到本地或指定地址。如天气预报（小偷程序）：远程获取--》替换内容--》展示给用户如实时更新的新闻（采集内容）：远程获取--》提取内容--》分类存储--》读取内容---》展示内容*************************设计PHP采集入库UML 列表正则：终端正则：**************************file_get_contents()获取远程页面内容preg_match_all()匹...

PHP curl模拟浏览器采集阿里巴巴的实现代码

没有不可能只有不去做，哈哈复制代码代码如下:<?php set_time_limit(0); function _rand() { $length=26; $chars = "0123456789abcdefghijklmnopqrstuvwxyz"; $max = strlen($chars) - 1; mt_srand((double)microtime() * 1000000); $string = ‘‘; for($i = 0; $i < $length; $i++) { $string .= $chars[mt_rand(0, $max)]; } return $string; } $HTTP_SESSION=_rand(); $HTTP_SESSION; $HTTP_Server="search.china.alibaba.co...

首页 / PHP / php同步大量采集，超难问题，新手勿进，谢谢

php同步大量采集，超难问题，新手勿进，谢谢

内容导读

内容图文

回复讨论(解决方案)

内容总结

内容备注

内容手机端

【php同步大量采集，超难问题，新手勿进，谢谢】教程文章相关的互联网学习教程文章

PHP采集利器 Snoopy 试用心得

PHP下载/采集远程图片到本地【代码】

火车头discuz6.1 完美采集的php接口文件

PHP多线程批量采集下载美女图片的实现代码

php 采集书并合成txt格式的实现代码

PHP 采集程序原理分析篇

PHPCMS V9 采集实例【图】

PHP采集程序大全

php采集DEMO一个

php 模拟登陆（不带验证码）采集数据【代码】【图】

php 带cookie采集某页面【代码】

php curl采集，服务器gzip压缩返回数据怎么办

php采集内容中带有图片地址的远程图片并保存的方法

我的php学习笔记：php通用采集程序

PHP curl模拟浏览器采集阿里巴巴的实现代码

PHP - 相关标签

采集 - 相关标签

同步 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程