PHP采集企业信息网站的具体方法想搞个小程序，采集某企业信息网站的内容，经处理后在我的网站上显示，不想逐条信息输入。我是想将DIV ID截出内容再逐条存入数据库，但同一页面有很多DIV ID是相同值的，我不知道怎样截了。哪位能讲一个好的办法吗？例如公司1......公司2......公司3......公司4......ID相同，我不知道怎 样截取------解决方案-------------------- PHP code <?php $url="http://www.smartweb.cn"; $str=file_get_con...
关于PHP采集一个页面某一个数字的问题，请高手帮忙写个正则本人现在要做个网站，需要远程获取一个网站的查询结果，我写的正则有些问题，老是无法获得想要的查询的结果数字。请高手帮忙解决下：http://mytool.chinaz.com/baidusort.aspx?host=www.baidu.com上面这个是查询某个域名的百度权重的页面，我只需要得到查询结构中的"百度权重为 9" 这个权重数字，我的代码是这样写的：function baidu($s){ $baidu="http://mytool.china...
一个新闻采集功能，朋友们指教！批量采集的时候有时候会有一些新闻不能采集到（只是少部分），不清楚什么原因，朋友们帮看下我是采集腾讯的新闻PHP code$url = "http://news.qq.com/newsgn/zhxw/shizhengxinwen.htm"; $urlcontent = file_get_contents($url);preg_match_all("//isU", $urlcontent, $urlcontent); //程序运行到此正常，能拿出列表页要采集新闻的连接 $urllength=count($urlcontent[1]);$conpattern = "/.+(.+)<\/h1...
采集中，如何获取文章分页？现在想写个php采集程序，采集分页文章，可是程序中，如何知道这篇文章最多有几页？采集中，又如何知道下一页的链接是什么(不是全部列出的）？如果是全部列出所有的分页链接，那比较容易，如果是总有有10页，才列出5页呢？1 2 3 4 5 下一页 这样的模式呢？求程序的思路------解决方案-------------------- 一般url会有page参数。你根据page值做判断不就行了。
【急】请问我用Snoopy类采集一些信息，规则对，但是只能采集40条信息，可能是什么原因呢？请问我用Snoopy类采集信息只能采集到40条信息，一页是10条目标信息，前4页都可以采集下来，第五页就不行了但是单独采集第五页会同样的规则就可以了十分费解是什么原因求高手解答谢谢！------解决方案-------------------- 这个可能性有很多啊... 关键是先找找看是不是对方有什么限制 ------解决方案-------------------- 探讨引用:这个可能性...
可否帮忙写一个单页页的PHP采集程序，并附上实例比方说，我要采集这个页面：http://news.163.com/12/0613/20/83TJ7PA700014JB6.html要求：采集标题采集正文谢谢！------解决方案-------------------- 首先去http://simplehtmldom.sourceforge.net/index.htm（点击Download latest version form Sourceforge.）下载一个simple_html_dom.php，傻瓜式的正则，另官网上有详细教程，很容易看懂。PHP codeheader("Content-type: text/htm...
求助，我采集时，当上一采集没有完成时，我想进行另一个条件采集，如何立即终止上一次采？？求助，我采集时，当上一采集没有完成时，我想进行另一个条件采集，如何立即终止上一次采任务，进行新的采集任务。有什么函数可以做到呢？有方法吗？------解决方案--------------------http://forum.csdn.net/SList/PHPBase/EssentialListcsdn社区 最悲哀的事情就是有的功能用户不知道.知道的功能没有. ------解决方案-------------------...
如何采集http://www.haha.mx/的首页我想采集haha.mx首页的内容，可是不管用file_get_contents，curl，都获取不到，但是用tool.chinaz.com的获取源代码却可以得到数据。我想应该是haha.mx设制了防采集吧，有没有高手可以帮我写一段代码采集到的？谢谢！！！------解决方案-------------------- 应该是做了防采集的
php74 骑士 火车头采集简历 接口及采集规则研究了下骑士官方发布的火车头采集接口api并没有相关简历对应的采集接口 因此就自己写了个方法对应简历采集接口实现可查询。相关字段匹配等。和企业采集接口匹配基本一样。 支持图片采集。 图片采集到的文件目录需要自己对采集规则进行再修改。现在对api文件修改如下 \admin\api\locoyspider.php 该文件就是接口文件 现在存在的有普通文章采集接口和企业采集接口没有建立采集接口。那么...
php CURL 采集问题---请指教PHP代码 PHP code $url){$conn[$k]=curl_init($url);curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header，加块效率curl_setopt($conn[$k], CURLOPT_FOLL...
cacti中怎么提取SNMP采集到的数据最近公司在做一个基于cactiez的项目。cactiez中有个功能是当主机宕机时就会发出宕机的报警声，现在有这样一个需求，比如说，当内存超出阈值(或者硬盘，流量等等)时，就发出一个内存超出阈值的报警声，现在的问题是，不知道SNMP采集的数据怎么从RRD文件中取出来，与阈值进行对比。请问有大神知道吗?先行谢过。------解决方案-------------------- SNMP直接用snmp的组件好了。可以做一个PHP程序，反馈...
PHP用curl采集某个url出现400错误求解PHP code $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,$url); //curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //curl_setopt($ch, CURLOPT_TIMEOUT, 30);//curl_setopt($ch, CURLOPT_POST, 0); $data = curl_exec($ch); curl_close($ch); return $data; 其中URL地址是当当网的API测试账号提供给返回加密的url地址数据 地址如下http://api.da...
求一个防火车头采集的功能快两年没动代码了，最近自己弄了一个站玩。有些资料老被火车头拖来拖去的。求一个完整的防火车头采集的功能模块。自己弄了半天 思路是这样的比如在某一个时间段ip多次请求 就把该ip禁止掉，没搞好如有需要我可以贴出我写的整个代码流程。------解决方案-------------------- 探讨快两年没动代码了，最近自己弄了一个站玩。有些资料老被火车头拖来拖去的。求一个完整的防火车头采集的功能模块。自己弄了半天...
PHP多线程批量采集下载图片使用curl的多线程，另外curl可以设置请求时间，遇到很慢的url资源，可以果断的放弃，这样没有阻塞，另外有多线程请求，效率应该比较高，参考：《CURL的学习和应用[附多线程]》，我们再来测试一下； 核心代码：/*** curl 多线程** @param array $array 并行网址* @param int $timeout 超时时间* @return mix*/public function Curl_http($array,$timeout=15){$res = array();$mh = curl_multi_init();//创...
如何采集不被发现使用curl 去采集 别人网站会被 别人网站的站长工具捕捉到。。知道有个链接 老是 定期访问他。。有没有什么方法 采集的时候 不留下痕迹。。------解决方案-------------------- 你得看人家的防作弊策略了，没法说。最好先抓包看看是不是有鼠标轨迹或者会话cookie等，另外也可能根据你的ip进行限制，那就要借助代理服务器去刷。 ------解决方案-------------------- 找下百度蜘蛛的useragent. 模拟去吧. 要是他牛到...