首页 / 爬虫 / PHP爬虫之queryList

PHP爬虫之queryList

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP爬虫之queryList，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含24049字，纯文字阅读大概需要35分钟。

内容图文

根据queryList 自己花了一个下午的时间写了一个爬星座数据的类，完全手写。附上代码 PHP爬虫之queryList - 文章图片

  1 class phpCrawl
  2 {
  3     //在程序执行的时候，就先判断一下是否爬过数据了，因为这个数据是每日才会更新一次。所以判断条件就是，今天是否执行过，如果今天已经执行过程序，那么今天无论之后是否执行程序，都不允许爬取数据了。直接抛出异常【爬取也是重复的，没意义】，只有今天第一次执行程序，才有爬取的意义。然后是否爬取每周，每月，每年的数据在程序里需要另行判断。
  4     protected static $crawlStatus;  //false表示没有爬取， 为了让程序每次执行的时候，状态保持住，需要使用静态变量。 如果今天爬取过了，将状态改为true。
  5 
  6     // 对待爬取的url进行区分，例如：年度的只爬起一次即可，每月的，每周的，url列表进行优化
  7     public $fortune_name = ['aries', 'taurus', 'gemini', 'cancer', 'leo', 'virgo', 'libra', 'scorpio', 'sagittarius', 'capricorn', 'aquarius', 'pisces'];
  8     public $baseUrl = 'https://www.xzw.com/fortune/';  //列表url，内容页的url只需要在此基础上进行拼接
  9     public $rules = [];  //爬虫规则
 10     public $data = [];
 11     public static $execTime;  //每天第一次执行程序的时间, 必须是静态的
 12 
 13     public function __construct(array $rules)
 14     {
 15         $this->rules = $rules;
 16         //程序开始初始化的时候，就要判断crawlStatus，是否能够爬虫
 17         $this->checkDate();
 18     }
 19 
 20     public function run()
 21     {
 22         if($this->getCrawlStatus() === true){
 23             throw new Exception("今天已经爬过数据了，请明天再爬~", 1);
 24         }
 25         self::$execTime = time();  //记录程序每天第一次执行的时间
 26         //开始爬
 27         $this->startCrawl($this->linkUrl());
 28         //处理数据
 29         $result = $this->handleData();
 30         
 31         return $result;
 32     }
 33 
 34     //设置爬虫状态
 35     public function setCrawlStatus($bool)
 36     {
 37         self::$crawlStatus = $bool;
 38     }
 39 
 40     public function getCrawlStatus()
 41     {
 42         return self::$crawlStatus;
 43     }
 44 
 45     /**
 46      * 爬虫规则，返回一个对象
 47      * @param rules array 爬虫规则
 48      * @return object
 49      */
 50     public function rule()
 51     {
 52         return QueryList::rules($this->rules);
 53     }
 54 
 55     //开始爬取页面数据
 56     public function startCrawl($urls)
 57     {
 58         foreach ($urls as $url) {
 59             $this->data[] = $this->rule()
 60                 ->get($url)  //queryList的方法
 61                 ->query()
 62                 ->getData();
 63             // 释放资源，销毁内存占用
 64             $this->rule()->destruct();
 65         }
 66     }
 67 
 68     //处理数据
 69     public function handleData()
 70     {
 71         $pattern = '/[0-9]{2}/';
 72         $res = [];
 73         foreach ($this->data as $key => $value) {
 74             foreach ($value as $k => $v) {
 75                 $res[$key][$k]['overall_opportunities'] = $this->extract_num($pattern, $v['overall_opportunities'], 'overall_opportunities', $key, $k);
 76                 $res[$key][$k]['love_fortune'] = $this->extract_num($pattern, $v['love_fortune'], 'love_fortune', $key, $k);
 77                 $res[$key][$k]['underprise'] = $this->extract_num($pattern, $v['underprise'], 'underprise', $key, $k);
 78                 $res[$key][$k]['wealth'] = $this->extract_num($pattern, $v['wealth'], 'wealth', $key, $k);
 79                 $res[$key][$k]['overall_opportunities_t'] = $v['overall_opportunities_t'];
 80                 $res[$key][$k]['love_fortune_t'] = $v['love_fortune_t'];
 81                 $res[$key][$k]['underprise_t'] = $v['underprise_t'];
 82                 $res[$key][$k]['wealth_t'] = $v['wealth_t'];
 83             }
 84         }
 85         return $res;
 86     }
 87 
 88     //检测是不是今天已经爬过了
 89     protected function checkDate()
 90     {
 91         if(date('Y-m-d', self::$execTime) == date('Y-m-d')){
 92             //今天执行过
 93             $this->setCrawlStatus(true);
 94         }else{
 95             $this->setCrawlStatus(false);
 96         }
 97     }
 98 
 99     //拼接url，根据年月周
100     public function linkUrl()
101     {
102         $urls = [];
103         foreach ($this->fortune_name as $value) {
104             $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/');
105         }
106         if(!$this->isSameWeek(self::$execTime, time())){
107             //不在同一周
108             foreach ($this->fortune_name as $value) {
109                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'2.html';
110             }
111         }
112         //判断是否在同一月
113         if(date('Ym', self::$execTime) != date('Ym', time())){
114             //不在同一月
115             foreach ($this->fortune_name as $value) {
116                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'3.html';
117             }
118         }
119         return $urls;
120     }
121 
122     //判断是否在同一周
123     public function isSameWeek($pretime,$aftertime)
124     {
125         $monday = strtotime('last Monday', $pretime); //离当前时间戳$pretime最近的上一个周一的时间戳，如果当前时间$pretime是周一，$monday存储的仍然是上周一
126         //判断如果当前给定时间戳就是周一，那么就返回当前时间戳给$monday
127         if(date('w', $pretime)){
128             $monday = $pretime;
129         }
130         $sunday = $monday+24*3600*7; //周日时间戳
131         if($aftertime >= $sunday){
132             return false;
133         }
134         
135         if( $aftertime <= $monday ){
136             return false;
137         }
138         return true;
139     }
140 
141     //处理运势指数，把属性值转换成指数
142     public function extract_num($pattern, $string)
143     {
144         preg_match($pattern, $string, $match);
145         switch($match[0]){
146             case 16:
147                 $num = 1;
148                 break;
149             case 32:
150                 $num = 2;
151                 break;
152             case 48:
153                 $num = 3;
154                 break;
155             case 64:
156                 $num = 4;
157                 break;
158             case 80:
159                 $num = 5;
160                 break;
161         }
162         return $num;
163     }
164 }
165 
166 //
167 $rule = [
168       'overall_opportunities'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(1) > span > em', 'style'),
169     'love_fortune'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(2) > span > em', 'style'),
170     'underprise'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(3) > span > em', 'style'),
171     'wealth'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(4) > span > em', 'style'),
172     'overall_opportunities_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(1) > span','text'),
173     'love_fortune_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(2) > span','text'),
174     'underprise_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(3) > span','text'),
175     'wealth_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(4) > span','text'),
176 ];
177 $ql = new phpCrawl($rule);
178 $data = $ql->run();
179 print_r($data);

View Code

爬到的数据打印如下，存储在数组里了。下一步就可以存在数据库里了。

View Code

安装queryList使用composer，queryList v4版本。

composer require jaeger/querylist

在文件里加入（忘记复制了）

require './vendor/autoload.php';
use QL\QueryList;

内容总结

以上是互联网集市为您收集整理的PHP爬虫之queryList全部内容，希望文章能够帮你解决PHP爬虫之queryList所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/649310.html

来源：【匿名】

首页 / 爬虫 / PHP爬虫之queryList

PHP爬虫之queryList

内容导读

内容图文

内容总结

内容备注

内容手机端

【PHP爬虫之queryList】教程文章相关的互联网学习教程文章

Thinkphp5与QueryList实现采集页面功能（爬虫）【代码】【图】

PHP爬虫之queryList【代码】【图】

QUERYLIST - 相关标签

PHP - 相关标签

爬虫 - 相关标签

爬虫 - 最新教程

爬虫 - 最热教程