首页 / PHP / 利用PHP抓取百度阅读的方法示例
利用PHP抓取百度阅读的方法示例
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了利用PHP抓取百度阅读的方法示例,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2946字,纯文字阅读大概需要5分钟。
内容图文
前言这篇文章主要介绍的是,如何利用PHP抓取百度阅读的方法,下面话不多说,来一起看看吧。
抓取方法如下
首先在浏览器里打开阅读页面,查看源代码后发现小说的内容并不是直接写在页面里的,也就是说小说的内容是通过异步加载而来的。
于是将chrome的开发者工具切到network一栏,刷新阅读页面,主要关注的是XHR和script两个分类下。
经过排查,发现在script分类下有个jsonp请求比较像是小说内容,请求的地址是
http://www.gxlcms.com/
返回的是一个
jsonp
字符串,然后我发现,如果把地址里面的
callback=wenku7
去掉,返回的就是一个
json
字符串,这样解析起来就方便不少,可以直接在php里面转换成数组。
再来分析一下返回数据的结构,返回的
json
字符串之后是一个树状的结构,每个节点都有一个t属性和c属性,t属性用来指明这个节点的标签,比如h2 p等等,c属性就是内容了,但也有两种可能,一个是字符串,另一个是数组,数组的每个元素都是一个节点。
这种结构最好解析了,用一个递归就搞定
最终代码如下:
<?php class BaiduYuedu { protected $bookId; protected $bookToken; protected $cookie; protected $result; public function __construct($bookId, $bookToken, $cookie){ $this->bookId = $bookId; $this->bookToken = $bookToken; $this->cookie = $cookie; } public static function parseNode($node){ $str = ''; if(is_string($node['c'])){ $str .= $node['c']; }else if(is_array($node['c'])){ foreach($node['c'] as $d){ $str .= self::parseNode($d); } } switch($node['t']){ case 'h2': $str .= "\n\n"; break; case 'br': case 'p': case 'p': $str .= "\n"; break; case 'img': case 'span': break; case 'obj': $tmp = '(' . self::parseNode($node['data'][0]) . ')'; $str .= str_replace("\n", '', $tmp); break; default: trigger_error('Unkown type:'.$node['t'], E_USER_WARNING); break; } return $str; } public function get($page = 1){ echo "getting page {$page}...\n"; $ch = curl_init(); $url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page); curl_setopt_array($ch, array( CURLOPT_URL => $url, CURLOPT_RETURNTRANSFER => 1, CURLOPT_HEADER => 0, CURLOPT_HTTPHEADER => array('Cookie: '. $this->cookie) )); $ret = json_decode(curl_exec($ch), true); curl_close($ch); $str = ''; if(!empty($ret)){ $str .= self::parseNode($ret); $str .= $this->get($page + 1); } return $str; } public function start(){ $this->result = $this->get(); } public function getResult(){ return $this->result; } public function saveTo($path){ if(empty($this->result)){ trigger_error('Result is empty', E_USER_ERROR); return; } file_put_contents($path, $this->result); echo "save to {$path}\n"; } } //使用示例 $yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie'); $yuedu->start(); $yuedu->saveTo('result.txt');
这个类前两个参数可以从小说的介绍页面获得,第一个参数
bookId
就是
url
里
ebook
后面跟着的字符串,第二个参数
bookToken
在页面源代码搜索
bdjsonUrl
,
m
参数后面的那个字符串就是。
注:如果不传入百度
cookie
或者百度
cookie
无效,则只能抓取免费阅读部分,要抓完整的内容必须保证
cookie
可以正常使用。
总结
以上就是利用PHP抓取百度阅读的方法示例的内容,更多相关内容请关注PHP中文网(www.gxlcms.com)!
内容总结
以上是互联网集市为您收集整理的利用PHP抓取百度阅读的方法示例全部内容,希望文章能够帮你解决利用PHP抓取百度阅读的方法示例所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。