首页 / PHP / php实现爬取和分析知乎用户数据，php_PHP教程

php实现爬取和分析知乎用户数据，php_PHP教程

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了php实现爬取和分析知乎用户数据，php_PHP教程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8666字，纯文字阅读大概需要13分钟。

内容图文

php实现爬取和分析知乎用户数据，php

背景说明：小拽利用php的curl写的爬虫，实验性的爬取了知乎5w用户的基本信息；同时，针对爬取的数据，进行了简单的分析呈现。

php的spider代码和用户dashboard的展现代码，整理后上传github，在个人博客和公众号更新代码库，程序仅供娱乐和学习交流；如果有侵犯知乎相关权益，请尽快联系本人删除。

无图无真相

移动端分析数据截图

php实现爬取和分析知乎用户数据，php_PHP教程 - 文章图片

pc端分析数据截图

php实现爬取和分析知乎用户数据，php_PHP教程 - 文章图片

整个爬取，分析，展现过程大概分如下几步，小拽将分别介绍

curl爬取知乎网页数据
正则分析知乎网页数据
数据数据入库和程序部署
数据分析和呈现

curl爬取网页数据

PHP的curl扩展是PHP支持的，允许你与各种服务器使用各种类型的协议进行连接和通信的库。是一个非常便捷的抓取网页的工具，同时，支持多线程扩展。

本程序抓取的是知乎对外提供用户访问的个人信息页面https://www.zhihu.com/people/xxx,抓取过程需要携带用户cookie才能获取页面。直接上码

获取页面cookie

代码如下:
// 登录知乎，打开个人中心，打开控制台，获取cookie
document.cookie
"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"

抓取个人中心页面

通过curl，携带cookie，先抓取本人中心页面

/**
 * 通过用户名抓取个人中心页面并存储
 * 
 * @param $username str :用户名 flag
 * @return boolean   :成功与否标志
 */
public function spiderUser($username)
{
  $cookie = "xxxx" ;
  $url_info = 'http://www.zhihu.com/people/' . $username; //此处cui-xiao-zhuai代表用户ID,可以直接看url获取本人id
  $ch = curl_init($url_info); //初始化会话
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_COOKIE, $cookie); //设置请求COOKIE
  curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回，而不是直接

输出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $result = curl_exec($ch); file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result); return true; }

正则分析网页数据分析新链接，进一步爬取

对于抓取过来的网页进行存储，要想进行进一步的爬取，页面必须包含有可用于进一步爬取用户的链接。通过对知乎页面分析发现：在个人中心页面中有关注人和部分点赞人和被关注人。
如下所示

代码如下:
// 抓取的html页面中发现了新的用户，可用于爬虫

ok，这样子就可以通过自己-》关注人-》关注人的关注人-》。。。进行不断爬取。接下来就是通过正则匹配提取该信息

代码如下:
// 匹配到抓取页面的所有用户
preg_match_all('/\/people\/([\w-]+)\"/i', $str, $match_arr);
// 去重合并入新的用户数组,用户进一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));

到此，整个爬虫过程就可以顺利进行了。
如果需要大量的抓取数据，可以研究下curl_multi和pcntl进行多线程的快速抓取，此处不做赘述。

分析用户数据，提供分析

通过正则可以进一步匹配出更多的该用户数据，直接上码。

// 获取用户头像
preg_match('/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i', $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// 崔小拽
preg_match('/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match('/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
// 男  
// gender value1 ;结束 中文
preg_match('/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u', $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//
preg_match('/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//人见人骂的公司
preg_match('/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// 程序猿
preg_match('/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u', $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// 研究僧
preg_match('/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// 挨踢
preg_match('/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u', $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue">41 个话题
preg_match('/class=\"?zg-link-litblue\"?>(\d+)\s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// 关注了
preg_match_all('/(\d+)<.+/i', $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// 个人主页被 17 人浏览
preg_match('/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i', $str, $match_browse);
$user_browse = $match_browse[1];

在抓取的过程中，有条件的话，一定要通过redis入库，确实能提升抓取和入库效率。没有条件的话只能通过sql优化。这里来几发心德。

数据库表设计索引一定要慎重。在spider爬取的过程中，建议出了用户名，左右字段都不要索引，包括主键都不要，尽可能的提高入库效率，试想5000w的数据，每次添加一个，建立索引需要多少消耗。等抓取完毕，需要分析数据时，批量建立索引。

数据入库和更新操作，一定要批量。 mysql 官方给出的增删改的建议和速度：http://dev.mysql.com/doc/refman/5.7/en/insert-speed.html

# 官方的最优批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;

部署操作。程序在抓取过程中，有可能会出现异常挂掉，为了保证高效稳定，尽可能的写一个定时脚本。每隔一段时间干掉，重新跑，这样即使异常挂掉也不会浪费太多宝贵时间，毕竟，time is money。

#!/bin/bash

# 干掉
ps aux |grep spider |awk '{print $2}'|xargs kill -9
sleep 5s

# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &

数据分析呈现

数据的呈现主要使用echarts 3.0，感觉对于移动端兼容还不错。兼容移动端的页面响应式布局主要通过几个简单的css控制，代码如下

// 获取用户头像
preg_match('/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i', $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// 崔小拽
preg_match('/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match('/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
// 男  
// gender value1 ;结束 中文
preg_match('/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u', $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//
preg_match('/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//人见人骂的公司
preg_match('/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// 程序猿
preg_match('/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u', $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// 研究僧
preg_match('/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// 挨踢
preg_match('/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u', $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue">41 个话题
preg_match('/class=\"?zg-link-litblue\"?>(\d+)\s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// 关注了
preg_match_all('/(\d+)<.+/i', $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// 个人主页被 17 人浏览
preg_match('/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i', $str, $match_browse);
$user_browse = $match_browse[1];

不足和待学习

整个过程中涉及php,shell,js,css,html,正则等语言和部署等基础知识，但还有诸多需要改进完善，小拽特此记录，后续补充例：

php 采用multicul进行多线程。
正则匹配进一步优化
部署和抓取过程采用redis提升存储
移动端布局的兼容性提升
js的模块化和sass书写css。

您可能感兴趣的文章:

php IIS日志分析搜索引擎爬虫记录程序
php 向访客和爬虫显示不同的内容
一个PHP实现的轻量级简单爬虫
PHP实现简单爬虫的方法
PHP代码实现爬虫记录——超管用
PHP爬虫之百万级别知乎用户数据爬取与分析

http://www.bkjia.com/PHPjc/1096148.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/1096148.htmlTechArticlephp实现爬取和分析知乎用户数据，php 背景说明：小拽利用php的curl写的爬虫，实验性的爬取了知乎5w用户的基本信息；同时，针对爬取的数据...

内容总结

以上是互联网集市为您收集整理的php实现爬取和分析知乎用户数据，php_PHP教程全部内容，希望文章能够帮你解决php实现爬取和分析知乎用户数据，php_PHP教程所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/189655.html

来源：【匿名】

【上一篇】使用ZendOpcache加速PHP，zendopcache_PHP教程【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【php实现爬取和分析知乎用户数据，php_PHP教程】教程文章相关的互联网学习教程文章

使用xdebug分析thinkphp框架函数调用图【图】

开发中需要性能调优，使用xdebug分析thinkphp框架函数调用图。关于xdebug的安装参考这2篇NetBeans配置Xdebug 远程调试PHPphp扩展xdebug安装以及用kcachegrind系统分析 1.安装xdebug需要先去http://www.xdebug.org看看一些文档，xdebug作为php扩展安装# http://www.xdebug.org/files/xdebug-2.3.3.tgz# tar -xzf xdebug-2.3.3.tgz# cd xdebug-2.3.3# /usr/local/php/bin/phpize# ./configure --enable-xdebug --with-php-config=/u...

php类中的各种拦截器用法分析

本文实例讲述了php类中的各种拦截器用法。分享给大家供大家参考。具体用法分析如下：1、__get( $property ) 访问未定义的属性时调用复制代码代码如下:class lanjie { function __get($name) { echo $name." property not found! "; } } $ob = new lanjie(); echo $ob->g;当我们调用对象$ob未定义的属性g时，调用拦截器__get()方法，输出"g property not found!”；2、__set( $property , $val...

深入分析PHP引用（&）【代码】

引用是什么在 PHP 中引用意味着用不同的名字访问同一个变量内容。这并不像 C 的指针，替代的是，引用是符号表别名。注意在 PHP 中，变量名和变量内容是不一样的，因此同样的内容可以有不同的名字。最接近的比喻是 Unix 的文件名和文件本身——变量名是目录条目，而变量内容则是文件本身。引用可以被看作是 Unix 文件系统中的 hardlink。引用做什么 PHP 的引用允许用两个变量来指向同一个内容。意思是，当这样做时： <?php $a =& $...

PHP中使用mktime获取时间戳的一个黑色幽默分析

下面这段代码是网上大多数人给出的时间戳现实，这个一看便知只能说是取得当前日期，而不能算是时间戳，不用多解释了吧！复制代码代码如下:$now = mktime(0,0,0,date("m"),date("d"),date("Y")); echo "now is ".date("Y/m/d", $now); 显示结果： now is 2012/05/30 显然这不是我想要的结果。于是，按照旧有的思维，我想当然的改造成下面这个形式：复制代码代码如下:$now = mktime(date("h"),date("M"),date("s"),date("m"),da...

PHP程序的常见漏洞攻击分析

随着PHP的广泛运用，一些黑客们也在无时不想找PHP的麻烦，通过PHP程序漏洞进行攻击就是其中一种。在节，我们将从全局变量，远程文件，文件上载，库文件，Session文件，数据类型和容易出错的函数这几个方面分析了PHP的安全性。如何通过全局变量进行攻击？PHP中的变量不需要事先声明，它们会在第一次使用时自动创建，它们的类型根据上下文环境自动确定。从程序员的角度来看，这无疑是一种极其方便的处理方法。一旦一个变量被创建了，...

php 执行程序分析【代码】

记录程序运行细节记录程序运行时间<?php $start = microtime(true);//index.php$end = microtime(true); $time = number_format(($end - $start), 2);echo ‘This page loaded in ‘, $time, ‘ seconds‘; ?>跟踪php的系统调用strace -o /tmp/output.txt -T -tt -F -e trace=all -p 31920V. 结论某些数据的展示与否最好把性能也考虑上正则的效率不高，能不用尽量不用主题中如果同一个变量要使用多次，请将其先保存至一个临时变量缓...

php对象在内存中的存在形式分析【代码】

本文实例分析了php对象在内存中的存在形式。分享给大家供大家参考。具体分析如下： <?php class Person{public $name;public $age; } $p1 = new Person(); $p1->name = "小明"; $p1->age=80; $p2=$p1; $p2->age=85; echo $p2->name; echo $p1->age; ?>（1）$p1对应内存地址，假设是0x123，（$p1和地址存放在栈区，相当于我们查字典时的索引）；（2）通过内存地址的索引，找到堆区。堆区里面存放着”小王“，”80“等数据（3）$p2...

高性能Web服务端 PHP vs Node.js vs Nginx-Lua 的对比分析【图】

1. ngx_lua nodejs php 比较我在研究一阵子ngx_lua之后发现lua语法和js真的很像，同时ngx_lua模型也是单线程的异步的事件驱动的，工作原理和nodejs相同，代码甚至比nodejs的异步回调更好写一些。性能测试，100并发php:17400nodejs:31197ngx_lua:32628单纯做http代理服务器加上一些简单的逻辑，似乎ngx_lua的方案更加合适。引自： PHP vs Node.js vs Nginx-Lua 以下是从占用的资源上来分析:出自：phpnode lua 由图中可以看出:nod...

php笔记之：有规律大文件的读取与写入的分析

这几天在做一个东西.研究PHP读取行数较多的文件(大概上百万行).考虑到效率问题.进行了简单的研究.总结如下第一条.file()函数的效率问题.file()函数的效率很底下如果是有规律的文件.比如每行一条相应数据.那么尽量不要是用file()函数可以使用file_get_contents()然后用explode切割.这样效率会快三分之一举个例子:文件样式如下:11111\n22222\n33333\n44444\n55555\n.....\nnnnnnnnnnnn\n如果用file($file)读入的话.耗时很长.可以用如...

\upload\install\includes\lib_auto_installer.php源码分析【代码】【图】

1 <?php2 3/**4 * ECSHOP 安装程序之模型5 * ============================================================================6 * * 版权所有 2005-2012 上海商派网络科技有限公司，并保留所有权利。7 * 网站地址: http://www.ecshop.com；8 * ----------------------------------------------------------------------------9 * 这不是一个自由软件！您只能在不用于商业目的的前提下对程序代码进行修改和10 * 使用；不允许对程...

PHP mysqli扩展库预处理技术的使用分析

1、使用mysqli扩展库预处理技术 mysqli stmt 向数据库添加3个用户复制代码代码如下:<?php //mysqli扩展库预处理技术 mysqli stmt 向数据库添加3个用户 //1、创建mysqli对象 $mysqli = new MySQLi("localhost","root","root","test"); if($mysqli->connect_error){ die($mysqli->conncet_error); } //2、创建预编译对象 $sql="insert into user1(name,password,email,age) values(?,?,?,?)"; $m...

安装php xdebug调试工具及性能分析工具webgrind for windows【图】

安装php xdebug调试工具及性能分析工具webgrind for windows 第一步:查看php版本等信息phpinfo();上面是 x86 NTS VC14 第二步: 下载xdebug官网https://xdebug.org/ 第三步: 下载扩展, 放入php的/ext 扩展目录第四步: php.ini 开启扩展配置其它选项:[Xdebug] ;指定Xdebug扩展文件的绝对路径zend_extension="C:\App\php\php\php-7.0.12-nts\ext\php_xdebug-2.7.0alpha1-7.0-vc14-nts.dll";最大循环或调试次数,防止死循环xdebu...

PHP单一入口概述与优缺点分析（转）

单一入口概述单一入口的应用程序就是说用一个文件处理所有的HTTP请求，例如不管是列表页还是文章页，都是从浏览器访问index.php文件，这个文件就是这个应用程序的单一入口。打个比方，大家都要上WC，都是男生进一个门，女生进一个门，这两个门就是WC的两个入口。而现在去一个公园里面的WC，外面还有一个门，不管男女都从最外面的门进入，交了钱以后才进入里面的男厕所门或女厕所门，而这个最外面的门就是这个WC的单一入口。实现方式...

php中get_defined_constants函数用法实例分析【代码】

本文实例讲述了php中get_defined_constants函数用法。分享给大家供大家参考。具体分析如下：get_defined_constants （ PHP 4中 > = 4.1.0 ， PHP 5中）get_defined_constants -返回一个关联数组的名字所有的常量和他们的价值观描述阵列get_defined_constants （ [布尔$归类] ）返回名称和值的所有当前定义的常量。这包括设立的扩展以及创建的define()函数。参数分类造成这个函数返回多维阵列类别中的第一项维和常量和他们的价值观中...

nginx + php 403 原因分析【代码】

环境：nginx + php 问题：配置的网站，访问出现报错：Access Denied (403) 解决方法:1、In your PHP-fpm www.conf set security.limit_extensions to .php or .php5 or whatever suits your environment. For some users, completely removing all values or setting it to FALSE was the only way to get it working.2、In your nginx config file set fastcgi_pass to your socket address (e.g. unix:/var/run/php-fpm/php-fpm...

首页 / PHP / php实现爬取和分析知乎用户数据，php_PHP教程

php实现爬取和分析知乎用户数据，php_PHP教程

内容导读

内容图文

php实现爬取和分析知乎用户数据，php

您可能感兴趣的文章:

内容总结

内容备注

内容手机端

【php实现爬取和分析知乎用户数据，php_PHP教程】教程文章相关的互联网学习教程文章

使用xdebug分析thinkphp框架函数调用图【图】

php类中的各种拦截器用法分析

深入分析PHP引用（&）【代码】

PHP中使用mktime获取时间戳的一个黑色幽默分析

PHP程序的常见漏洞攻击分析

php 执行程序分析【代码】

php对象在内存中的存在形式分析【代码】

高性能Web服务端 PHP vs Node.js vs Nginx-Lua 的对比分析【图】

php笔记之：有规律大文件的读取与写入的分析

\upload\install\includes\lib_auto_installer.php源码分析【代码】【图】

PHP mysqli扩展库预处理技术的使用分析

安装php xdebug调试工具及性能分析工具webgrind for windows【图】

PHP单一入口概述与优缺点分析（转）

php中get_defined_constants函数用法实例分析【代码】

nginx + php 403 原因分析【代码】

PHP - 相关标签

数据 - 相关标签

用户 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程