首页 / PHP / 开源中国个人帐号信息抓取实例

开源中国个人帐号信息抓取实例

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了开源中国个人帐号信息抓取实例，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1799字，纯文字阅读大概需要3分钟。

内容图文

开源中国个人帐号信息抓取实例，代码供参考，简单改进，可快速制作一个命令行管理自己帐号的工具。
实例使用snoopy,simple_html_dom包，可直接在开源中国进行下载。。。。

开源中国个人帐号信息抓取实例 - 文章图片

<?php
//需要调用到php包，从oschina中检索下载则可
include "Snoopy.class.php"; // 抓取网页信息，支持通过http代码方式，
include "simple_html_dom.php"; //html分析包
$snoopy = new Snoopy;
// $snoopy->proxy_host="###";
// $snoopy->proxy_port="8888";
// $snoopy->user="***";
// $snoopy->pass="****";
$snoopy->agent = "(Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:24.0) Gecko/20131117 Firefox/24.0 PaleMoon/24.1.2)";
$snoopy->referer = "http://www.oschina.net/";
$snoopy->cookies["oscid"] = '******';
$snoopy->fetch("https://www.oschina.net/home/login?goto_page=http%3A%2F%2Fwww.oschina.net%2F");
//认证需要认证才能有权限获取到数据
$submit_url = "http://www.oschina.net/action/user/hash_login";
$submit_vars["email"] = "*****";
$submit_vars["pwd"] = SHA1("*******");
$submit_vars["save_login"] = 1;
$submit_vars["submit"] = "现在登录";
$snoopy->submit($submit_url,$submit_vars);
echo "认证情况\n";
// print $snoopy->results;
//认证通过后，开始获取数据
$snoopy->fetch("http://my.oschina.net/******/admin/inbox");
echo "开源中国个人帐号信息测试程序\n";
echo "时间:".date("Y-m-d h:i:s")."\n";
// echo iconv("UTF-8","GBK//IGNORE",$snoopy->results);
$result=$snoopy->results;
// print $result;
//simple_html_dom解释包使用实例
$SHTML=new simple_html_dom();
$html = str_get_html($result);
$messS=$html->find('ul.Msgs li[id]');
foreach($messS as $mess){
$aT=$SHTML->load($mess);
echo "===================\n";
echo $aT."\n";
echo "-----------\n下面是上面html信息的分析提取处理:\n";
echo '信息id: '.$aT->find('li[id]',0)->id.''."\n";
echo '信息: '.trim($aT->find('div.msg',0)->plaintext)."\n";
echo '日期: '.trim($aT->find('div.bottom span.date',0)->plaintext).' '."\n";
print("===================\n");
}

内容总结

以上是互联网集市为您收集整理的开源中国个人帐号信息抓取实例全部内容，希望文章能够帮你解决开源中国个人帐号信息抓取实例所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/164378.html

来源：【匿名】

【上一篇】个人文件备份【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【开源中国个人帐号信息抓取实例】教程文章相关的互联网学习教程文章

PHP获取cookie、Token、模拟登录、抓取数据、解析生成json【代码】

本文介绍使用PHP获取cookie，获取Token、以及模拟登录、然后抓取数据、最后解析生成json的的过程。 0. 设置Cookie路径set_time_limit(0);//使用的cookie路径，if (isset($_SERVER[‘HTTP_APPNAME‘])){$cookie = SAE_TMP_PATH."/cookie.txt"; }else {$cookie = dirname(__FILE__)."/cookie.txt"; } 1、打开页面，获取COOKIEJAR，以及 token，并保存$url = "http://www.fangbei.org/#agent/login"; $headers = array( "User-Agent: ...

php抓取https的内容的代码

直接用file_get_contents，会报错；复制代码代码如下:$url = (https://xxx.com"); file_get_contents($url); 错误： Warning: file_get_contents(https://xxx.com) [function.file-get-contents]: failed to open stream: No such file or directory in D:wampwwwgrabber_clientindex.php on line 3 用curl的方式是可以的：复制代码代码如下:$url = (https://xxx.com); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,$url)...

PHP - 抓取电视剧资源【代码】

<?php /*** 获取下载url* @return [type] [description]*/ function getVedioDwonloadUrl() {for ($i=1; $i <= 48; $i++) {$url = ‘http://www.btdog.com/play/34821-1-‘ . $i . ‘.html‘;$urlContent[] = patternHtml( getUrlContent( $url ) );}return $urlContent; }/*** 匹配内容* @param [type] $content [description]* @return [type] [description]*/ function patternHtml( $content ) {//Analytical conten...

PHP中使用file_get_contents抓取网页中文乱码问题解决方法

本文实例讲述了PHP中使用file_get_contents抓取网页中文乱码问题解决方法。分享给大家供大家参考。具体方法如下：file_get_contents函数本来就是一个非常优秀的php自带本地与远程文件操作函数,它可以让我们不花吹挥之力把远程数据直接下载,但我在使用它读取网页时会碰到有些页面是乱码了,这里就来给各位总结具体的解决办法.根据网上有朋友介绍说原因可能是服务器开了GZIP压缩,下面是用firebug查看我的网站的头信息,Gzip是开了的,请...

CURL PHP实现多线程抓取网页【代码】【图】

PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址。既然 Curl Multi Function如此强大，能否用 Curl Multi Functions 来写并发多线程下载文件呢，当然可以，下面给出我的代码：<?php $urls = array( ‘http://www.sina.com.cn/‘, ‘ht...

PHP 抓取远程文件出错的解决方案

file_get_contents在某些情况下会出错。这样在运行中会时不时的出现上述错误，我也换过file_get_contents等其他函数都没用，在网上查阅后发现用CURL方法抓取不会出错$url = "http://www.php100.com/logo.gif";$ch = curl_init();curl_setopt ($ch, CURLOPT_URL, $url);curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);$img = curl_exec($ch); 原文：http://www.cnblogs.com/prolovec...

PHP爬虫抓取网页内容 (simple_html_dom.php)【代码】【图】

使用simple_html_dom.php，下载|文档　　因为抓取的只是一个网页，所以比较简单，整个网站的下次再研究，可能用Python来做爬虫会好些。 1 <meta http-equiv="content-type" content="text/html;charset=utf-8"/>2 <?php3include_once ‘simplehtmldom/simple_html_dom.php‘;4//获取html数据转化为对象 5$html = file_get_html(‘http://paopaotv.com/tv-type-id-5-pg-1.html‘);6//A-Z的字母列表每条数据是在id=letter-focus 的di...

PHP爬虫抓取【代码】【图】

目标：利用PHP解决网站列表内容抓取描述：在群里看到小伙伴问到关于抓取网站列表内容，我就想起了当时工作关于文章采集的问题，但是后面想想又不对，这是列表抓取，于是就想起了大神们经常说的说的“爬虫”，我想一定可以解决小伙伴的问题，因为是php小白，所以在网上找了很多爬虫的写法，但是太长了不想看，受个别启发看到了fopen()方法，那么这个方法是干嘛的，查找得出“把指定文件或者url资源绑定到资源流上”，额好像不错，就...

PHP 抓取网页图片并且另存为的实现代码

下面是源代码，及其相关解释复制代码代码如下:<?php //URL是远程的完整图片地址，不能为空, $filename 是另存为的图片名字 //默认把图片放在以此脚本相同的目录里 function GrabImage($url, $filename=""){ //$url 为空则返回 false; if($url == ""){return false;} $ext = strrchr($url, ".");//得到图片的扩展名 if($ext != ".gif" && $ext != ".jpg" && $ext != ".bmp"){echo "格式不支持！";return false;} if($filename == ...

PHP CURL抓取网页 simple_html_dom类【代码】

抓取网页数据后数据录入到discuz中<?php include(‘simple_html_dom.php‘);function urlText(){$url = ‘http://www.kxt.com/data/3.html‘;//外汇$ch=curl_init();$timeout = 1;// echo CURLOPT_URL; // CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项curl_setopt($ch, CURLOPT_URL, $url);// echo CURLOPT_RETURNTRANSFER; //使用PHP curl获取页面内容或提交数据，有时候希望返回...

php 抓取图片【代码】

<?php /*** Created by PhpStorm.* Date: 15-2-9* Time: 下午3:10*/for($i=0;$i<1000;$i++){$getData[‘page‘] = $i+1;getImg($getData); }function getImg($getData) {$path = "D:/NFS/img/";$opts = array(‘http‘=>array(‘method‘=>"GET",‘timeout‘=>3,//设置3秒等待),);if(is_array($getData) && !empty($getData)){$ser = http_build_query($getData, ‘‘, ‘&‘);}$cnt=0;//如果请求失败继续请求3次while($cnt<3 &&...

PHP抓取网页图片的实例【代码】

PHP抓取网页图片的实例<?php /** * 抓取网站上的图片到本地 * PS: 如果网页中的图片路径不是绝对路径，就无法抓取 */ set_time_limit(0);//抓取不受时间限制 $URL=‘http://image.baidu.com/‘;//任意网址 get_pic($URL); function get_pic($pic_url) { //获取图片二进制流 $data=CurlGet($pic_url); /*利用正则表达式得到图片链接*/ $pattern_src = ‘/<[img|IMG].*?src=[\‘|\"](...

网页抓取信息（php正则表达式、php操作excel）【图】

1.问题描述实现对固定网页上自己需要的信息抓取，以表格形式存储。我是拿wustoj上的一个排行榜来练习的，地址：wustoj2.思路网页自己就简单学习了一下php，刚好用它来做点事情吧，我的想法是这样的：（1）查看网页源代码并保存在文件中。（2）根据需要的信息写出正则表达式，读文件，根据正则表达式来提取需要的信息。写正则表达式的时候最好分组，这样提取起来就方便了很多。（3）对excel操作，将提取的信息以excel的形式输出。比...

php 抓取天气情况 www.weather.com.cn

<?phpfunction getweather($city){$url="http://www.weather.com.cn/weather1d/".$city.".shtml";$result=file_get_contents($url);$arr=explode("<li class='dn on' data-dn='todayT'>",$result);$arr1=explode("<div class=\"m m2\" id=\"2_3d\">",$arr[1]);$wt= mb_convert_encoding($arr1[0],"GBK","UTF-8");$wt1=explode("</i> </p>",$wt);$first=explode("</h1>",$wt1[0]);$w1_1=$first[0];//echo strip_tags($w1_1);//当前状...

php抓取文章内容分析【代码】

preg_match_all — 执行一个全局正则表达式匹配int preg_match_all ( string pattern, string subject, array matches [, int flags] )在 subject 中搜索所有与 pattern 给出的正则表达式匹配的内容并将结果以 flags 指定的顺序放到 matches 中。搜索到第一个匹配项之后，接下来的搜索从上一个匹配项末尾开始。flags 可以是下列标记的组合（注意把 PREG_PATTERN_ORDER 和 PREG_SET_ORDER 合起来用没有意义）：PREG_PATTERN_ORDER对...

首页 / PHP / 开源中国个人帐号信息抓取实例

开源中国个人帐号信息抓取实例

内容导读

内容图文

内容总结

内容备注

内容手机端

【开源中国个人帐号信息抓取实例】教程文章相关的互联网学习教程文章

实例 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程