从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度，2015年8月31日，×××印发了《促进大数据发展行动纲要》。旨在通过建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于数据的科学决策。目前，我国每年善生并被存储的数据总量超过800EB，相当于全人类讲过的话160倍。我国的电子政务发展指数为0.6071，排名第63位。经过这几年的发展的，已经偶60余个地×××府出台了城市大数据发展计划。 政务...
一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复查询，此外还融合数据仓库，流处理和...
推荐书籍：《网站分析实战——如何以数据驱动决策，提升网站价值》相关随笔：http://blog.csdn.net/u014033218/article/details/76847263一、网站点击流数据分析项目业务背景1.什么是点击流数据1.web访问日志即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据，可以获知许多对网站运营...
本文翻译自《BIG DATA ANALYTICS BEYOND HADOOP》译者：吴京润 校对：方腾飞 我试图给人们学习大数据留下的一点深刻印象：尽管Apache Hadoop很有用，而且是一项非常成功的技术，但是这一观点的前提已经有些过时了。考虑一下这样一条时间线：由谷歌实现的MapR本文翻译自《BIG DATA ANALYTICS BEYOND HADOOP》译者：吴京润 校对：方腾飞 我试图给人们学习大数据留下的一点深刻印象：尽管Apache Hadoop很有用，而且是一项非常成功的技...
来源：http://www.ibm.com/developerworks/cn/java/j-javadev2-15/index.html Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能已经可以检索超过 100 亿个图像了，每分钟有 35 小时的内容上传到 YouTube。据称，T来源：http://www.ibm.com/developerworks/cn/java/j-javadev2-15/index.html Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能...
作者 Jonathan Allen ，译者 张晓鹏 Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的Elastic MapReduce。 结合Hadoop使用Hunk Hadoop由两个单元组成，首先是被称为HDFS的存储单元，HDFS可作者 JonathanAllen ，译者 张晓鹏 Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的ElasticMapReduce。结...
当前，全球大数据产业正值活跃发展期，技术演进和应用创新并行加速推进，非关系型数据库、分布式并行计算以及机器学习、深度挖掘等新型数据存储、计算和分析关键技术应运而生并快速演进，大数据挖掘分析在电信、互联网、金融、交通、医疗等行业创造商业价值和应用价值的同时，开始向传统第一、第二产业传导***，大数据逐步成为国家基础战略资源和社会基础生产要素。 基于当下的大数据安全形势和环境，思迈特软件Smartbi致力于打造出...
python视频教程栏目介绍一个大数据分析神器推荐（免费）：python视频教程对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。1、什么是Dask？Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。Dask是开源免费的。它是与其他社区项目（如Numpy，...
《Python金融大数据分析 》是人民邮电出版社2015年12月出版的中译图书，作者[德]伊夫·希尔皮斯科，译者姚军。《Python金融大数据分析》，唯一一本详细讲解使用Python分析处理金融大数据的专业图书；金融应用开发领域从业人员必读。适合对使用Python进行大数据分析、处理感兴趣的金融行业开发人员阅读。（推荐学习：Python视频教程）内容介绍Python凭借其简单、易读、可扩展性以及拥有巨大而活跃的科学计算社区，在需要分析、处理大...
数据获取：公开数据、Python爬虫外部数据的获取方式主要有以下两种。（推荐学习：Python视频教程）第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。另一种获取外部数据的方式就是爬虫。比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、...
毫不夸张地说，大数据已经成为任何商业交流中不可或缺的一部分。桌面和移动搜索向全世界的营销人员和公司以空前的规模提供着数据，并且随着物联网的到来，大量用以消费的数据还会呈指数级增长。这种消费数据对于想要更好地定位目标客户、弄懂人们怎样使用他们的产品或服务，并且通过收集信息来提高利润的公司来说无疑是个金矿。筛查数据并找到企业真正可以使用的结果的角色落到了软件开发者、数据科学家和统计学家身上。现在有很多...
一、十亿数据，轻松秒出 实时监控领域有两个显著的特点，一是数据来源很多而且数据量大，有来自监控摄像头、GPS、智能设备等；二是需要实时处理。我们的客户在做实时处理时，就遇到这样的问题。客户的某个数据表中有10亿条记录，希望统计类查询的响应时间在30s以内，而使用单台MySQL的响应时间在300s以上。OneProxy特有的并行查询功能，让响应时间降到10s以内。二、并行查询前提之分库分表 在互联网+的时代，分库分表已经成为行业的...
0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD、DataFrame 与 DataSet0.3.2 DataSet 与 RDD 互操作0.3.3 RDD、DataFrame 与 DataSet 之间的转换0.3.4 用户自定义聚合函数（UDAF）0.3.5 开窗函数0.4 Spark Streaming0.4.1 Dstream transformation 算子概览0.4.2 Dstream updataStateByKey 算子概览0.4.3 窗口操作0.4.4 Receiver 与 Direct0.5 Java0.5...
原文发表在《程序员》杂志2013年第8期，略有删改。 文 / 耿益锋 陈冠诚 ? 大数据处理是云计算中非常重要的问题，自Google公司提出MapReduce分布式处理框架以来，以Hadoop为代表的开源软件受到越来越多公司的重视和青睐。以Hadoop为基础，之后的HBase，Hive，原文发表在《程序员》杂志2013年第8期，略有删改。 文 / 耿益锋陈冠诚 ?大数据处理是云计算中非常重要的问题，自Google公司提出MapReduce分布式处理框架以来，以Hadoop为代表...
文章目录 第四章 分类1.分类基本概念2.预测任务3.模型分类生成模型判别模型 4.经典分类方法4.1 决策树引入：高尔夫问题引入小结决策树构建决策树构造具体流程属性选择度量信息增益信息增益率 过拟合问题4.2 KNN算法什么是KNN算法？KNN基本思想KNN算法过程算法计算步骤算法的优缺点KNN的常见问题 4.3 朴素贝叶斯什么是贝叶斯分类算法？第四章 分类 1.分类基本概念 分类是一种数据分析形势，它提取刻画重要数据类的模型，这种模型叫分...