例1: 海量日志数据，提取出某日访问百度次数最多的那个IP（文件总量多大 -> 能一次载入内存吗 -> 怎么将文件化大为小，一般可以采取hash -> 然后怎么归并）1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理； 2.可以考虑采用“分而治之”的思想，按照IP地址的Hash(IP)%1024值，把海量IP日志分别存储到1024个小文件中。这样，每个小文件最多包含4MB个IP地址； 3.对于每一个小文件，可以构建一个IP为key，出现次数...
企业想要获得精准客户线索的问题主要表现为两个方面，一是目标人群不够精准;二是轻视用户画像。因此，精准获客成败的前提是，是否有足够精确的“用户画像”来做支撑。因此企业解决精准获客这两个痛点，便能快速获取精准用户。运营商大数据精准营销获客抓取客源具备以下优势第一，“竞争对手网页、竞争对手网站、手机app用户”运营商大数据都能进行抓取、获客盟运营商大数据精准营销获客（软件）具有很强的时效性。用户的消费行为极...
Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。由spout发...
最近要为第三方搭建一套大数据平台，中间先进行了虚拟机版本，测试通过后，进行了物理机版本的生产环境，网上关于ambari 的文章并不多，但好在ambari 官方文档质量略高，社区比较活跃，便整理该系列的文档，将埋掉的坑抛出来，帮助小伙伴们更加快速的搭建自己的hadoop 平台。分三个部分：1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ，大家比较熟悉，至于各自长短，优势劣汰，大家自己斟酌选择啦。...
摘自https://www.cnblogs.com/ShaYeBlog/p/5872113.html一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。“在百度对世界杯的预测中，我们一共考虑了团队实力、主场优势、最近表现、世界杯整体...
一、什么是Presto？背景知识：Hive的缺点和Presto的背景Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。这其中有两点就...
1、在底层数据指标基础上，根据实际生活场景，抽象提取新指标，发展为武房特色指标。根据之前市场部门的反馈，普遍遇到一个情况。客户说“你们这些数据百度上也有啊”。在底层数据层面上，目前确实难以做到拥有独有的数据源或者渠道。鉴于此，可以在这些共有的数据上，抽象提取凝练出新的概念或者指标，既能更好地展现城市中的某一面，又能在短期内做到一枝独秀。2、每一项分指数作为产品对待，以产品运营的思维去拓展、应用该指数...
总体的实现思想为：每次查询出2w数据，并写入到临时文件然后把这些文件写入到一个EXCEL里边，或者把这些文件压缩为zip文件，然后把Zip文件提供给下载(这里使用zip打包是因为，在Linux上也能进行Zip打包)。//这个zip打包工具类 package net.szh.zip; import java.io.File; import org.apache.tools.ant.Project; import org.apache.tools.ant.taskdefs.Zip; import org.apache.tools.ant.types.FileSet; public ...
阿里云发布飞天大数据平台，云计算打响“DT战争”？ 虽然Jack马先生总是口出惊人之语，但事实证明他说的话总是不断被应验。 2016年的“新零售”现在已经是公认的零售新篇章，而2014年的“人类正从IT时代走向DT时代”，也在逐渐变成现实——不管什么样的企业，都习惯要“大数据”一下。 这其中，阿里自己往往成为“预言”的忠实拥趸，新零售跑马圈地，现在大数据也要“搞个大新闻”。 不久前，阿里云在其峰会上发布了大...
/** * 大数据量的情况下使用此方法可减少oom * @param headList 表头 * @param dataList 数据 * @param sheetName 工作薄名称(第一页) */public static SXSSFWorkbook exportSXSSFWb( List<String> headList, List<List<String>> dataList, String sheetName) { SXSSFWorkbook sxssfWorkbook = null; //这样表示SXSSFWorkbook只会保留1000条数据在内存中，其它的数据都会写到磁盘里，这样的话占用的内存就会很少 ...
一、外部数据源《集团内部数据》客户信息产品信息供应商信息《第三方数据》公众号信息BAT数据电信数据营销知识库ERPAppAPI二、数据采集数据实时采集器（外部数据进入）从调查、第一步、第二部、。。。成交。。。会员经营等阶段收集数据三、大数据存储精准投放跟进提醒资源配置项目联动客户经营交易分析四、从不同维度进行处理360度画像典型客户人群预测实时监控预警高意向识别营销推广拓展客户跟进管理数据共享、交换基本产品会员服...
如果在类内部定义某个变量或对象为private 那么只有该类对象可以引用或调用该类的方法或属性,外部不能调用，但类内部方法中可以调用 ，如果有private[this]修饰的方法或属性只有类内部本身对象可以调用 现在正是学习大数据的最好机遇，不花一分钱就可以成为大数据高手，实现年薪50万的梦想。王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！如果您有兴趣请点击这个链接进入大数据的学习http://blog.sina.com....
培训大数据架构开发！从零基础到高级，手把手培训！[技术QQ：2937765541]? ?----------------------------------------------------------------------------------------------------------------------------------课程目录：获取视频资料和培训解答技术支持地址?课程展示(永久免费更新！永久免费培训解答技术支持！)：获取视频资料和培训解答技术支持地址?原文：http://twskyn.iteye.com/blog/2289784
一、概述。 MapReduce是一种可用于数据处理的编程模型。Hadoop可以运行由各种语言编写的MapReuce程序。MapReduce分为Map部分和Reduce部分。二、MapReduce的机制 MapReduce分为几大过程input、Mapper、shufle、reduce、output1、input阶段是指将原始文件拷贝到HDFS中。2、通过Mapper来处理成目标所需要的key-value形式然后进行排序，Map相当于把源数据进行整理成目标数据所需要的数据材料。把多余的数据去除。Map主要功...
17年研究生毕业的时候在东北找到了一个国内数一数二的计算机硬件公司的分公司大数据技术负责人的岗位，当时正好是大数据技术在国内刚开始被重视不太长时间的时候，虽然说去一个和计算机技术或是和软件技术不太搭嘎的硬件公司去做大数据有些要人感觉很扯，但是毕竟是一个小leader的岗位还是很有诱惑力的，毕竟刚出校园就能在一公司里面管管某一方面事情还是要人有些小欢喜的，当时和分公司的领导也是谈的很好，而且领导也是很给以重...