自然灾害似乎是不可避免的，让我们在大自然的手中感到脆弱。考虑到今天围绕着我们的所有数据和技术，这怎么可能呢？专家能否在预测方面做得更好，甚至试图避免更多自然灾害或更有效地减少资源损失？答案是肯定和否定。有时我们知道龙卷风会袭来，我们无法防止这种情况造成的损失。我们知道洪水会因飓风而发生，当地人可以努力有效地减少损失。但它们通常不能防止发生损害。我们知道可能会发生冰暴和冰雹风暴，但我们不能总是防止对...
1 Lambda架构介绍 Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。query = function(alldata)1.1 批处理层(Batch Layer, Apache Hadoop) 批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个连续的操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 将数据集中计算得到的视图，这使得它不会被频繁地...
大数据和Hadoop平台介绍定义大数据是指其大小和复杂性无法通过现有常用的工具软件，以合理的成本，在可接受的时限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分析和可视化。大数据要满足三个基本特征（3V），数据量（volume）、数据多样性（variety）和高速（velocity）。数据量指大数据要处理的数据量一般达到TB甚至PB级别。数据多样性指处理的数据包括结构化数据、非结构化数据（视频、音频...
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;namespace BigNumberMultiplication
{class Program{static void Main(string[] args){try{int first = 4916;int second = 12345;long result = first * second;Console.WriteLine(string.Format("{0} * {1} = {2}\n\n", first.ToString(), second.ToString(), result.ToString()));string firstStr = "100000000000000000000";string seco...
例1: 海量日志数据，提取出某日访问百度次数最多的那个IP（文件总量多大 -> 能一次载入内存吗 -> 怎么将文件化大为小，一般可以采取hash -> 然后怎么归并）1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理；
2.可以考虑采用“分而治之”的思想，按照IP地址的Hash(IP)%1024值，把海量IP日志分别存储到1024个小文件中。这样，每个小文件最多包含4MB个IP地址；
3.对于每一个小文件，可以构建一个IP为key，出现次数...
企业想要获得精准客户线索的问题主要表现为两个方面，一是目标人群不够精准;二是轻视用户画像。因此，精准获客成败的前提是，是否有足够精确的“用户画像”来做支撑。因此企业解决精准获客这两个痛点，便能快速获取精准用户。运营商大数据精准营销获客抓取客源具备以下优势第一，“竞争对手网页、竞争对手网站、手机app用户”运营商大数据都能进行抓取、获客盟运营商大数据精准营销获客（软件）具有很强的时效性。用户的消费行为极...
Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。由spout发...
最近要为第三方搭建一套大数据平台，中间先进行了虚拟机版本，测试通过后，进行了物理机版本的生产环境，网上关于ambari 的文章并不多，但好在ambari 官方文档质量略高，社区比较活跃，便整理该系列的文档，将埋掉的坑抛出来，帮助小伙伴们更加快速的搭建自己的hadoop 平台。分三个部分：1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ，大家比较熟悉，至于各自长短，优势劣汰，大家自己斟酌选择啦。...
摘自https://www.cnblogs.com/ShaYeBlog/p/5872113.html一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。“在百度对世界杯的预测中，我们一共考虑了团队实力、主场优势、最近表现、世界杯整体...
一、什么是Presto？背景知识：Hive的缺点和Presto的背景Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。这其中有两点就...
1、在底层数据指标基础上，根据实际生活场景，抽象提取新指标，发展为武房特色指标。根据之前市场部门的反馈，普遍遇到一个情况。客户说“你们这些数据百度上也有啊”。在底层数据层面上，目前确实难以做到拥有独有的数据源或者渠道。鉴于此，可以在这些共有的数据上，抽象提取凝练出新的概念或者指标，既能更好地展现城市中的某一面，又能在短期内做到一枝独秀。2、每一项分指数作为产品对待，以产品运营的思维去拓展、应用该指数...
总体的实现思想为：每次查询出2w数据，并写入到临时文件然后把这些文件写入到一个EXCEL里边，或者把这些文件压缩为zip文件，然后把Zip文件提供给下载(这里使用zip打包是因为，在Linux上也能进行Zip打包)。//这个zip打包工具类
package net.szh.zip;
import java.io.File;
import org.apache.tools.ant.Project;
import org.apache.tools.ant.taskdefs.Zip;
import org.apache.tools.ant.types.FileSet;
public ...
阿里云发布飞天大数据平台，云计算打响“DT战争”？ 虽然Jack马先生总是口出惊人之语，但事实证明他说的话总是不断被应验。 2016年的“新零售”现在已经是公认的零售新篇章，而2014年的“人类正从IT时代走向DT时代”，也在逐渐变成现实——不管什么样的企业，都习惯要“大数据”一下。 这其中，阿里自己往往成为“预言”的忠实拥趸，新零售跑马圈地，现在大数据也要“搞个大新闻”。 不久前，阿里云在其峰会上发布了大...
/** * 大数据量的情况下使用此方法可减少oom * @param headList 表头 * @param dataList 数据 * @param sheetName 工作薄名称(第一页) */public static SXSSFWorkbook exportSXSSFWb( List<String> headList, List<List<String>> dataList, String sheetName) { SXSSFWorkbook sxssfWorkbook = null; //这样表示SXSSFWorkbook只会保留1000条数据在内存中，其它的数据都会写到磁盘里，这样的话占用的内存就会很少 ...
一、外部数据源《集团内部数据》客户信息产品信息供应商信息《第三方数据》公众号信息BAT数据电信数据营销知识库ERPAppAPI二、数据采集数据实时采集器（外部数据进入）从调查、第一步、第二部、。。。成交。。。会员经营等阶段收集数据三、大数据存储精准投放跟进提醒资源配置项目联动客户经营交易分析四、从不同维度进行处理360度画像典型客户人群预测实时监控预警高意向识别营销推广拓展客户跟进管理数据共享、交换基本产品会员服...
