由于对大数据处理的需求。使得我们不断扩展计算能力，集群计算的要求导致分布式计算框架的诞生。用便宜的集群计算资源在短短的时间内完毕以往数周甚至数月的执行等待，有人说谁掌握了庞大的数据。谁就主导了需求。尽管在十几年间，通过过去几十年的积淀，诞生了mapreduce。诞生了分布式文件系统。诞生了霸主级别的Spark，不知道这是不是分布式计算框架的终点，假设还有下一代的处理框架，必定来自更大规模的数据。我想那个量级已经...
经过了长时间的筹备后，十八掌教育的大数据培训课程终于和大家见面了。这里非常感谢大家对十八掌教育的认可，也是对我的认可。这里更要感谢51CTO的同志们的辛苦付出和推广宣传。 到目前为止，我们大数据课程已经讲了三天的java基础课程。从线上和线下的反馈来看，和我原来设想的情况差不多。想必很多线上的同学也能够体会真正学习起来的感受了吧！ 如果大家看过了这几天的视频，就应该能够理解我的说法。大数据是高端且...
一、引言 昨天和一个做互联网大数据（零售行业）的朋友交流，关于大数据传统企业实施的切入点产生了争执，主要围绕两个问题进行了深入的探讨： 问题1：对于一个传统企业而言什么是核心业务，什么是外围业务？ 问题2：大数据传统企业实施切入点到底是从核心开始还是该从外围介入？ 两个问题有关联关系，如果界定不了核心与外围的边界，那么第二个问题也就无从回答。在此与大家共享，希望更多的人能参与进来发表自己的观...
大数据计算BUG处理：程序修改前资源情况：Driver : 1台Worker : 2台程序提交申请内存资源 ： 1G内存内存分配情况 ： 1. 20%用于程序运行2. 20%用于Shuffle3. 60%用于RDD缓存单条TweetBean大小 ： 3k1. 内存溢出原因：因为程序会把所有的TweetBean查询出来并且合并(union)，该操作在内存中进行。则某个campaign数据量较大时，如500W数据，则500W*10k=50G，超出内存限制。解决方法： 先按数据量切分task，避免单个task有很多数据造成...
核心理念：封装复杂性，server承担负责，user简单从最早的满29元免邮费开始，就将简约执行到底。虽说东方人习惯了复杂，但世界还是趋向简约的。反例：北京货仓VS武汉货仓；反例：广州运费0元，成都运费10元amazon角度1. amazon有自己的物流，因流量不稳定，若将此算法只加入到某流小流量的单次运输中，基本无成本。2. 算法复杂难免出错，但明显具有很强的竞争性和前途，可发展中壮大用户角度1. 用户体验提升，速度在网购的影响是巨...
第六章 网络通信 Laxcus大数据管理系统网络建立在TCP/IP网络之上，从2.0版本开始，同时支持IPv4和IPv6两种网络地址。网络通信是Laxcus体系里最基础和重要的一环，为了能够利用有限的网络资源，获得最大化的使用效率，我们根据大数据网络环境的特点，设计了一套专属网络通信协议，以及在此协议基础上实现的多套网络通信方案，它们共同组成了Laxcus集群的网络通信基础。本章将以TCP/IP协议为起点，介绍与网络通信有关的各个组成部...
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应 用程序的代表，要完成程序的registerApplication等功能； 当程序完成注册后Master会通过Akka发送消息给客户端来启动Driver；在Driver中管理Task和控制Worker上的Executor来协同工作； Q2：Spark的shuffle 和hadoo...
如今，各路企业和组织都不再使用上一代架构来存储大数据。既然如此，为什么还要使用上一代商业智能（BI）工具来进行大数据分析呢？在为企业选择 BI 工具时，应该遵守以下“十诫”。第一诫：不要转移大数据转移大数据代价高昂：毕竟，大数据很“大”，如果打包转移，负担太重。不要将数据提取出来，做成数据集市和数据立方，因为“提取”就意味着转移，会在维护、网络性能附加处理器方面造成纷乱庞杂的问题，出现两个逻辑上相同的备...
7.1 mapreduce mapreduce编程： 同步工具： 实现时需要注意的地方： 本地聚合的重要性： 字数统计： map进化1：引入数组H(仍然需要combiner) map进化2：把数组H变为全局变量，map结束后再将H输出(in-mapper的实现)本地聚合的设计模式：将combiner的功能集成到mapper中(速度更快，in-mapper是内存上的操作->需要内存管理) 计算平均数：combiner的设计：example：map version1：(此时reducer不能代替combiner) version 2：(存在的问...
偶然的机会在网上看到了这篇blog，觉得作者写得挺不错的(虽然自己并没有怎么看懂。。。)，所以就转来跟大家分享分享吧~~~对于我们开发的网站，如果网站的访问量非常大的话，那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题，但话又说回来了，既然逃避不掉，那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。 为了更好的理解并发和同步，我们需要先明白两个重要的概念:同步和...
1. 上传大文件/* 以1.5M/秒的速度写入文件，防止一次过写入文件过大导致服务器出错(chy/20150327) */$is_large_file = false;if( strlen($xml_str)>=2097152 ){ //当文件大于2M$is_large_file = true;fwrite($fp, $pre, strlen($pre)); //写入头部$start = 0;while( $content=mb_strcut($xml_str,$start,1572864) ){$start = $start + 1572864;$writeResult = fwrite($fp, $content, strlen($content));if( !$writeResult ){unlink...
1）为什么要建宽表需求目标，把每个用户单日的行为聚合起来组成一张多列宽表，以便之后关联用户维度信息后进行，不同角度的统计分析1 创建用户行为宽表 hive (gmall)> drop table if exists dws_user_action; create external table dws_user_action ( user_id string comment ‘用户 id‘,order_count bigint comment ‘下单次数 ‘,order_amount decimal(16,2) comment ‘下单金额 ‘,payment_cou...
美国队长：这怎么知道？国防军官：这怎么不知道，21世纪就是本数码书。佐拉教会九头蛇怎么去读它，你的银行记录、病例、投票模式、电子邮件、通话信息、还有大学成绩单...左拉的算法会评估人们的过去，然后预测他们的未来。 ——《美国队长2》 听起来很玄乎，但事实是我们真的正在进入“大数据时代”，支付宝最新上线的“芝麻信用分”就是一个例子。芝麻分的背后是芝麻信用对海量信息数据的综合处理和评估，主要包含了用户信用历史...
系统准备Centos6.5 Windows10相关软件包下载：链接：https://pan.baidu.com/s/1EOLUphwZgzwSX01HsDJM0g 提取码：1tsf说明特别说明: 教程用的主机名分别为master,slave1,slave2 所以发现有出现主机名为 ” spark1”的主机名 等同于 “master”如果如果看见配置文件为spark1,一定要修改成master ;有些图片是后面添加的才出现主机名不一致但并不影响理解.没有特别说明操作都是在 master 机器操作关闭防火墙关闭Linux和Windows的防火墙...
数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的市场价值。举个例子，美国通用公司是一个生产飞机发动机...