大数据：数据量大，数据价值，分析，挖掘云计算：一般分三层构成【IAAS,SAAS,PAAS】IAAS:基础设施既服务SAAS:平台即服务PAAS:软件既服务Apache Hadoop 特点：扩容能力（Scalable）能可靠的（reliably）存储和处理千兆字节（PB）数据成本低可以通过普通机器组成的服务器群来发布和处理数据，这些服务器群总计可达数千个节点高效率（efficient）通过分发数据，Hadoop可以在数据所有的节点上并行的处理他们，使得处理速度非常快速。可...
安装包ambari-2.7.3.0-centos7.tar.gzHDP-3.1.0.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.22-centos7.tar.gzHDP-GPL-3.1.0.0-centos7-gpl.tar.gzAmbariAmbari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等）， 而并不仅是特指 Hadoop。...
Spark中生成的不同的RDD中有的喝用户的逻辑显式的对于，例如map操作会生成MapPartitionsRDD，而又的RDD则是Spark框架帮助我们隐式生成的，例如reduceByKey操作时候的ShuffledRDD.本文出自 “王家林大数据语录” 博客，请务必保留此出处http://wangjialin2dt.blog.51cto.com/10467465/1723417原文：http://wangjialin2dt.blog.51cto.com/10467465/1723417
近日之电商诸侯争霸，可谓火药味甚浓，更推进着产业前进步伐。古语有云：长袖善舞，多钱善贾，意指有所依靠，事情容易成功。随着大数据所爆发出的巨大潜力，在如今的互联网经济时代，玩电商的“有才有财”企业，正在用大数据思维与技术影响着企业业务决策和商业推广思路。可以预测的是，互联网平台大数据分析，正如利剑出鞘、铠甲上身，必将在未来为电商企业精准营销带来融合性影响。 数据支撑营销电商战线新阵法 在电商各类...
sqlserver中sql语句分页，借助WITH和ROW_NUMBER()实现时大数据量一个优化方式。 比如原sql： WITH NoPagedTable AS ( SELECT ROW_NUMBER() OVER (order by a_info_time desc) AS rowIndex, * FROM View_a_info_list where a_info_state=1 ) select * from NoPagedTable WHERE rowIndex>=20 and rowIndex<=39 优化：将当前页的最大数用top限定，就是只取截止到当前页码下的最大数量，这样对于大数据量下越是靠近1的页码时速度越...
典型大数据计算模式与系统 典型大数据计算模式典型系统大数据查询分析计算HBase，Hive，Cassandra，Impala，Shark，Hana等批处理计算Hadoop MapReduce，Spark等流式计算Scribe，Flume，Storm，S4, Spark Steaming等 迭代计算HaLoop，iMapReduce，Twister，Spark等图计算Pregel，Giraph，Trinity，PowerGraph，GraphX等内存计算Dremel，Hana，Spark等 原文：http://blog.csdn.net/john_f_lau/article/details/42684375
太平洋保险集团“家园项目”大数据平台DSG应用（oracle&kafka）项目背景根据太平洋保险集团的IT建设规划，在2017年年底，需要完成“一个太保，共同的家园”项目（简称家园项目），旨在给客户提供更加便携、全面的服务，通过一个家园平台，就能够完成所有的服务。众所周知，太平洋保险的业务范围非常广泛，囊括了产险、寿险、车险等业务，同时，一个险种又由多个系统共同提供服务。现在要在一个平台上完成这些服务，数据的汇聚、集中...
一个老客户提出这样的需求，希望将SQLServer中的某个表的数据快速复制到SQLite数据库里面以便进行定期的备份处理，数据表的记录大概有50多万条记录，表有100个字段左右，除了希望能够快速做好外，效率是第一位的，他自己测试总是在一两个小时的时间以上。客户提出这样的需求，我我觉得肯定是没有很好的利用事务的特性，否则速度应该会快得多，但是具体能快到什么程度，心里也不太确定。于是按照这个要求，把这样大的表数据复制作为...
如何使用文件组解决大数据量的读写性能差问题，具体操作步骤如下： 在企业管理器中，右键点你的数据库，选属性，选数据文件，新增一个，文件填一下，位置填一下，文件组填一个，比如abc---确定。 然后你可以右键点你数据库里面的表，设计表，再点右键，属性，然后把表文件组和文本文件组改成abc，就把你原来的表从原来的大mdf文件中分解到你的新增文件中了。 再增加文件的话，方法同上，目的就是把主文件(MDF...
两年的时间，大数据像雨后的野草一样，顽强的长满了草原。不管是互联网的、金融的、医疗的、汽车的，好像不提大数据，就像是落伍了一样的。近期笔者所在团队给某部位的研究院做了大数据的一个可行***规划，有些事，正好与各位做一个分享。大数据，顾名思义，数据量特别大，按照定义来说，就是数据量特别大，无法用传统的手段解决。所谓传统的手段，也就是业界内注明的IOE，即，高性能服务器+专用存储设备+数据库设备。其实，大数据...
由于对大数据处理的需求。使得我们不断扩展计算能力，集群计算的要求导致分布式计算框架的诞生。用便宜的集群计算资源在短短的时间内完毕以往数周甚至数月的执行等待，有人说谁掌握了庞大的数据。谁就主导了需求。尽管在十几年间，通过过去几十年的积淀，诞生了mapreduce。诞生了分布式文件系统。诞生了霸主级别的Spark，不知道这是不是分布式计算框架的终点，假设还有下一代的处理框架，必定来自更大规模的数据。我想那个量级已经...
经过了长时间的筹备后，十八掌教育的大数据培训课程终于和大家见面了。这里非常感谢大家对十八掌教育的认可，也是对我的认可。这里更要感谢51CTO的同志们的辛苦付出和推广宣传。 到目前为止，我们大数据课程已经讲了三天的java基础课程。从线上和线下的反馈来看，和我原来设想的情况差不多。想必很多线上的同学也能够体会真正学习起来的感受了吧！ 如果大家看过了这几天的视频，就应该能够理解我的说法。大数据是高端且...
一、引言 昨天和一个做互联网大数据（零售行业）的朋友交流，关于大数据传统企业实施的切入点产生了争执，主要围绕两个问题进行了深入的探讨： 问题1：对于一个传统企业而言什么是核心业务，什么是外围业务？ 问题2：大数据传统企业实施切入点到底是从核心开始还是该从外围介入？ 两个问题有关联关系，如果界定不了核心与外围的边界，那么第二个问题也就无从回答。在此与大家共享，希望更多的人能参与进来发表自己的观...
大数据计算BUG处理：程序修改前资源情况：Driver : 1台Worker : 2台程序提交申请内存资源 ： 1G内存内存分配情况 ： 1. 20%用于程序运行2. 20%用于Shuffle3. 60%用于RDD缓存单条TweetBean大小 ： 3k1. 内存溢出原因：因为程序会把所有的TweetBean查询出来并且合并(union)，该操作在内存中进行。则某个campaign数据量较大时，如500W数据，则500W*10k=50G，超出内存限制。解决方法： 先按数据量切分task，避免单个task有很多数据造成...
核心理念：封装复杂性，server承担负责，user简单从最早的满29元免邮费开始，就将简约执行到底。虽说东方人习惯了复杂，但世界还是趋向简约的。反例：北京货仓VS武汉货仓；反例：广州运费0元，成都运费10元amazon角度1. amazon有自己的物流，因流量不稳定，若将此算法只加入到某流小流量的单次运输中，基本无成本。2. 算法复杂难免出错，但明显具有很强的竞争性和前途，可发展中壮大用户角度1. 用户体验提升，速度在网购的影响是巨...