1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can‘t assign requested address: Service ‘sparkDriver‘ failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.sh2、java Kafka producer error:ERROR kafka.utils.Utils$ - fetching topic metadata for topics [Set(words_topic)] from broker [ArrayBuffer(id:0,host: xxxxxx,port:9092)] failed解决方法：Set ‘ad...
部署规划HBase全称叫Hadoop Database，它的数据存储在HDFS上。我们的实验环境依然基于上个主题Hive的配置，参考大数据学习（11）—— Hive元数据服务模式搭建。在此基础上，增加HBase的部署规划。我感觉这8G的内存马上要跑不动了。主机RegionServerMasterserver01 ? server02 ? server03 ??安装HBase把HBase解压到/usr目录下，版本是2.26。[root@server01 home]# tar -xvf hbase-2.2.6-bin.tar.gz -C /usr/把解压好的目录权限修改为...
几个关键性的概念云计算：是指利用大量计算节点构成的可动态调整的虚拟化计算资源，通过并行化和分布式计算技术，实现业务质量可控的大数据处理的计算技术。NameNode：是HDFS系统中的管理者，它负责管理文件系统的命名空间，维护文件系统的文件树以及所有的文件和目录的元数据。这些信息存储在NameNode维护的两个本地磁盘文件：命名空间镜像文件和编辑日志文件。同时，NameNode中还保存了每个文件与数据块所在的DataNode的对应关系...
Scala，一门为大数据而生的编程语言。对于进化缓慢的Java跟C++语言来说，目前Scala无疑更适应现代化特质的语言，语法简洁，同时兼备函数式编程与面向对象编程，具有令人耳目一新的编程范式。而运行在Java虚拟机上的编译环境使得其具有很多的现有工具与类库，拥有快速的可靠的解释器和编译器。大数据，这是一个言必谈及大数据的时代，到处是大数据论坛，连很多企业都要准备搞大数据，在不学习大数据你就out了。从Hadoop兴起的短短几...
Mapper的输出缓冲区MapOutputBuffer 现在我们知道了Map的输入端，紧接着我们看map的输出，这里重点就是context.write这个语句的内涵。获取视频中文档资料及完整视频的伙伴请加QQ群：947967114搞清Mapper作为参数传给map的context，这里我们看Mapper的run被调用的时候作为了参数传递下来。调用Mapper.run的是MapTask. runNewMapper。到这里我们深究一下runNewMapper。我们看MapTask的run方法：我们重点看runNewMapperpublic void ru...
大数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的市场价值。举个例子，美国通用公司是一个生产飞机发动...
（一）、failover故障转移在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示：（1）节点分配Flume的Agent和Collector分布如下表所示：名称Ip地址 Host角色Agent1192.168.200.101Itcast01 WebServerCollector1192.168.200.102Itcast02AgentMstr1Collector2192.168.200.103Itcast03AgentMstr2Agent1数据分别流入到Collector1和Collector2，Flume NG本身提供了Failover机制，可以自动切换...
头一次，参加技术沙龙哈哈哈哈哈第一个牛人演讲概要1.图计算2.Tungsten3.建议图存储与计算机中是一个矩阵，在矩阵中标识各个定点和边的属性。在图中求取关键路径则需要图计算，相对于hadoop的技术要快很多。主要因为图计算的每次迭代都会去掉一些信息（点和线）。hadoop则是全部在进行运算。所以相对于一些图的问题，还是图计算比较快。图计算的几个框架GIRAPH(开源)、GraphLab(开源，速度快)、GoolgePregel（未开源）图计算的应用...
好程序员大数据培训分享实用的大数据之数组1.5.1 数组的定义与元素访问 数组是一个容器, 是一个用来存储指定数据类型的容器注意事项:数组是一个定长的容器, 一旦实例化完成, 长度不能修改名词解释:数组长度: 指的就是这个容器的容量, 表示这个数组中能存储多少个数据元素: 指的就是数组中存储的数据下标: 某一个元素在数组中的一个位置索引遍历数组: 依次获取到数组中的每一个元素数组的元素访问通过下标来访问的, 数组中元素的下...
春节：谁穿了什么，谁唱了什么，什么火？高考：作文题目是什么，哪里又作弊了。中秋、端午：中国节日和外国节日，高速是否免费，食品安全。人生的轮回也许就是这样。大数据能分析的出来这些么？商机在哪里，做IT的你，能看得出来吗？能有对应的产品吗？ 请根据以上描述，写出五个项目的开题报告及项目建议书。原文：http://www.cnblogs.com/viphhs/p/4562426.html
1.《2016大数据面面观》徐培成，多年开发和教学经验，Hadoop专家讲师，Java高级讲师。现为十八掌科技公司创始人，专攻大数据技术与发展方向。简介：介绍大数据在2016年发展现状、趋势以及各类企业在大数据方面的布局和战略调整。中小型企业在大数据方面的渐行渐近的行业趋势，BAT公司在引领全国大数据市场方向的同时，直接利用数据就可以进行盈利。数据就是企业财富之源。时间：4月7日 晚8点30-10点 2.《从面授班学员表现讲述零...
Lambda表达式（也称闭包），是Java8发布的特性中最受期待和欢迎的新特性之一。它可以将大量替代匿名内部类的使用，在简化代码的同时，更突出了原来匿名内部类中最重要的那部分包含真正逻辑的代码。 对于学习大数据的同学来说，当习惯使用类似Scala之类的函数式编程语言以后，你会发现Lambda的可怕之处——用极少的代码完成了之前一个类做的事情！有部分同学苦恼Lambda难学，其实只是你没找对方法。接下来小编就给大家分享一个很棒的...
2014-09-26 08:53:42 【文章出处：http://www.cnblogs.com/wlandwl/archive/2014/09/25/bigpage.html】 在sql sever中大数据的分页一直是难以处理的一块，利用id自增列分页也存在不足之处。从一个相对全面的分页看，sql sever2005中新增的row_number()函数解决了这个问题。还是从一个实际项目开始介绍吧。中国铁建股份公司的项目表中数据很大，开发之初用的是GridView控件自带的分页，在运行一年以后，点击下一页终于是难以等...
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千级)---原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃. ---方法2: 建立主键或唯一索引, 利用索引(假设每页10条)---语句样式: MySQL中,可用如下方法: SELECT * ...
大数据的分析利用已经成为大数据领域的一个迫切问题。如何从海量数据中获取有用的信息？如何将数据信息以直观易懂的形式显示?这是数据显示平台的重要作用。本文就来介绍大数据展示平台，并推荐6款好用的数据展示平台工具。一、数据展示平台介绍数据展示平台可以提取、分析和显示数据，并以多种丰富形式、更加直观的方式，展示数据探索结果。还设计了方便、灵活的交互方式，使非专业用户更方便、快捷地查看和分析多维模型数据。目前...