1、YARN：将资源管理和作业调度/监控分成两个独立的进程。 包含两个组件：ResourceManager和ApplicationMaster2、YARN的特性： 1）可扩展性；2）高可用性（HA）；3）兼容性（1.0版本的作业也可以执行）；4）提高集群利用率；5）支持MapReduce编程范式。3、Hadoop的进程： 1）NameNode HDFS的守护进程； 2）Secondary NameNode 监控HDFS状态的辅助后台程序，备用NameNode； 3）DataNode 负责把HDFS的数据块写到本地文件系...
很久没有来写博客了，忙于工作，已经不再公网上发总结很久了。近些年来大数据很火，从云开始，云过后就是大数据，两者有一定的关系。大数据在于数据量之大，关系复杂，有人总结为几条特性，这里不列举。目前只是个开篇，开始继续这里的生涯。大数据依赖于底层的分布式架构，运行计算的拆分。更加在于深度学习的升温， 机器学习、推荐技术在越来越多的互联网公司得到重视， 很多底层的数据工作跟这相关，最终变现的能力也很大层度依...
当今的商业决策对基于天的数据依赖越来越强烈。然而，正确而连贯的数据流对商业用户做出快速、灵活的决策起到决定性的作用。建立正确的数据流和数据结构才 能保证最好的结果。这个过程叫做数据建模。为了避免认为错误并且加快进度，我们需要使用专业的软件来帮助我们建立数据逻辑模型和物理模型、生成DDL，并 且能够生成报告来描述这个模型，同时分享给其他伙伴。本文列出的工具都是从Data to Value公司咨询顾问处精挑细选的数据建...
面试中的问题（重点）** 1. RDD的特性（RDD的解释）1.RDD可以看做是一些列partition所组成的2.RDD之间的依赖关系3.算子是作用在partition之上的4.分区器是作用在kv形式的RDD上5.partition提供的最佳计算位置,利于数据处理的本地化即计算向数据移动而不是移动数据ps:RDD本身是不存储数据,可以看做RDD本身是一个引用数据RDD弹性1) 自动进行内存和磁盘数据存储的切换Spark优先把数据放到内存中，如果内存放不下，就会放到磁盘里面，程...
最近火狐浏览器弹出FlashPlayerPlugin_12_0_0_44.exe 应用程序错误，郁闷了好久，终于找了办法，分享给大家。C:\Windows\SysWOW64\Macromed\Flash\mms.cfg 打开后有两条SilentAutoUpdateEnable=1 AutoUpdateDisable=0在后面加上： ProtectedMode=0 重启火狐。原文：http://blog.csdn.net/hadoopdevelop/article/details/19537381
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ 解析:bitmap算法就好办多了 所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 例如，要判断一千万个人的状态，每个人只有两种状态：男人，女人，可以用0，1表示。那么就可以开一个int数组，一个int有32...
一、安装并配置Linux8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod775 /opt/* chown beifeng:beifeng /opt/*最终效果如下：[beifeng@beifeng-hadoop-02 opt]$ pwd /opt [beifeng@beifeng-hadoop-02 opt]$ ll total 20 drwxrwxr-x. 5 beifeng beifeng 4096 Jul 3000:13 clusterap...
SparkSQL(Spark用于处理结构化数据的模块)通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中：数据集：北京市PM2.5数据Spark版本：2.3.2Python版本：3.5.2mysql-connector-java-8.0.11 下载ElasticSearch：6.4.1Kibana：6.4.1elasticsearch-spark-20_2.11-6.4.1.jar 下载具体代码： 1# coding: utf-8 2import sys3im...
String数据结构的基本操作首先说一下数据结构String，这是Redis中最简单的一种数据结构，和MemCache数据结构是一样的，即Key-Value型的数据，根据Redis官方文档，Value最大值为512M。下面用表格来看一下String操作的相关命令：命令描述用法SET（1）将字符串值Value关联到Key（2）Key已关联则覆盖，无视类型（3）原本Key带有生存时间TTL，那么TTL被清除SET key value [EX seconds] [PX milliseconds] [NX|XX]GET（1）返回key关联的字...
Scala多重继承、构造器的执行顺序、AOP实现多重继承的trait实现：Scala中接口可以继承具体的类，trait接口可以实现多重继承，并且某个类也可以继承特定的类，在继承后面可以混入，接口的实现多重继承构造器执行顺序：多重继承构造器执行顺序是从左到右按次序执行，如果前面类以及被继承实现了，后面的类就没有必要去实现，父类只需执行一次object triatScala {def main(args: Array[String]): Unit = {val t1 = new PianoTeacher t...
一、Redis内存数据库一个key-value存储系统，支持存储的value包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。数据存在缓存中。与MemCached区别：（*）支持持久化 （*）丰富的数据类型（*）实现了主从同步（*）补偿了key/Value存储的不足 3、Redis的特点 （*）基于内存 （*）持久化: RDB、AOF （*）消息机制：支持String，只支持Topic的消息（广播） （*）丰富...
1.关于MapReduceMapReduce是一种可用于数据处理的编程模型，能够支持java、Python、C++等语言。MapReduce程序本质上是并行运行的，因此可以处理大规模数据集，这也是它的优势。2.使用hadoop分析数据hadoop提供了并行处理，我们将查询表示成MapReduce作业。MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键/值作为输入和输出，并选择它们的类型。程序员还需要定义两个函数：map函数和reduce函数。Java Map...
大数据时代的数据价值随着大数据时代的数据价值大数据在各个领域的深入应用，大数据本身存在的价值也正在凸显， 研究人员与商业用户等分析大数据，是为了洞察客户的真正需求。数据有价值，公司离不开数据，但是大数据时代的数据价值究竟有多值钱呢？分析大数据并从中获取价值的成本到底有需要多少呢？在过去，技术专家向高级管理层提供的是历史数据，以便他们能够确定市场趋势。统计数据尽管对在较高层次了解市场趋势以及组织如何做...
1.从新闻url获取新闻详情： 字典,anews#点击次数def click(url):id = re.findall(‘(\d{1,5})‘, url)[-1]clickUrl = ‘http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80‘.format(id)resClick = requests.get(clickUrl)newsClick = resClick.text.split(‘.html‘)[-1].lstrip("(‘").rstrip("‘);")return newsClick#发布时间def newsdt(showinfo):newsDate = showinfo.split()[0].split(‘:‘)[1]newsTime = showinfo.spli...
前言 因为语言能力比较差,个人只稍接触过python,php,shell(也算语言吧^^),突然遇到echarts javascripts语言类型,看了多遍官网也一直没有什么思路,网上找到的部分文章表示云里雾里,索引耐着性子钻研了会javascripts 和 echarts 感觉还是非常简单的。 Echarts简介 Echarts简介 百度开源产品 Echarts主要用于数据汇总后的图表展示,基于zreader底层类库,通过创建坐标,图例,提示等组件,通过柱状图,散点图,拆线图,仪表图,地图等方式静态...