一、背景在目前规模比较大的互联网公司中，总数据量能达到10PB甚至几十PB数据量的公司，我认为中国已经有超过了20家了。而在这些公司中，也有很多家公司的 日数据增长达到100TB+ 了。所以我们每天都要观察集群的数据增长，观察是否有哪一天、哪个路径增长过猛了，是否增长了很多垃圾数据；继续深挖下去，看看是不是可以删掉无用的数据。此外我们还要做“容量预估“，把未来的数据增长规划出来，主要是依靠数据增长斜率计算出未来一...
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：- http://hadoop.apache.org/releases.html- SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributed Hadoop，100%永久开源）下载地址： - http://archive.cloudera.com/cdh4/cdh/4/（是tar.gz文件！） - http://archive.cloudera.com/cdh5/cdh/ （是tar.gz文件！）2.2官方版本说明(1) 官网：http://hadoop.apache.org(2) 下载...
很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapReduce。HDFS全称Hadoop Distributed File System，是一种分布...
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运行DAG，但本篇文章主要聚焦在多台机器上运行DAG的情况。关注点当选择不同的流处理系统时，有以下几点需要注意的：运行时和编程模型：平台框架...
HDFS写数据流程1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个 Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。6）dn1、dn2、dn3逐级...
一、前言1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群二、搭建Hadoop集群1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来2、清空数据，首先把运行单机模式后生成的数据全部清理掉rm -rf /work/hadoop/nn/currentrm -rf /work/hadoop/dn/currenthdfs namenode -format3、启动集群（1）storm1作为n...
概述说到对Hadoop和 HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用 zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带 了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发行版还有自己定制的接口，不过可能知道的人就不太多了。其实这个...
在实时数据的世界当中，我们为什么还要执着于Hadoop这一片森林?作为一套以批量处理为主要诉求的架构方案，Hadoop仍然堪称大数据技术领域的荣耀长子。然而根据451研究集团的调查数据显示，其实际普及效果仍然不及显赫的声誉。那些已经率先部署了Hadoop解决方案的企业可能希望稍稍放慢自己的前进脚步。伴随着Apache Spark以及其它一系列技术方案的出台(包括Storm、Kafka等等)，我们似乎与Hadoop的批量处理思路渐行渐远、转而踏上了一...
前言 我们知道HDFS集群中，所有的文件都是存放在DN的数据块中的。那我们该怎么去查看数据块的相关属性的呢？这就是我今天分享的内容了一、HDFS中数据块概述1.1、HDFS集群中数据块存放位置 我们知道hadoop集群遵循的是主/从的架构，namenode很多时候都不作为文件的读写操作，只负责任务的调度和掌握数据块在哪些datanode的分布， 保存的是一些数据结构，是namespace或者类似索引之类的东西，真正的数据存储和对数据的读写是...
-- 建立源库表 USE source; -- 建立客户表 CREATE TABLE customer ( customer_number INT NOT NULL AUTO_INCREMENT PRIMARY KEY comment ‘客户编号，主键‘, customer_name VARCHAR(50) comment ‘客户名称‘, customer_street_address VARCHAR(50) comment ‘客户住址‘, customer_zip_code INT comment ‘邮编‘, customer_city VARCHAR(30) comment ‘所在城市‘, customer_state VARCHAR(2) ...
我在看《Hadoop权威指南》时，里面提供了NCDC天气数据样本，提供的下载链接是：点击打开链接,但是里面只提供了1901和1902这两年的数据，这未免也太少了点！完全称不上“BIG DATA”，于是我现在提供一个方法获取1901年到2014年的天气数据样本。在网站：点击打开链接中提供了这些数据包，虽然每一个包都只有几十K,但是数据包太过于多了，原来是太少了，现在是太多了，都是个问题，不可能一个个手动去下载，其实编写几行shell语句就可...
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html一、数据情况分析1.1 数据情况回顾 该论坛数据有两部分： （1）历史数据约56GB，统计到2012-05-29。这也说明，在2012-05-29之前，日志文件都在一个文件里边，采用了追加写入的方式。 （2）自2013-05-30起，每天生成一个数据文件，约150MB左右...
hdfs单个节点内多个磁盘不均衡时（比如新加磁盘），需要手工进行diskbalancer操作，命令如下# hdfs diskbalancer -help plan usage: hdfs diskbalancer -plan <hostname> [options] Creates a plan that describes how much data should be moved between disks.--bandwidth <arg> Maximum disk bandwidth (MB/s) in integerto be consumed by diskBalancer. e.g. 10MB/s.--maxerror <arg> Describes how...
HDFS简单介绍HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。 与其他分布式文件系统显著不同的特点是：HDFS是一个高容错系统且能运行在各种低成本硬件上； 提供高吞吐量，适合于存储大数据集； HDFS提供流式数据访问机制。 HDFS起源于Apache Nutch，现在是Apache Hadoop项目的核心子项目。 HDFS设计假设和目标硬件错误是常态 在数据中心，硬件异常应被视作常态而非异常态。 在一个大数...
一、用途 边数据是作业所需的额外的只读数据，通常用来辅助主数据集；二、方法1、利用Configuration类来配置，利用setter()和getter()可方便的使用，方便存储一些基本的类型；2、分布式缓存：相比这下，分布式缓存更灵活，它能在任务运行过程中及时地将文件和存档复制到任务节点以供使用；通常每个作业中，各个文件只需复制到一个节点一次。 原理： 当启动一个作业时，Hadoop会把由-files -archives -libjars添加的文件复制到...