大数据学习笔记 - hadoop day02 - HDFS JAVA API 数据读写流程
HRegion 当表的大小超过设置值的时候，HBase会自动地将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion，一个HRegion会保存一个表里某段连续的数据，从开始主键到结束主键，一张完整的表是保存在多个HRegion上面的。HMaster 管理HRegionServer，实现其负载均衡...
实验目的 了解yum的原理及配置 学习软件的更新与安装 学习源代码编译安装 实验原理 1.编译安装 前面我们讲到了安装软件的方式，因为linux是开放源码的，我们可以直接获得源码，自己编译安装。例如：新建一个hello.c的文件，在里面添加一下内容： #include <stdio.h> int main(void) { printf("Hello World\n"); }然后，使用"gcc hello.c"编译，生成一个a.out的可执行文件，在输入"./a.out"命令，就会发现程序执行打印了一行hell...
在部署hadoop环境是，经常需要把下载好放在window系统本地的文件上传到Linux系统本地文件夹中。 以上传JDK文件为例。 上传步骤如下： 1、输入rz命令，查看该命令是否存在 [admin@master ~]$ rz bash: rz:conmand not found2、出现以上消息则代表该命令不存在。如果输入命令会弹出选择文件的窗口，则代表命令存在，可以正常使用。 那么，当命令不存在时，则需要安装lrzsz，输入如下命令，并等待完成安装 [root@master ~]# yum -y in...
练习 Hbase 基本语法之前我们先解决一个HBase Shell下不能删除的问题；本人使用XShell，同时按下Ctrl+Blackspace 进行删除；如果使用CRT客户端，secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linux英文版本请对应选择输入:执行删除操作时，需要使用组合键：Ctrl+Back Space同时按下，不妨现在就开始尝试一下吧。
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create 表名称, 列名称1,列名称2,列名称N添加记录 put 表名称, 行名称, 列名称:, 值查看记录get 表名称, 行名称查看表中的记录总数count 表名称删除记录delete 表名 ,行名称 , 列名称删除一张表先要屏蔽该表，才能对该表进行删除，第一步 disable 表名称 第二步 drop表名称查看所有记录scan "表名称" 查看某个表某...
上篇内容分析了http server的启动代码，这篇文章继续从initialize()方法中按执行顺序进行分析。内容还是分为三大块： 一、源码调用关系分析 二、伪代码执行流程 三、代码图解 一、源码调用关系分析上一篇内容是NameNode启动http server的分析，是根据锁定NameNode的main()入口，发现了该入口仅有两行核心代码，先进入到了第一行核心代码createNameNode()中，发现默认情况是new了一个NameNode对象。在NameNode的构造方法中，有一些...
Windows配置Hadoop调试环境将Hadoop的压缩包解压到Windows目录中（路径中不要有中文） 配置Hadoop的环境变量：HADOOP_HOME和对应的bin 下载对应版本的winutils，放到Hadoop的bin路径下和Windows\System32下面创建Maven工程 添加依赖 创建一个Maven工程，并添加以下依赖：（注意要和自己的版本对应） <dependencies> <dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency> <...
目录一些基本知识ResourceManager 的恢复Resource Manager的HAYARN Node LabelsYARN Node AttributesWeb Application ProxyYARN Timeline Server基于yarn的API，编写一个可以部署到yarn集群执行的应用应用安全Node ManagerHealth Checker ServiceCGroups with YARNSecure Containers移除节点Opportunistic Containers 机会主义容器配置部署基本部署方式高效能部署一些错误错误1错误3参考资料上一份工作主要负责大数据平台的建设，在...