HDFS核心源码分析 目录 Hadoop源码编译HDFS源码结构分析HDFS核心源码解析 学习目标 掌握编译源码的场景掌握Hadoop源码在Linux平台编译了解Hadoop源码在Windows平台编译理解HDFS工程源码结构基于源码理解掌握HDFS读写流程 Hadoop源码编译 为什么要编译源码 —> Native Library本地库 一般译为本地库或原生库，是由C/C++编写的动态库（*.so），并通过JNI(Java Native Interface)机制为java层提供接口。应用一般会出于性能、安全等角度...
在部署hadoop环境是，经常需要把下载好放在window系统本地的文件上传到Linux系统本地文件夹中。 以上传JDK文件为例。 上传步骤如下： 1、输入rz命令，查看该命令是否存在 [admin@master ~]$ rz bash: rz:conmand not found2、出现以上消息则代表该命令不存在。如果输入命令会弹出选择文件的窗口，则代表命令存在，可以正常使用。 那么，当命令不存在时，则需要安装lrzsz，输入如下命令，并等待完成安装 [root@master ~]# yum -y in...
Linux下图示安装Hadoop-2.8.5(单机版)2018年10月25日 23:24:46?大道之简?阅读数 1454更多 分类专栏：?Linux学习?软件工具?Hadoop?前言：Hadoop2.x的四个模块.Hadoop Common，Hadoop HDFS，Hadoop MapReduce，Hadoop YARN.Centos7的版本。 一：Hadoop的的的下载。 1. 官网。 2.版本。 分为源码和二进制的。这里下载二进制的。这里是简单学习使用的是阿帕奇的版本。3.下载的Hadoop。 wget XXX.tar.gz 4.加压到指定的目...
1.安装ssh免密登录 命令：ssh-keygen overwrite(覆盖写入)输入y 一路回车 将生成的密钥发送到本机地址 ssh-copy-id localhost（若报错命令无法找到则需要安装openssh-clients） yum –y install openssh-clients 测试免密设置是否成功 ssh localhost 2.卸载已有java 确定JDK版本 rpm –qa | grep jdk rpm –qa | grep gcj 切换到root用户，根据结果卸载java yum -y remove java-1.8.0-openjdk-head...
LINUX配置主机名 1、输入：hostnamectl或者hostname查看主机名 2、Root 用户 vim /etc/sysconfig/network 添加NETWORKING=yes HOSTNAME=hadoop101 克隆虚拟机只需修改HOSTNAME 3、vi /etc/hostname 修改主机名 4、vim /etc/hosts 配置IP 与主机名 5、修改完成后reboot重启 生效 本地Windows/system32/ drivers\etc\hosts 文件中加入 IP hadoop101 后，可直接ping hadoop101
单机配置环境如下：Hadoop（3.1.1）安装包 JDK1.8.0_231安装包Centos -Linux系统环境使用ssh进行本地免密登录ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsacat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keyschmod 755 ~/.ssh/authorized_key登录成功：安装并配置JDKtar -zxvf jdk-8u231-linux-x64.tar.gzmkdir /usr/loca/javacp jdk1.8.0_231 /usr/local/java/vim /etc/profileexport JAVA_HOME=/usr/local/java/jdk1.8.0_231...
基于Hadoop的Hive的安装与配置 hive的定义与作用 定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 作用 1.） 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 hive的安装配置与调试 前面需要安装配置好hadoop...
条件 采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3。 Spark集群实验环境共包含3台服务器，每台机器的主要参数如 表所示：服务器 HOSTNAME IP 功能spark1 spark1 92.16.17.1 NN/DN/RM Master/Workerspark2 spark2 92.16.17.2 DN/NM/Workerspark3 spark3 92.16.17.3 DN/NM/Worker过程设置服务器的HOSTNAME 在三台服务器上分别设置服务器主机名称，spark1 服务器设置如图所示， spark2和spark3请自从完成。注意：该...
添加链接描述#### 一、安装vmware 链接: https://pan.baidu.com/s/14ALF_iBF6BqYK8ZVJyiOvQ 提取码: bxjr 按照指示安装 特别注意路径设置一定要是英文 二、虚拟机安装点击文件 新建虚拟机选择自定义安装 然后一直默认下一步给虚拟机命名 并选择安装路径（全英文）这里选择1G内存 如果电脑内存较小的 可以适当选小一些 但不要低于512MB 之后都是默认下一步 到安装完成三、Linux安装 点击CD 选择 使用IOS镜像文件 链接: https://p...
在安装之前，我们需要准备：Linux镜像文件、VMWARE虚拟机 下面以CentOS-6.5为例，进行安装:有需求自取 链接：https://pan.baidu.com/s/1MCgWAdQQKnjoV930HLgq0Q 提取码：sia8 一、创建虚拟机 1. 以管理员身份打开VMWARE软件2. 选择创建新的虚拟机3. 选择自定义，然后点击下一步4. 这里可以直接默认，也可以自行选择，然后点击下一步5. 这里我们选择“稍后安装操作系统”，然后点击下一步6. “客户机操作系统”选择Linux，“版本”...