一、Java配置 1、完整路径不能有空格：C:\jdk1.8.0_101 2、配置环境变量：JAVA_HOME 二、Hadoop配置 1、完整路径不能有空格：F:\0002_BigData\Soft\hadoop-2.7.6 2、创建文件夹：data、name、tmp3、下载winutil，拷贝至：F:\0002_BigData\Soft\hadoop-2.7.6\bin 4、配置：hadoop-env.cmd5、配置：core-site.xml6、配置：mapred-site.xml7、配置：hdfs-site.xml8、配置：yarn-site.xml9、进入bin，初始化环境10、进入sbin，启动Ha...
一、前言Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。首先，步骤：① 准备安装包和工具：hadoop-3.1.2.tar.gzjdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）CertOS-7-x86_64-DVD-1810.iso（CentOS镜像） 工具：WinSCP（用于上传文件到虚拟机），SecureCRTP ortable（用于操作虚拟机，可复制粘贴Linux命令。不用该工具也可以，但是要纯手打命令），V...
然后我们再来看下,这个客户端去从hadoop的hdfs上面读取数据的一个过程. 1.首先我们先看一下hadoop是怎么来存数据的. 2.首先对于namenode节点来说,我们说他存了元数据,比如他这里存了一个/usr/atguigu/ss.avi这个文件,注意他仅仅是存了一个元数据,比如名字,路径. 然后namenode还存了,比如我这个文件有两个block块,比如是blk_1,和blk_2,这两个块.然后为了安全起见,这个namenode也会把这两个块信息,存3个副本放起来. 3.然后namenod...
文章目录分布式计算框架——MapReduce一、MapReduce概述 二、MapReduce编程模型简述 三、combiner & partitioner3.1 InputFormat & RecordReaders 3.2 Combiner 3.3 Partitioner四、MapReduce词频统计案例4.1 项目简介 4.2 项目依赖 4.3 WordCountMapper 4.4 WordCountReducer 4.4 WordCountApp 4.5 提交到服务器运行五、词频统计案例进阶之Combiner5.1 代码实现</
文章目录 一、Linux 操作系统的安装二、在 Ubuntu 20.04.2.0 中 进行 Hadoop 伪分布式安装1、Ubuntu 20.04.2.0 安装 jdk2、配置 SSH 无密码登录3、Hadoop 的下载与安装4、Hadoop 环境配置5、启动与关闭 Hadoop6、查看 Hadoop 的基本信息6.1、查看 HDFS Web 界面6.2、查看 YARN Web 界面三、在 Centos7 中 进行 Hadoop 伪分布式安装 一、Linux 操作系统的安装 2021年 全网最细 Windows 系统安装虚拟机Vmware15 及 CentOS7系统和远程...
然后我们再来看看,如果我们的文件比较大,比如一个文件有10g,这个如果是个日志文件的话, 我们只读取最新的128M可以嘛? 因为我们只关心最新的日志对吧. 是可以的.首先我们上传一个大点的文件,去hdfs中去,比如这个 hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz / 上传到根目录然后我们去看看,可以看到 有个block0 size是1
Hadoop完全分布式平台搭建 搭建步骤： 1. 静态IP的配置 2. jdk的安装、克隆虚拟机 3. 修改虚拟机的主机名，并添加映射 4. 配置SSH免密登录 5. 配置时间同步服务 6. Hadoop安装（master上操作） 7. Hadoop文件夹的分发 8. 集群启动 【讲在前面】 Hadoop完全分布式集群的搭建需要多台虚拟机，每台虚拟机单独安装配置比较麻烦，因此我们可以在VMware中创建一个虚拟机后完成公共的基础配置然后直接创建完整克隆，这样效率比较高。 Hado...
一、风哥大数据运维架构师实战培训专题2.0介绍课程背景：为满足想学习和掌握大数据运维与体系架构的学员，风哥特别设计的一套比较系统的大数据库运维培训课程。 课程目标：本套风哥大数据运维架构师实战培训课程，分5个阶段：大数据Hadoop核心架构运维实战、大数据存储管理与查询分析实战、大数据计算框架与消息搜索实战、大数据安全调度与数据采集实战、大数据集群管理平台运维实战。学完本套风哥大数据课程可以熟悉Hadoop大数据生...
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O流操作（自定义框架使用）3.3.1 HDFS文件上传3.3...
文章目录MapReduce案例实操1、MapReduce核心编程思想 2、MapReduce程序运行流程详解 3、案例实践 3.1、WordCount案例 3.2、数据清洗案例MapReduce案例实操 1、MapReduce核心编程思想 ? 1）分布式的运算程序往往需要分成至少2个阶段 ? 2）第一个阶段的maptask并发实例，完全并行运行，互不相干 ? 3）第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出 ? 4）MapReduce编程模型只...
目录 Hadoop学习路上的那些事儿，很有必要分享出来 什么是Hadoop 实验过程 实验总结Hadoop学习路上的那些事儿，很有必要分享出来 什么是Hadoop 从广义上讲呢，是一个大数据生态，从狭义上讲呢，主要包含了分布式文件系统（HDFS）、资源管理（YARN）、批处理（MapReduce）。 一言不合上官网。http://hadoop.apache.org/ 实验过程 实验准备： 1. 云主机一台，此实验采用的是移动云云主机。（相当于虚拟机） 2. JDK安装包，版本...
系统环境: CentOS7.9关闭: selinux、firewalld软件版本: jdk-16_linux-x64 hadoop-2.10.1 一、创建两个目录mkdir -p /opt/softwaremkdir -p /opt/module二、上传hadoop-2.10.1和jdk-16_linux-x64到/opt/software目录三、解压缩包tar -xvf /opt/software/jdk-16_linux-x64_bin.tar.gz -C /opt/module/tar -xvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/mo...
1.1 版本说明 软件 版本 CentOS Linux release 7.5.1804 (Core) jdk jdk-8u112-linux-x64.tar.gz Ambari ambari-2.6.1.0-centos7.tar.gz HDP HDP-2.6.4.0-centos7-rpm.tar.gz HDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz 1.2 linux版本 HDP 安装 linux 版本 centos7.5 mini的英文版， 中文版会有一系列的安装问题 1.3 端口 检查端口命令： netstat -anp | grep 5432 HDP 默认使用 8080 端口 注意： 因为HDP版是使用ambari来管理h...
课程目录 01.Hadoop_开篇_课程整体介绍.mp4 02.Hadoop_概论_大数据的概念.mp4 03.Hadoop_概论_大数据的特点.mp4 04.Hadoop_概论_大数据的应用场景.mp4 05.Hadoop_概论_大数据的发展场景.mp4 06.Hadoop_概论_未来工作内容.mp4 07.Hadoop_入门_课程介绍.mp4 08.Hadoop_入门_Hadoop是什么.mp4 09.Hadoop_入门_Hadoop发展历史.mp4 10.Hadoop_入门_Hadoop三大发行版本.mp4 11.Hadoop_入门_Hadoop优势.mp4 12.Hadoop_入门_Hadoop1.x2.x3....
作用负责整个集群资源的管理和调度,是Hadoop的一个通用的资源管理系统定义Apache Hadoop YARN (Yet Another Resource Negotiator ,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处Yarn角色及概念 Resourcemanager-处理客户端请求-启动/监控ApplicationMaster-监控NodeManager-资源分配与调度Nod...