1.安装ssh免密登录 命令：ssh-keygen overwrite(覆盖写入)输入y 一路回车 将生成的密钥发送到本机地址 ssh-copy-id localhost（若报错命令无法找到则需要安装openssh-clients） yum –y install openssh-clients 测试免密设置是否成功 ssh localhost 2.卸载已有java 确定JDK版本 rpm –qa | grep jdk rpm –qa | grep gcj 切换到root用户，根据结果卸载java yum -y remove java-1.8.0-openjdk-head...
Windows10系统下Hadoop和Hive开发环境搭建填坑指南 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。作者： Throwable 来源：Throwable|2020-11-03 08:36 ?收藏??分享本文...
@Hadoop完全分布式环境搭建（Ubuntu18.04+hadoop2.6.5+jdk1.8.0） Hadoop2.6.5完全分布式环境搭建超详细教程（Ubuntu18.04+hadoop2.6.5+jdk1.8.0） 准备好所需要jdk、hadoop文件，我采用的是 文件名称文件版本号javajdk-8u60-linux-x64.tar.gzhadoophadoop-2.6.5.tar.gz ubuntu虚拟机配置相关（根据自己需要而定） 虚拟机（共计四台，一台主节点master、三台从节点slave） hostname 用户名 密码 内存 磁盘 ip master hadoop ******...
前提 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。 环境准备基于笔者的软件版本洁癖，所有选用的组件都会使用当前（2020-10-30）最高的版本。软件 版本 备注Windows ...
在安装之前，我们需要准备：Linux镜像文件、VMWARE虚拟机 下面以CentOS-6.5为例，进行安装:有需求自取 链接：https://pan.baidu.com/s/1MCgWAdQQKnjoV930HLgq0Q 提取码：sia8 一、创建虚拟机 1. 以管理员身份打开VMWARE软件2. 选择创建新的虚拟机3. 选择自定义，然后点击下一步4. 这里可以直接默认，也可以自行选择，然后点击下一步5. 这里我们选择“稍后安装操作系统”，然后点击下一步6. “客户机操作系统”选择Linux，“版本”...
拿到一份Hadoop源码之后，经常关注的两件事情就是 1、怎么阅读？涉及IDEA和Eclipse工程搭建。IDEA搭建，选择源码，逐步导入即可；Eclipse可以选择后台生成工程，也可以选择IDE导入。二者工程也可以互相导入\到处。 2、怎么构建？利用maven，生成安装包。 二者均需配置maven，相关工具配置参考另两篇帖子《Hadoop源码编译环境搭建》和《IDEA配置maven中央库》 1、下载源码 http://mirror.bit.edu.cn/apache/hadoop/common/ 2、导入...