Hadoop完全分布式配置全过程②之Ubuntu18.04.4环境下配置xsync实现文件的集群分发

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop完全分布式配置全过程②之Ubuntu18.04.4环境下配置xsync实现文件的集群分发，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2513字，纯文字阅读大概需要4分钟。

内容图文

Hadoop完全分布式配置全过程之Ubuntu18.04.4环境下配置xsync实现文件的集群分发

• 注
• 配置SSH
• 配置静态IP
• 配置xsync

注

在配置完全分布式集群时，可以先进行xsync的配置，这样只要在主节点上完成jdk和hadoop的配置，再将jdk和hadoop的文件夹以及修改过的配置文件分发给子节点，就可以避免重复工作。

配置SSH

1. 一般Ubuntu都会默认安装openssh-client,但是没有安装openssh-server。 所以，第一步下载 openssh-server。
   sudo apt-get install openssh-server
2. 下载成功后，启动 ssh 服务，通过 ps -e | grep sshd 来查看是否安装成功， 可以看到进程 sshd，安装成功。
   启动SSH：sudo /etc/init.d/ssh start
   查看状态：ps -e | grep sshd
3. 进入/etc/ssh 修改 ssh_config 和 sshd_config 文件。
   • 将 ssh_config 文件中 PasswordAuthentication yes 前的#删除。
   • 将 sshd_config 文 件 中 PermitRootLogin prohibit-password 改 成 PermitRootLogin yes。
4. 重启 ssh 服务。
   sudo /etc/init.d/ssh restart
5. 通过ssh <本机名>检查。
6. 另外两台虚拟机也按照同样的方法配置。

配置静态IP

*：使用VMware进行如下配置，如果是实体机，直接ip a看ip，进行第⑦步配置/etc/hosts就好了
**：第⑤⑥⑦步均需要在三台主机上分别进行一遍。

1. 点击菜单栏“编辑”->“虚拟网络编辑器”，将其中配置改为如下图所示。
   

2. 点击“NAT 设置”，查看网关 IP。
   

3. 点击菜单栏“虚拟机”->“可移动设备”->“网络适配器”->“设置”，选 择“自定义”，如下图。
   

4. 在终端输入ip a查看网卡编号，我的虚拟机网卡编号，如图，是 ens32
   

5. 分别编辑三台主机/etc/network/interfaces文件，添加：

auto ens32
iface ens32 inet static
address 192.168.80.xxx //自定义三个不同编号，分别写入三台主机的文件中
netmask 255.255.255.0
gateway 192.168.80.2 //第 2 步操作中查看过网关 ip

6. 重启网络服务sudo /etc/init.d/networking restart。
7. 将配置的三个静态IP，以“静态ip 主机名”的形式写入/etc/hosts文件。三台主机上的/etc/hosts文件都要改。

配置xsync

1. 三台虚拟机上分别下载 rsync
   sudo apt-get install rsync
2. 在主节点中进入/usr/local/bin文件夹，编辑 xsync 文件。xsync脚本内容如下：（需要修改#5 循环中的host值和主机名）
   例如： 三台机器用户名为hadoop-1、hadoop-2、hadoop-3，主节点为hadoop-1，则主机名改为hadoop-，for循环中改为(host=2;host<4;host++)。

#!/bin/bash

# $#：表示传递给脚本或函数的参数个数。
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
 
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
 
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
 
#4 获取当前用户名称
user=`whoami`

#5循环
for (( host=xxx; host<xxx; host++)); do
echo -------<主机名>$host -----------------------
rsync -rvl $pdir/$fname  $user@<主机名>$host:$pdir
done

3. 修改 xsync 文件权限。
   chmod +x xsync
4. 测试，并到子节点对应目录检查。
   xsync 文件(夹)名

内容总结

以上是互联网集市为您收集整理的Hadoop完全分布式配置全过程②之Ubuntu18.04.4环境下配置xsync实现文件的集群分发全部内容，希望文章能够帮你解决Hadoop完全分布式配置全过程②之Ubuntu18.04.4环境下配置xsync实现文件的集群分发所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---