首页 / HADOOP / Hadoop NFS GateWay部署深入详解

Hadoop NFS GateWay部署深入详解

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop NFS GateWay部署深入详解，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6202字，纯文字阅读大概需要9分钟。

内容图文

目的：通过挂载的方式，可以类似访问本地磁盘的方式一样的访问Hadoop文件，简单、方便、快捷。

0.系统版本&hadoop版本
1）系统版本

            [root@WEB-W031 sbin]# cat /etc/issueCentOS release 5.8 (Final)

2）Hadoop版本

            [root@WEB-W031 /]# hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on2016-01-26T00:08Z
Compiled with protoc 2.5.0From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.7.2.jar
You have new mail in /var/spool/mail/root

1、配置Core-site.xml文件

            <property>
  <name>hadoop.proxyuser.hadoop.groups</name>
  <value>*</value>
  <description>
         The ‘nfsserver‘ user is allowed to proxy all members ofthe ‘users-group1‘ and
         ‘users-group2‘ groups. Note thatin most cases you will need to include the
         group "root" because the user "root" (which usually belonges to"root" group) will
         generally be the user that initially executes the mount onthe NFS client system.
         Set this to ‘*‘ to allow nfsserver user to proxy any group.
  </description>
</property>

<property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
  <description>
         This isthe host wherethe nfs gateway isrunning. Set this to ‘*‘ to allow
         requests from any hosts to be proxied.
  </description>

</property>

含义解读：
1）hadoop.proxyuser.hadoop.groups：第二个和执行Hadoop的用户名一致，本测试用的名称为Hadoop。
2）hadoop.proxyuser.hadoop.hosts：第二个和执行Hadoop的用户名一致，本测试用的名称为Hadoop。

2、配置hdfs-site.xml文件

                 <property>
  <name>dfs.namenode.accesstime.precision</name>
  <value>3600000</value>
  <description>The access timefor HDFS fileis precise upto this value.
    The default value is1 hour. Setting a value of0 disables
    access timesfor HDFS.
  </description>
</property>

  <property>
    <name>nfs.dump.dir</name>
    <value>/tmp/.hdfs-nfs</value>
  </property>

<property>
  <name>nfs.exports.allowed.hosts</name>
  <value>* rw</value>
</property>

<property>
    <name>nfs.rtmax</name>
    <value>1048576</value>
    <description>This isthe maximum size in bytes of a READ request supported bythe NFS gateway. If you change this, make sure you also update the nfs mount‘s rsize(add rsize= # of bytes to the mount directive).</description>
</property>

<property>
    <name>nfs.wtmax</name>
    <value>65536</value>
    <description>This isthe maximum size in bytes of a WRITE request supported bythe NFS gateway. If you change this, make sure you also update the nfs mount‘s wsize(add wsize= # of bytes to the mount directive).</description>
</property>

3、配置*/etc/hadoop/log4j.properties

             log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG
 log4j.logger.org.apache.hadoop.oncrpc=DEBUG

4、root用户下停止portmap(Centos 5.X系统），停止nfs

            
[root@WEB-W031 etc]# service portmap stopStoppingportmap: [ OK ]
[root@WEB-W031 hadoop]# service nfs stop

注意：5.X的portmap 等价于 6.X上的rpcbind
并通过:service nfs status 验证是否已经结束。
并通过：service portmap status 验证是否已经结束。

5、开启Hadoop的Portmap服务（需要root权限）

[root]> /sbin/hadoop-daemon.sh –script /bin/hdfs start portmap

6、开启Hadoop的Nfs3服务（需要执行Hadoop的用户权限，本系统为Hadoop）

[hadoop]$ /sbin/hadoop-daemon.sh –script /bin/hdfs start nfs3

7、开启Hadoop并验证(
需要执行Hadoop的用户权限，本系统为Hadoop

            [root@WEB-W031 sbin]# ./start-dfs.sh
[root@WEB-W031 sbin]# jps14728 ResourceManager
27478 Jps
5228 Portmap
14104 NameNode
14373 SecondaryNameNode
16762 org.eclipse.equinox.launcher_1.3.0.v20130327-1440.jar
13512 Nfs3

8、验证NFS相关服务是否启动成功
1）验证各服务是否成功运行

            [root@WEB-W031 hadoop]# rpcinfo -p $nfs_server_ip
program vers proto port
1000052 tcp 4242 mountd
1000002 udp 111 portmapper
1000002 tcp 111 portmapper
1000051 tcp 4242 mountd
1000033 tcp 2049 nfs
1000051 udp 4242 mountd
1000053 udp 4242 mountd
1000053 tcp 4242 mountd

2）验证挂载是否成功

            [root@WEB-W031 hadoop]# showmount -e $nfs_server_ipExport list forWEB-W031:
/ *

9、实施挂载

             [root]>mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync $10.0.1.31:/  /hdfsnew

10、查看挂载是否成功

            [root@WEB-W031 hdfsnew]# ls -al
total 10
drwxr-xr-x  5 root   2584148964160Mar11 09:43 .
drwxr-xr-x 31 root   root       4096Mar1110:40 ..
drwxr-xr-x  3 root   root         96Mar11 09:58 testing
drwxrwx---  3 hadoop 258414896496Mar911:14 tmp
drwxr-xr-x  3 hadoop 258414896496Mar913:24 user
[root@WEB-W031 hdfsnew]# cd testing/
[root@WEB-W031 testing]# ls -al
total 2
drwxr-xr-x 3 root   root        96Mar11 09:58 .
drwxr-xr-x 5 root   2584148964160Mar11 09:43 ..
-rw-rw-r-- 1 hadoop hadoop      18Mar1110:08 dffafdadafasdfaf
[root@WEB-W031 testing]# echo  "testinglaoyang" > testlaoyang
[root@WEB-W031 testing]# ls -al
total 2
drwxr-xr-x 4 root   root       128Mar1118:05 .
drwxr-xr-x 5 root   2584148964160Mar11 09:43 ..
-rw-rw-r-- 1 hadoop hadoop      18Mar1110:08 dffafdadafasdfaf
-rw-r--r-- 1 root   root        15Mar1118:05 testlaoyang

10、访问效果
技术分享

12、结束服务
1）NFS3服务结束（必须和启动hadoop用户一致）

            [hadoop]$ */sbin/hadoop-daemon.sh --script */bin/hdfs stop nfs3

2）PortMap服务结束（必须为root用户）

            [root]> */sbin/hadoop-daemon.sh --script */bin/hdfs start portmap

3）Hadoop结束（必须和启动hadoop用户一致）

“`
[hadoop@WEB-W031 sbin]# ./stop-dfs.sh

13、常见问题
java 进程占用了111 端口
[root@WEB-W031 etc]# lsof -i:111
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 31206 root 474u IPv4 93384812 0t0 TCP *:sunrpc (LISTEN)
java 31206 root 476u IPv4 93384815 0t0 UDP *:sunrpc
“
解决方案：kill -9 31206

错误明细
[root@xx sbin]# mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs_y
mount.nfs: Input/output error
注意：一定要注意配置文件的细节含义。
解决方案：
http://stackoverflow.com/questions/35910751/hdfs-nfs-gateway-mount-nfs-input-output-error/35935229#35935229

参考：
https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html#Allow_mounts_from_unprivileged_clients
http://tianxingzhe.blog.51cto.com/3390077/1650182

作者：铭毅天下
转载请标明出处，原文地址：http://blog.csdn.net/laoyang360/article/details/50865025
如果感觉本文对您有帮助，请点击‘顶’支持一下，您的支持是我坚持写作最大的动力，谢谢！

原文：http://blog.csdn.net/laoyang360/article/details/50865025

内容总结

以上是互联网集市为您收集整理的Hadoop NFS GateWay部署深入详解全部内容，希望文章能够帮你解决Hadoop NFS GateWay部署深入详解所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1113159.html

来源：【匿名】

【上一篇】[大牛翻译系列]Hadoop（22）附录D.2 复制连接框架【下一篇】php能用hadoop吗

更多 ►

【Hadoop NFS GateWay部署深入详解】教程文章相关的互联网学习教程文章

集群配置虚拟主机及部署Hadoop集群碰到的问题【代码】【图】

配置集群方案Ubuntu下的配置apache虚拟主机方案:对其中的Master节点配置虚拟主机，可以通过Chrome浏览器访问目录。安装虚拟主机之前，先安装Apache2sudo apt-get install apache2再安装php5sudo apt-get install php5然后，进入 /etc/apache2/sites-available文件夹，添加”*.conf”文件往该文件里写入<VirtualHost *:80>ServerName author.xxx.comServerAdmin author.xxx.comDocumentRoot "/home/author"<Directory "/home/au...

Hadoop集群安装部署(VMware)【图】

一、hadoop版本介绍不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称　CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本。　　Cloudera的CDH和Apache的Hadoop对应关系：　　CDH的两个系列版本分别是CDH3和CDH4，CDH3对应Hadoop 1.0...

centos 6.6 hadoop 2.7.1 完全分布式安装部署【图】

1.安装前，准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.2.按如下表格配置IP地址，修改hosts文件及本机名192.168.199.21 hadoop21 Master102.168.199.22 hadoop22 Slave1192.168.199.23 hadoop23 Slave2650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025206968.jpg" width="632" height="359" name="image_operate_78961438613426977" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7....

NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr4.8.1部署(二）

??Precondition:hadoop 2.7.1 hbase 1.0.1.1 / hbase 0.98.13192.168.1.106 ->master 192.168.1.105 ->slave / regionservershbase部署直接下载hbase bin文件hbase1.0.1.1 还有hbase 0.98.13 和hadoop2.7.1 / hadoop 2.5.2 配合并没有问题。只不过Nutch2.3 似乎和hbase 0.98.13 配合比较好。1. 配置hbase-site.xml<configuration> <property><name>hbase.zookeeper.quorum</name><value>192.168.1.105,192.168.1.106</value> </pro...

Hadoop实战-初级部分之 Hadoop安装部署

私塾在线《深入浅出学 Hadoop- 初级部分》 —— 系列精品教程整体课程概览第一部分：开始云计算之旅第二部分：初识Hadoop第三部分：Hadoop 环境安装部署第四部分：Hadoop Shell 基本操作介绍第五部分：Hadoop 分布式文件系统1第五部分：Hadoop 分布式文件系统2第五部分：Hadoop 分布式文件系统3第六部分：MapReduce 开发1第六部分：MapReduce 开发2第七部分：Hadoop集群的安装本节课程概览Hadoop 在windows 上伪分布...

在RHEL 6.5上部署Hadoop 2.6伪分布式模式（单机）【代码】【图】

第一步：安装JAVA 1.7 此步骤略过，太简单了，可参考这个： http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html 第二步：创建Haddop专用用户虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑，还是建议大家创建专用的用户（本例中为hadoop,实际中可以是任意用户名），创建用户的命令：# useradd hadoop # passwd hadoop 创建完用户hadoop后，还要使得hadoop用户可以无密码方...

OpenStack部署到Hadoop的四种方案

随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。在这种情况下，企业将实现最佳的分析处理能力，同时利用私有云的快速弹性(rapid elasticity) 和单一租赁的特性。如何协同效用和实现部署，是本文希望解决的问题。一些基础知识　　第一是OpenStack 。作为目前最流行的开源云版本，它包括控制器、计算(Nova)、存储 (Swift)、消息队列 (RabbitMQ) 和网络 (Quantum) 组件。图 1 提供了这些组件的一个图示...

Mac部署hadoop3(伪分布式)【代码】【图】

环境信息操作系统：macOS Mojave 10.14.6JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)hadoop：3.2.1开通ssh在"系统偏好设置"->"共享"，设置如下：免密码登录执行以下命令创建秘钥：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa一路next，最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件执行以下命令，将自己的秘钥放在ssh授权目录，这样ssh登录自身就不需要输入密码了：cat ~/.ssh/...

阿里云ECS服务器部署HADOOP集群（五）：Pig 安装【代码】

本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 1 环境介绍一台阿里云ECS服务器：master操作系统：CentOS 7.3Hadoop：hadoop-2.7.3.tar.gzJava: jdk-8u77-linux-x64.tar.gzPig: pig-0.17.0.tar.gz2 Pig 下载下载 pig-0.17.0.tar.gz 并在合适的位置解压缩，笔者这里解压缩的路径为:/usr/local将解压得到的目录改名为 hbase 1 cd /usr/local 2mv pig-0.17.0/ pig/3 添加 Pig 环境变量在"...

Hadoop 部署之环境准备(一)【代码】

一、软硬件规划 ID主机类型主机名IP应用软件操作系统硬件配置1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储2物理机datanode01192.168.1.201jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储3物理机datanode02192.168.1.202jdk1.8.0_171、hadoop-2.7....

hadoop高可用的完全分布式部署

1、将zookeeper-3.4.6.tar.gz解压（例：root目录下）2、将/root/zookeeper-3.4.6/conf/zoo_simple.cfg修改为zoo.cfg并修改zookeeper存放文件的目录：dataDir=/tmp/zookeeper添加：#其中1、2、3是zookeeper的服务编号，后面是对应服务器的主机名server.1=zlj02:2888:3888server.2=my01:2888:3888server.3=my02:2888:38883、mkdir /tmp/zookeeper（三个zookeeper所在的机器都要）4、创建并存放各自zookeeper的服务编号：vim /tmp/zoo...

Hadoop 2.2.0部署安装（笔记，单机安装）【代码】【图】

SSH无密安装与配置具体配置步骤：◎ 在root根目录下创建.ssh目录（必须root用户登录）cd /root & mkdir .sshchmod 700 .ssh & cd .ssh◎ 创建密码为空的 RSA 密钥对：ssh-keygen -t rsa -P ""◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中：cat id_rsa.pub >> authorized_keyschmod 644 authorized_keys # 重要◎ 编辑 sshd 配置文件 /etc/ssh/sshd_config ，把 #AuthorizedKeysFile .ssh/authorized_ke...

SPARK安装二：HADOOP集群部署【代码】

一、hadoop下载使用2.7.6版本，因为公司生产环境是这个版本cd /opt wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz二、配置文件参考文档：https://hadoop.apache.org/docs/r2.7.6 在$HADOOP_HOME/etc/hadoop目录下需要配置7个文件1.core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs....

Ganglia监控Hadoop集群的安装部署[转]【代码】【图】

Ganglia监控Hadoop集群的安装部署一、安装环境 Ubuntu server 12.04安装gmetad的机器：192.168.52.105安装gmond的机器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.52.35，192.168.52.36，192.168.52.37，192.168.52.38，192.168.52.105浏览监控web页面的机器：192.168.52.105 二、介绍 Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia- web。gmond 是一个守护...