Centos7.0配置Hadoop2.7.0
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Centos7.0配置Hadoop2.7.0,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2772字,纯文字阅读大概需要4分钟。
内容图文
![Centos7.0配置Hadoop2.7.0](/upload/InfoBanner/zyjiaocheng/954/f5caeee6b6194477876eb03a8118a572.jpg)
一、ssh免密登录
1.命令ssh-keygen、
overwrite输入y一路回车
2.将生成的密钥发送到本机
ssh-copy-id localhost中间会询问是否继续输入“yes”
3.测试免密登录是否成功
ssh localhost
二、Java配置
新建一个文件夹存放java和hadoop这里我在~目录下新建了一个app文件夹下面。
命令行移动文件到新建的app文件夹下。
解压jdk压缩包。
创建软连接或重命名已解压文件夹。
配置jdk环境变量。切换到root用户(输入su命令 切换root用户接着输入root用户密码),然后通过
vi /etc/profile
编辑、etc/profile文件配置环境变量。
编辑好后Esc键接着“:”在输入wq保存并且退出编辑。
使/etc/profile生效,并检测是否配置成功。
配置成功。
三、Hadoop配置
由root用户切换为普通用户,我这里用户名是liu所以使用命令 su liu。
解压Hadoop然后创建软连接或者重命名。
验证单击模式Hadoop是否安装成功,hadoop/bin/hadoop version
此时可以看到Hadoop版本2.7.0,安装成功。可以在hadoop目录下新建一个test.txt输入一下内容。
测试运行Hadoop自带的WordCount程序,统计单词个数。
查看结果文件夹output
查看内容
四、Hadoop伪分布式配置
进入hadoop目录下的/etc/hadoop文件
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627449.jpg)
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627579.jpg)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/data/tmp</value> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property> </configuration>修改core-site.xml文件
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627449.jpg)
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627579.jpg)
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/data/dfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/dfs/data</value> <final>true</final> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>修改hdfs-site.xml文件
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627449.jpg)
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627579.jpg)
export JAVA_HOME=/home/liu/app/jdk1.8.0_141修改hadoop-env.sh
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627449.jpg)
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627579.jpg)
<configuration> <property> <name>mapreduce.frameword.name</name> <value>yarn</value> </property> </configuration>修改mapred-site.xml.template
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627449.jpg)
![Centos7.0配置Hadoop2.7.0 - 文章图片](/upload/getfiles/0001/2021/5/11/20210511123627579.jpg)
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-servies</name> <value>mapreduce_shuffle</value> </property> </configuration>修改yarn-site.xml
配置hadoop环境在 ~/.bashrc文件下
保存退出后记得source ~/.bashrc是修改生效。
然后在~下创建配置文件中的目录,
mkdir -p data/p mkdir -p /data/dfs/name mkdir -p /data/dfs/data
第一次需要格式化namenode,进入hadoop目录下。
cd /home/liu/app/hadoop
格式化。
bin/hdfs namenode -format
启动hadoop
sbin/start-all.sh
启动完毕后输入jps查看。
最重要的是NameNode和DataNode。这样就配置并且启动成功了。
需要注意的是如果jps后并没有则说明配置错误,请检查配置文件,若配置完环境变量后检测是否成功,提示失败并给出路径,很有可能是环境变量配置路径错误。
若第一次启动hadoop失败,后边重新启动的时候,请删除~下新建的data文件重新格式化NameNode。
内容总结
以上是互联网集市为您收集整理的Centos7.0配置Hadoop2.7.0全部内容,希望文章能够帮你解决Centos7.0配置Hadoop2.7.0所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。