Hadoop简易执行集群

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop简易执行集群，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1841字，纯文字阅读大概需要3分钟。

内容图文

操作

       1.配置Hadoop格式化
           NameNode 格式化
            su - hadoop
            cd /hadoop的路径/
            bin/hdfs namenode -format
        
        2.启动NameNode
           dxc
           hadoop-daemon.sh start namenode
        
        3.查看java进程
           jps
        
        4.slave 启动DataNode  
          dxc2
          hadoop-daemaon.sh start datanode
          jps
          dxc3
          hadoop-daemon.sh start datanode
          jps
        
        5.启动SecondaryNameNode
          hadoop-daemon.sh start secondarynamenode
          jps
        
        6.查看HDFS数据存放位置
          dxc
          ll dfs/
        
        7.查看HDFS的报告
          hdfs dfsadmin -report
        
        8.使用浏览器查看节点状态
           http://dxc:50070(页面中的 Overview)
           
        9.使用start-dfs.sh 命令启动 HDFS(这里需要配置 SSH 免密登录) 
        
        10.实践操作
          在HDFS文件系统中创建数据输入目录
          start-yarn.sh
          jps
        
        11.hdfs dfs -mkdir /input
             hdfs dfs -ls /
        
        12.在/input/下创建一个data.txt
             touch data.txt
             cat /input/data.txt
             hello  Word
             hello hadoop
             hello dxc
        
        13.将数据文件复制到HDFS的/input 目录中
            hdfs dfs -put 文件路径 /HDFS的input路径
        
        14.确认已成功复制
            hdfs dfs -ls /input
        
        15.创建 output 目录
            hdfs dfs -mkdir /output
        
        16.查看消息
            hdfs dfs -ls /
        
        17.删除 output目录
            hdfs dfs -rm -r -f /output
        
        18.执行运行 WordCount
            hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/data.txt /output
            
        19.页面查看
            http://dxc:8088

内容总结

以上是互联网集市为您收集整理的Hadoop简易执行集群全部内容，希望文章能够帮你解决Hadoop简易执行集群所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---