《大数据技术应用与原理》第二版-第二章大数据处理架构Hadoop

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了《大数据技术应用与原理》第二版-第二章大数据处理架构Hadoop，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含648字，纯文字阅读大概需要1分钟。

内容图文

2.1概述

1. Hadoop是Apache旗下的开源分布式计算平台，是基于Java开发的，具有很好的跨平台特性，其中核心文件是MapReduce和HDFS，而HDFS是根据谷歌文件系统GFS开源实现，是面向普通硬件环境的分布式文件系统，具有很好的容错性和很高的读写速度。MapReduce是根据谷歌的MapReduce开源实现的，允许用户在不了解分布式系统底层实现原理的情况下进行并行程序开发。
2. 分布式存储、分布式处理
3. 高可靠性、高效性、高扩展性、高容错性、成本低、运行在Linux上、支持多种编程语言开发。

2.3安装与使用

1. 单机模式：Hadoop默认模式为非分布式（本地模式），无需进行其他配置即可进行运行。非分布式即单Java进程，方便进行调试。
2. 伪分布式模式：Hadoop可以在单节点上以伪分布式的方式进行运行，Hadoop进程以分离的Java进程来运行，既可以作为NameNode，也可以作为DataNode，同时，读取HDFS中的文件。
3. 分布式模式：使用多个节点构成集群环境运行Hadoop。
4. 三种Shell方式区别：
   1. Hadoop fs 适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
   2. hadoop dfs 只是用于HDFS文件系统
   3. hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS

原文：https://www.cnblogs.com/tsruixi/p/12078844.html

内容总结

以上是互联网集市为您收集整理的《大数据技术应用与原理》第二版-第二章大数据处理架构Hadoop全部内容，希望文章能够帮你解决《大数据技术应用与原理》第二版-第二章大数据处理架构Hadoop所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---