首页 / HADOOP / hadoop基础概念之Hadoop核心组件

hadoop基础概念之Hadoop核心组件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop基础概念之Hadoop核心组件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1687字，纯文字阅读大概需要3分钟。

内容图文

   认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍：

  • Hadoop 组件

技术分享650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107084403110.jpg" title="Hadoop组件.png" />

由图我们可以看到 Hadoop 组件由底层的 Hadoop 核心构件以及上层的 Hadoop 生态系统共同集成，而上层的生态系统都是基于下层的存储和计算来完成的。

首先我们来了解一下核心构件： Mapreduce 和 HDFS 。核心组件的产生都是基于 Google 的思想来的， Google 的 GFS 带来了我们现在所认识的 HDFS ， Mapreduce 带来了现在 Mapreduce 。因为 Google 有 bigtable 的概念，就是通过一个表格去存储所有的网页数据，从而也带来了 Hbase, 但 Hbase 只是这种架构思想，架构并不完全一样。

而位于上层的生态就是围绕 Hadoop 核心构件进行数据集成，数据挖掘，数据安全，数据管理以及用户体验等。

  • 大数据处理：

技术分享650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107084403266.jpg" title="大数据处理.png" />

以上的流程符合大数据所有的应用场景。那么大数据处理，首先必须有各种的数据源，这个数据源包含了所有传统的结构化的数据，服务器的认证以及非结构化的文本（如 PDF 及 CSV ）。之前做过一个检察院的项目，大量的案例及文书都是以 PDF 和 CSV 的形式存在的，加入到 Hadoop 统一进行结构化和建模，进行全民索引，大大提高了效率。

接着就是数据存储层，数据存储层可以选择 HDFS ，也可以选择 HBase 。它们两个如何来更好的选择呢？ HDFS 一般是大量数据集的时候用比较好，因为 HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。而 HBase 更多的是利用它的随机写，随机访问的海量数据的一个性能。

然后就是数据处理工具，基本的就是 spark 和 mapreduce, 更高级的就是 hive 和 pig ，有机会我会做详细的分析。在这些数据处理工具的之后，我们要跟 BI 和现有的、传统的数据进行集成，这时我们可以使用 Impala ，进行及时查询。首先我们要提前建好 Q ，算出维度、指标，通过 Impala 钻去，切片、切块，速度很快。 search 就是权威索引，之前工作都做完后，可以通过搜索去查找到需要的信息。

  大数据处理都是需要这些组件来发挥作用，只是组件所处的阶段不一样而已,下面来介绍一下核心的组件。

  • Hadoop 核心

 技术分享650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107084403595.jpg" title="Hadoop核心.png" />

这里主要强调 YARN ：我们都知道大家使用资源都是一个共用集群资源，在使用资源的过程中就需要进行资源控制，而 YARN 就可以起到控制和使用资源多少的一个作用。

以上就是给大家介绍的 Hadoop 的组件 ，至于每一个组件的作用，后续我也会给大家做一个知识分享。建议对大数据感兴趣的同学自己平时多学习和了解，我平常喜欢关注大数据 cn 和大数据时代学习中心这些微信公众号，里面介绍的一些知识很不错，可以看一下。另外自己可以多看一些这方面的书籍，不断提升和完善自己的知识架构！


本文出自 “11872756” 博客，谢绝转载！

原文：http://11882756.blog.51cto.com/11872756/1878543

内容总结

以上是互联网集市为您收集整理的hadoop基础概念之Hadoop核心组件全部内容，希望文章能够帮你解决hadoop基础概念之Hadoop核心组件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1072264.html

来源：【匿名】