首页 / HADOOP / Hadoop入门学习笔记---part1

Hadoop入门学习笔记---part1

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop入门学习笔记---part1，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2727字，纯文字阅读大概需要4分钟。

内容图文

      随着毕业设计的进行，大学四年正式进入尾声。任你玩四年的大学的最后一次作业最后在激烈的选题中尘埃落定。无论选择了怎样的选题，无论最后的结果是怎样的，对于大学里面的这最后一份作业，也希望自己能够尽心尽力，好好做。正是因为选题和hadoop有关，现在正式开始学习hadoop。将笔记整理于此，希望与志同道合的朋友共同交流。

             作者：
            
                itRed
            
             邮箱：
            it_red@sina.com
            个人博客链接：
            http://www.cnblogs.com/itred

      好了，废话不多说。进入正题！开始hadoop的学习。

　　part1的主要任务是了解Hadoop项目，理解Hadoop的相关术语，了解Hadoop的部署模式，为伪分布式模式准备集群的环境。

一．Hadoop项目简介：

技术分享这就是Hadoop的logo。而Hadoop的形象代言人就是这只棕黄色的小象。实际是一小孩儿的填充玩具，如果有兴趣了解Hadoop的名字起源。可以百度。

     这里对Hadoop的介绍仅仅起到一个抛砖引玉的作用，我相信没有任何文档的介绍能搞比得上Hadoop的官方文档。贴出Hadoop官网：http://hadoop.apache.org/，因此阅读官方文档时最好的一种真正理解这门技术的方式。在此，我谈谈自己的理解。Hadoop是一个分布式系统基础架构，但是它可以让开发者在不需要了解分布式底层的基础上，开发分布式程序和应用。而且可以充分利用其集群的能力来进行高速运算和存储。一句话，就是它是适合打数据的分布式存储与计算平台。

     Hadoop的核心设计就是HDFS（Hadoop分布式文件系统）和MapReduce。关于这些术语的介绍我会在后文给出解释。HDFS为海量的数据提供了存储，而MapReduce为海量数据提供了计算。

    Hadoop项目主要包含的模块有：

    　　Hadoop Common：这个Common套件主要为支持其他的Hadoop模块；

    　　HDFS：一种分布式文件系统，支持高吞吐量的应用数据；

   　　 Hadoop YERN：一种任务调度的框架和群资源管理；

    　　Hadoop MapReduce：YERN依靠的系统，主要用于处理打数据。

二．Hadoop 重要术语理解：

       HDFS：Hadoop Distributed File System （Hadoop分布式文件系统）默认的最基本的存储单位是64M的数据块。而在HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

       MapReduce：就是一种编程模型，用于大规模数据集（大于1TB）的并行运算。"Map（映射）"和"Reduce（归约）"，以及它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

三．Hadoop的部署模式主要分为三种：

      本地模式：此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。

      伪分布模式：hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。

      集群模式：hadoop守护进程运行在一个集群上。

四．为安装Hadoop准备环境（伪分布模式）：实现伪分布模式下的hadoop集群环境搭建。

     准备软件：

　　　　在虚拟机中装一个linux系统；

　　　　Jdk;（版本根据您的实际情况来选择）

    在linxu中安装jdk时，需要给jdk权限命令：chmod o+x  jdk..(根据版本的实际情况来);

     然后利用 ./jdk….(版本)   进行安装；

　　安装后的路径在:  /usr/java

　　然后将java加入环境变量：#vi  /etc/profile

JAVA_HOME=/usr/java/jdk….
PATH=$PATH:/usr/java/jdk../bin
CLASSPATH=.:/usr/java/jdk…/jre/lib/rt.jar
Export JAVA_HOME PATH CLASSPATH

 　　关闭linux防火墙：

            命令：
#service iptables status 
            //
            查看防火墙状态
#service iptables stop   //关闭防火墙
#chkconfig iptables off  //设置防火墙的自动启动为off,即禁止自启动

　　修改ip：网络链接方式设置为host-only ,根据自己的实际宿主机ip地址进行更改

 命令：# vi  /etc/sysconfig/network-s/ifcfg-eth0  //利用vi修改

　　修改hostname：

 命令：#vi /etc/sysconfig/network    //机器重启后有效
           HOSTNAME=Hadoop

　　ssh自动登陆：注意并不是java三大框架！

            命令操作如下：
#cd ~/.ssh
#ssh-keygen –t rsa   //然后就一直按Enter键，按着默认的进行下去；
#cp id_rsa.pub  authorized_keys
#ssh localhost  //利用这个命令进行验证

      完成后，输入ssh localhost完成验证。

     今天只是重点了解一下Hadoop项目，具体安装将在《Hadoop入门学习笔记---part2》中进行。

            
                作者：itRed
                邮箱：
                it_red@sina.com
                博客：
                http://www.cnblogs.com/itred
                ***版权声明：本文版权归作者和博客园共有，欢迎转载，但请在文章显眼位置标明文章出处。未经本人书面同意，将其作为他用，本人保留追究责任的所有权利。

 

原文：http://www.cnblogs.com/itred/p/4189345.html

内容总结

以上是互联网集市为您收集整理的Hadoop入门学习笔记---part1全部内容，希望文章能够帮你解决Hadoop入门学习笔记---part1所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1247855.html

来源：【匿名】