距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...
1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错机制；为大量用户提供性能不错的文件存储服务； 优点：高容错性（数据自动保存多个副本，副本丢失后自动恢复...
Ssh互信建立完成以后，接下来咱们开始搭建hadoop从ApacheDownload Mirrors下载haoop-2.6.0.从JavaSE - Downloads | Oracle Technology Network | Oracle下载jdk,我下载的是1.8.0_25x86和1.8.0_25x64因为我的三台主机两台ubuntu是32位的，另一台是64位的，所以下载了两个。如果要看自己ubuntu是多少位的：file /sbin/init下载完成后，在home下面建目录cloud,把压缩包解压到该文件夹执行sudo gedit /etc/profile配置JAVA环境：在最后...
继hadoop完全分布式安装后，再结合zookper+hbase安全。在之前环境配置下继续进行。 一、zookper安装1.1 下载并解压软件cd /software wget -c http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz tar -zxf zookeeper-3.4.10.tar.gz -C /usr/local/ ln -sv /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper echo 1.2 修改配置文件配置文件参数详解可参考zookeeper参数cat > /usr/local/zookeeper/conf/...
一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 HDFS(Hadoop Distribution File System)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。 HDFS在时延的基础上对吞吐量进行了优化，它能够高效处理了对大文件的读请求流，但不擅长对众多小文件的定位请求 HDFS对普通的“一次...
可以尝试以下步骤解决:1 ,分别删除:主节点从节点的 /usr/local/hadoop-2.6.2/etc/tmp 下得所有文件; 2: 编辑cd usr/local/hadoop-2.6.2/etc/hadoop/ vi slaves 删除slaves里面的 localhost 3:然后 hadoop namenode -format 4: 重新启动 start-all.sh 原文：http://www.cnblogs.com/Amos-Turing/p/8011528.html
环境介绍硬件环境CPU 4 MEM 4G 磁盘 60G 软件环境OS:centos6.5版本 64位Hadoop：hadoop2.5.2 64位JDK: JDK 1.8.0_91主机配置规划Hadoop01 172.16.1.156 （NameNode）Hadoop02 172.16.1.157 (DataNode) Hadoop03 172.16.1.158 (DataNode)设置主机名这里主机名修改不是必须条件，但是为了操作简单，建议将主机名设置一下，需要修改调整各台机器的hosts文件配置，命令如下： 如果没有足够的权限，可以切换用户为root三台...
注：pdf版下载:http://pan.baidu.com/s/1GKGkf 一、实验环境准备 本机配置 CPU ： IntelCorei5-3317,1.7GHz Memory ： 8G OS ： WIN8 VMware 及 Ubuntu12.04 VMware 的安装略。 先安装一个虚拟机（本实验安装的是 Ubuntu12.04LST64bit ） JDK 安装 JDK 下载注：pdf版下载:http://pan.baidu.com/s/1GKGkf一、实验环境准备 本机配置 CPU：Intel Core i5-3317,1.7GHz Memory：8G OS：WIN8 VMware及Ubuntu12.04 VMware的安装略。 先安装...
在 基于Kickstart PXE的CentOS无人值守安装 一文中，介绍了一种高度自动化的RedHat Linux安装方式。由于Kickstart支持脚本，利用Kickstart技术也可以实现Hadoop集群的自动化部署。本文试构建一种利用Kickstart脚本根据资源分配文件自动化部署Hadoop集群的方在 基于Kickstart & PXE的CentOS无人值守安装 一文中，介绍了一种高度自动化的RedHat Linux安装方式。由于Kickstart支持脚本，利用Kickstart技术也可以实现Hadoop集群的自动化...
部署nexus 死活启动不了nexus，下载了多个版本。最后下载tomcat7 + 2.5的war才可以。把war包丢到webapps目录下，启动tomcat会自动解压。。停掉tomcat，把目录改名为nexus吧。。 修改nexus\WEB-INF\plexus.properties里的路径，jar包会下载到这里 nexus-work=部署nexus 死活启动不了nexus，下载了多个版本。最后下载tomcat7 + 2.5的war才可以。把war包丢到webapps目录下，启动tomcat会自动解压。。停掉tomcat，把目录改名为nexus吧。...
VMware安装多个RedHat Linux操作系统，摘抄了不少网上的资料，基本上按照顺序都能安装好 ? 1、建用户 groupadd bigdata useradd -g bigdata hadoop passwd hadoop ? 2、建JDK vi /etc/profile ? export JAVA_HOME=/usr/lib/java-1.7.0_07 export CLASSPATH=.VMware安装多个RedHat Linux操作系统，摘抄了不少网上的资料，基本上按照顺序都能安装好1、建用户groupadd bigdatauseradd -g bigdata hadooppasswd hadoop2、建JDKvi /etc/...
OneCoder在自己的笔记本上部署Hadoop环境用于研究学习，记录部署过程和遇到的问题。 1、安装JDK。 2、下载Hadoop(1.0.4)，在Hadoop中配置JAVA_HOME环境变量。修改hadoop-env.sh文件。 export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/OneCoder在自己的笔记本上部署Hadoop环境用于研究学习，记录部署过程和遇到的问题。 1、安装JDK。2、下载Hadoop(1.0.4)，在Hadoop中配置JAVA_HOME环境变量。修改hadoop-env....
一 配置SSH 下载ssh服务端和客户端 sudo apt-get install openssh-server openssh-client 验证是否安装成功 ssh username@192.168.30.128按照提示输入username的密码，回车后显示以下，则成功。(此处不建议修改端口号，hadoop默认的是22,修改后启动hadoop会一 配置SSH 下载ssh服务端和客户端 sudo apt-get install openssh-server openssh-client 验证是否安装成功 ssh username@192.168.30.128按照提示输入username的密码，回车后...
说明： hadoop 生产环境为 如下： yum list installed | grep hadoop hadoop.x86_64 2.3.0cdh5.1.3824-1.cdh5.1.3.p0.13.el6 hadoop-0.20-mapreduce.x86_64 hadoop-client.x86_64 2.3.0cdh5.1.3824-1.cdh5.1.3.p0.13.el6 hadoop-hdfs.x86_64 2.3.0cdh5.1.382说明： hadoop 生产环境为 如下： yum list installed | grep hadoophadoop.x86_64 2.3.0+cdh5.1.3+824-1.cdh5.1.3.p0.13.el6 hadoop-0.20-mapreduce.x86_64 had...
oozie的安装部署及配置感觉不是一般的繁琐，而且层出不穷的bug也弄的我焦头烂额，下面主要讲下我的安装过程及遇到的问题 一．必要准备： 1.Apache的tomcat 2. mysql-connector-java-5.1.6.jar 或其他版本的 mysql-connectorjar 包 3.ext-2.2.zip 二．安装部oozie的安装部署及配置感觉不是一般的繁琐，而且层出不穷的bug也弄的我焦头烂额，下面主要讲下我的安装过程及遇到的问题 一．必要准备： 1. Apache的tomcat 2. my...