在Linux上搭建Hadoop集群搭建笔记1、安装虚拟机下载软件： VMware workstation CentOS 镜像2、远程连接下载软件并安装 Xshell5 http://www.netsarang.com/products/xsh_overview.html xftp5 http://www.netsarang.com/products/xfp_overview.html （1）打开Xshell （2）输入会话名称和ip地址在右下角的位置将虚拟机的网络连接改为桥接模式且选中“复制网络连接状态”搭建起局域网重启网络 service network restart查看IP地址...
1、从官网上下载hadoop-2.4.1.tar.gz，我的版本为hadoop-2.4.1，可在http://pan.baidu.com/s/1cLAKCQ 下载。2、解压hadoop-2.4.1.tar.gz，使用tar -zxvf hadoop-2.4.1.tar.gz -C app/ ，APP文件是我建立的一个文件3、解压后进入目录，cd /app/hadoop-2.4.1/下，可看到Hadoop目录结构。drwxr-xr-x. 2 XXXXX XXXXX 4096 6月 21 2014 bindrwxr-xr-x. 3 XXXXX XXXXX 4096 6月 21 2014 etcdrwxr-xr-x. 2 XXXXX XXXXX 4096 6月 21 2014...
准备工作 先在win系统的hosts文件里添加以下内容 10.61.6.164master //hadoop集群的master节点 一、首先在eclipse上安装hadoop插件 下载hadoop-eclipse-plugin-1.1.2.jar，将其拷贝到eclipse 安装目录下的plugins，再启动eclispe，这时在eclipse的File/New/other下会看到一下的内容，证明插件安装成功 二、在Window/show view/other里打开Map/Reduce Locations 打开后会有下图所示的窗口，点击右侧的紫色小象 会弹出下图所示的...
配置环境主机名IP备注Hadoop-Data01192.168.0.194Hadoop-Master/Hive/Mysql/Flume-AgentHadoop-Data02192.168.0.195Hadoop-Slave软件版本:CentOS release 6.6 (Final) Hdk-8u131-linux-x64 Hadoop-2.7.3 Hive-2.1.1 Apache-flume-1.7.0-bin下载JDK、Hadoop、Hive、Flume:[root@Hadoop-Data01 soft]# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracl...
1.修改core-site.xml，加上<property> <name>fs.defaultFS</name> <value>hdfs://backup02:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/zhongml/hadoop-2.7.2/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property>2.修改hdfs-site.xml，加上<property> <name>dfs.n...
我使用了4台虚拟机centos7来搭建环境，2个主结点（一般是一个，但为了体验zookeeper，万一其中一个master挂掉呢，另外一个会自动启动接管），2个从结点注意：下面的配置主要以主节点为例进行说明第一步：同步四台机器的时钟 sudo yum install ntpdate，确保已安装ntpdate，分别运行sudo ntpdate cn.pool.ntp.org第二步：设置主机名修改/etc/sysconfig/network文件，NETWORKING = yesHOSTNAME = master(主节点)其实在centos7下面...
一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 环境变量设置如下：（1）执行vim /etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/home/spark/apache-maven-3.2.1 export ANT_HOME=/home/spark/apache-ant-1.9.4 export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JA...
一、准备 1，配通网络 ping www.baidu.com 之前安装虚拟机时配过 2，关闭防火墙 systemctl stop firewalld systemctl disable firewalld（开机自动关闭） 3，关闭 selinux vi /etc/selinux/config 修改为selinux disabled 4，关闭 NetworkManager systemctl stop NetworkManager systemctl disable NetworkManager 5，修改计算机名 hadp01(根据个人喜好) 6，配置yum源 安装 yum install wget 做个备份 mv /etc/yum.repos.d/CentOS-...
window eclipse下有hadoop 服务插件可以安装方便开发，今天突然发现连接不上做测试，鼓捣了一下。大多是因为端口问题9000是DFS端口50020是IPC服务端口，50070是webui 端口原文：http://www.cnblogs.com/yaohaitao/p/6853040.html
Hadoop 2.2.0 集群配置攻略 用户输入标识： chmod+x jdk-7u45-linux-x64.rpm 为黑色带底纹 系统输出标识： java version "1.7.0_51"为绿色小字2014年3月20-日 by lilihao Q 404536204 1. 安装sun jdk (1). 到Oracle的官方网站下载jdk,目前最新版本是7u51 安装包：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 或 rpm包http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7...
距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...
作者：二青邮箱：xtfggef@gmail.com 微博：http://weibo.com/xtfggef现在开始要系统地学习下Hadoop了，虽然可能有点儿晚，但是还是想好好学习一下这门火爆的技术，让我们从安装环境开始。官方文档本文使用的个软件及版本如下：Ubuntu 14.10 64 Bit Server EditionHadoop2.6.0JDK 1.7.0_71sshrsync首先自己准备一个装有linux系统的机器，物理机虚拟机都可，推荐使用Oracle VirtualBox 搭建一个虚拟机。本文使用Window7+VirtualB...
由于要近期使用hadoop等进行相关任务执行，操作linux时候就多了以前只在linux上配置J2EE项目执行环境，无非配置下jdk，部署tomcat，再通过docker或者jenkins自动部署上去看下进程，复制粘贴删除等基本操作，很多东西久了不用就忘了，所有写个demo巩固下曾经的linux知识后续会有hadoop等主流的大数据相关环境的搭建及使用 ------------------------------------------------------------------------------------------------------...
配置 安装Maven, Ant, Findbugs, protobuf, cmake 参考:http://cn.soulmachine.me/blog/20140214/ 注意CDH4.2.1需要用protobuf2.4.1编译，否则hadoop-common那里报错 在apache-maven-3.0.5/conf/settings.xml 更改maven镜像 mirror idnexus-osc/id mirrorOfc配置 安装Maven, Ant, Findbugs, protobuf, cmake 参考:http://cn.soulmachine.me/blog/20140214/ 注意CDH4.2.1需要用protobuf2.4.1编译，否则hadoop-common那里报错 在apac...
hadoop在linux上的安装 配置免密码登录 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys test：ssh localhost hadoop环境变量 export JAVA_HOME=/usr/local/jdk export HADOOP_INSTALL=/usr/local/hadoop export PATH=hadoop在linux上的安装配置免密码登录 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keystest：ssh localhosthadoop环境变量 expor...