官网下载地址 ? https://dev.mysql.com/downloads/file/?id=471503 ? 本文所用MySQL版本为5.7.19; 上传包 ? 将mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar 安装包上传到/opt/soft目录（此目录可以自定义）,采用rz命令； [root@bigdata112 conf]# rz ? 若不存在rz命令，可以用yum进行安装（如下代码），安装完成再执行rz 上传包命令； [root@bigdata112 ~]# yum install lrzsz 检测是否已有mysql [root@bigdata112 ~]# rpm -qa | gre...
按照教程说明,我已经建立了一个伪分布式的Hadoop集群(在同一框中有jobtracker,tasktracker和namenode),并且运行良好.我现在正尝试将另一个节点添加到该群集中,作为另一个tasktracker. 当我检查节点2上的日志时,除了tasktracker之外,所有日志看起来都很好.我收到下面列出的错误消息的无限循环.似乎任务跟踪程序正在尝试使用主机名SSP-SANDBOX-1.mysite.com,而不是IP地址.该主机名不在/ etc / hosts中,因此我猜这是问题出处.我没有ro...
废话 最近学习hadoop方面的知识，每次开启Linux时都要启动hadoop相应的四个进程 用命令行打着实有点麻烦，而且有时一个不小心打错字母，还得从头来一遍 于是想了下面这几个脚本文件，帮助启动关闭hadoop相关进程 建议新手还是要多去练一练 废话不多说，上代码 附：代码有点不规范，请见谅 start-hadoop.sh：启动相关hadoop相关进程#!/bin/sh #为防止出错，命令都写为了绝对路径 namenode=`/opt/modules/hadoop-2.7.3/sbin/hadoop-d...
写在前面：在这之前需要有自己 的Linux环境，了解常用的Linux命令。并且已经配置好了java环境，什么叫配置好呢，就是 echo ${JAVA_HOME} 命令是可以输出jdk路径的， 才叫配置好。如果只是java -version可以查看java版本，就需要source /etc/profile 命令来使其生效，不生效也是不行滴。 一、下载解压 首先下载Hadoop安装包，直接在Windows官网上下载就行，这是镜像网站，可自取：http://mirror.bit.edu.cn/apache/hadoop/common/，...
查看jps [root@master ~]# jps 7445 Jps 如果出现这个则可以继续下一步 如果没有请参考jdk环境搭建导入Hadoop包，并放到/opt目录下查看Hadoop包是否导入 [root@master ~]# cd /opt [root@master opt]# ll total 485452 -rw-r--r--. 1 root root 311585484 Jul 31 09:24 hadoop-2.6.0-cdh5.7.0.tar.gz -rw-r--r--. 1 root root 185515842 Jul 28 21:01 jdk-8u144-linux-x64.tar.gz解压Hadoop [root@master opt]# tar -zxvf hadoop-2...
hadoop介绍如何安装Hadoop？ 一：规划集群 Master36—作为master36 Slave36-1—作为slave01 Slave36-2—作为slave02 二：网络配置 1：设置hostname主机名称2：集群所有服务器都需要做：配置静态ip 3.1 获取网关：route -n 3.2：修改配置文件 /etc/sysconfig/network-scripts/ifcfg-ens333.3：重启网络服务：service network restart3：设置一下集群的dns（域名解析服务器：ip与域名的对应关系） 修改配置文件：/etc/hosts>>v...
Linux介绍和环境搭建 linux的主要特点 基本思想 Linux的基本思想有两点：一切都是文件； 每个软件都有确定的用途。完全免费，多用户、多任务； 良好的界面，支持多种平台。 注意： linx是一个免费的像windows一样的操作系统 linux中几乎一切是基于文件，文件几乎没有后缀区分 linux中有且仅有一个超级用户root linux一般用作服务器linux的目录结构目录 作用/ linux系统的根目录，一般只存放目录/bin和/usr/bin 命令(二进制)文件目录...
[Unit] Description=Datanode After=syslog.target network.target auditd.service sshd.service datanode_precheck.service Requires=datanode_precheck.service[Service] User=hdfs Group=hdfs Type=forking Slice=hadoop.slice LimitNOFILE=524288 Environment=CLASSPATH=/app/jdk/jdk1.8.0_92/lib/dt.jar:/app/jdk/jdk1.8.0_92/lib/tools.jar:.:/app/jdk/jdk1.8.0_92/lib/dt.jar:/app/jdk/jdk1.8.0_92/lib/tools.jar: Environm...
1.在IDEA pom.xml 中添加<build><plugins><plugin><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><artifactId>maven-assembly-plugin </artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs><archive><manifest><mainClass>com.yy.mr.wordcoun...
（一）熟悉常用的Linux 操作cd 命令：切换目录 （1） 切换到目录“/usr/local” （2） 切换到当前目录的上一级目录 （3） 切换到当前登录Linux 系统的用户的自己的主文件夹 ? ls 命令：查看文件与目录 （4）查看目录“/usr”下的所有文件和目录 mkdir 命令：新建目录 （5）进入“/tmp” 目录，创建一个名为“a” 的目录，并查看“/tmp” 目录下已经存在哪些目录 （6）进入“/tmp” 目录，创建目录“a1/a2/a3/a4” rmdir 命...
指导手册02：伪分布式安装Hadoop(ubuntuLinux) Part 1:安装及配置虚拟机 1.安装Linux. 1.安装Ubuntu1604 64位系统 2.设置语言，能输入中文 3.创建hadoop账户 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop //输入2遍密码 sudo adduser hadoop sudo #设置hadoop用户的管理员权限 5.更新apt 设置更新和服务中，更新站点选中国阿里云，执行“sudo apt-get update”，更新成功（系统设置里-）软件更新）。 sudo apt-get...
测试环境 操作系统：Windows 10, 64-bit 虚拟机：VMware? Workstation 14 Pro（版本号：14.0.0 build-6661328） Linux镜像版本：CentOS-7-x86_64-DVD-1804.iso VMware虚拟机安装 1、按照软件提示界面安装软件，安装过程就不做说明了； 附上软件注册机：https://github.com/PengShuaixin/ToolsLibrary/tree/master/Vmware 2、打开软件----编辑----虚拟网络编辑器这里可能无法设置，点一下“更改设置”获取管理员权限即可，如图：3、...
官网下载地址 ? https://dev.mysql.com/downloads/file/?id=471503 ? 本文所用MySQL版本为5.7.19; 上传包 ? 将mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar 安装包上传到/opt/soft目录（此目录可以自定义）,采用rz命令； [root@bigdata112 conf]# rz ? 若不存在rz命令，可以用yum进行安装（如下代码），安装完成再执行rz 上传包命令； [root@bigdata112 ~]# yum install lrzsz 检测是否已有mysql [root@bigdata112 ~]# rpm -qa | gre...
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodepsrpm -qa：查看安装的所有 rpm 软件包grep -i ：忽略大小写xargs -n1：表示每次只传递一个参数rpm -e --nodeps：强制卸载软件 2）重新启动虚拟机 reboot2、使用Xftp工具将 JDK 安装包传输到 虚拟机 software 文件夹上（所需安装包QQ群可下载）3、解压JDK tar -zxvf jdk-8u212-linu...
Hadoop集群 第一章 详细虚拟机Linux安装配置在这里插入图片描述 软件需求：VMware Workstation、Linux镜像文件（QQ群可下载） 一、硬件配置 ? 1、打开虚拟机–>新建虚拟机–>自定义 ? 2、默认 ? 3、选择稍后安装操作系统 ? 4、选择linux，版本号根据自己的CenOS选择 ? 5、处理器内核总数不超过电脑CPU数量 ? 6、选择虚拟机内存 ? 7、网络类型 ? 8、磁盘大小根据自己所需确定（指linux最大可占用空间，不是将所有空间划分给虚...