hadoop 集群环境下面， 使用 sqoop 将hive 统计完生成的数据 导入 到 mysql 数据库中， 碰到 异常 Caused by: java.sql.SQLException: null, message from server: Host datanode is blocked because of many connection errors; unblock with mysqladminhadoop 集群环境下面， 使用 sqoop 将hive 统计完生成的数据 导入 到 mysql 数据库中， 碰到 异常 Caused by: java.sql.SQLException: null, message from server: "Host data...
第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译（10楼评论中提供了一个解决方法链接）。 下载地址:http://apache.c 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载...
前提 开启四个集群 hadoop102、hadoop103、hadoop104、hadoop105 在102开启nn 104开启2nn 此时102~104均已开启dn 此时关闭105的dd 那么105此时的状态有两个阶段，此时在105上可以进行的操作： 一、没有心跳并没有dead（默认挂掉的时间为10m30s） 1、可以操作集群上的数据的：比如 创建目录 上传目录 下载目录（递归） 2、并且此时不能上传文件到105（机架就近原则 此时105已经没有dd了） 3、如果上传文件那么nn就自动将文件文...
1、系统管理1.1 连接MySQL格式： mysql -h主机地址 -u用户名 －p用户密码举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令"mysql –u root –p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是： mysql>。例2：连接到远程主机上的MYSQL。假设远程主机的IP为：110.110.110.110，用户名为root，密码为abcd123。则键入...
举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令"mysql –u root –p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是： mysql>。例2：连接到远程主机上的MYSQL。假设远程主机的IP为：110.110.110.110，用户名为root，密码为abcd123。则键入以下命令： mysql -h 110.110.110.110 -u root –p abcd123 备注：u与ro...
[Hadoop]完全分布式集群安装过程详解 1. 用Vmware Workstation创建4个虚拟机，每个虚拟机都装上Centos（版本：CentOS-6.3-x86_64），示意图如下： 2. 在所有结点上修改/etc/hosts，使彼此之间都能够用机器名解析IP 192.168.231.131 node01 192.168.231.132 n[Hadoop]完全分布式集群安装过程详解1. 用Vmware Workstation创建4个虚拟机，每个虚拟机都装上Centos（版本：CentOS-6.3-x86_64），示意图如下：2. 在所有结点上修...
Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体 根据下面规划来，本文只部署高可用Hadoop集群，后续 很快更新其他 Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相...
执行 都遭到了拒绝连接的问题 于是修改 将其改为 随后哦 再次启动 成功完成。
Oracle打开归档模式使用如下命令查看当前是否为归档模式（archive） SQL> archive log list Database log mode Archive Mode Automatic archival Enabled Archive destination /u01/arch_log Oldest online log sequence 6 Next log sequence to archive 8 Current log sequence 8如非以上状态，手动调整即可 SQL> conn / as sysdba(以DBA身份连接数据库) SQL> shutdown im...
ERROR org.apache.hadoop.hdfs.server.namenode.EditLogInputStream: caught exception initializing http://datanode01:8480/getJournal?jid=cluster1&segmentTxId=2187844&storageInfo=-63%3A1002064722%3A1516782893469%3ACID-02428012-28ec-4c03-b5ba-bfec77c3a32b java.lang.OutOfMemoryError: unable to create new native threadat java.lang.Thread.start0(Native Method)at java.lang.Thread.start(Thread.java:714) 之后...
本文步骤较多，请细心查看。基础设施 基础设施环境如下： jdk 1.7+（提前设置好环境变量）ssh自己和自己之间进行免密登陆，如在layne1上执行ssh layne1时间同步设置本机ip设置主机名 可参考Linux切换运行级别、关闭防火墙、禁用selinux、关闭sshd、时间同步、修改时区、拍摄快照、克隆操作、修改语言环境。 另外，不得不提Linux系统远程执行和远程登陆的区别： 远程执行：不需要用户交互，而是用户直接给出一个命令，直接在远程执行...
Hadoop伪分布式集群安装部署 浪尖 浪尖聊大数据 一、 准备环境1， 安装简介Java-- jdk-8u121-linux-x64.tar.gzHadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)本系列教程所有jar包，请关注微信公众号 ：Spark高级玩法，输入software获取。二， 修改主机名2.1查看主机名hostname2.2 修改/etc/sysconfig/network文件修改前修改后2.3 立即生效假如只是完成了步骤2.2，实际上只是修改了静态配置，重启的时候才会生效，要想立即生效，可以输...
按照教程说明,我已经建立了一个伪分布式的Hadoop集群(在同一框中有jobtracker,tasktracker和namenode),并且运行良好.我现在正尝试将另一个节点添加到该群集中,作为另一个tasktracker. 当我检查节点2上的日志时,除了tasktracker之外,所有日志看起来都很好.我收到下面列出的错误消息的无限循环.似乎任务跟踪程序正在尝试使用主机名SSP-SANDBOX-1.mysite.com,而不是IP地址.该主机名不在/ etc / hosts中,因此我猜这是问题出处.我没有ro...
前言 之前在学Hadoop基础的时候，需要部署环境进行测试，其实那个时候部署遇到了不少的坑，今天突然想起来，所以跟大家分享下，让大家少踩点坑。我的Ubuntu版本是18.10 1. 安装Docker 安装Docker的话基本上没有遇到什么坑，我是按照官方文档去做的，官方文档连接如下: https://docs.docker.com/install/linux/docker-ce/ubuntu/ 下面我还是简单说说文档里面的步骤吧，如果说大家看的懂英文的就直接跳过这一part吧// 删除掉之前安装...
一、前言 本案例在虚拟机下安装好linux的hadoop-2.6.5集群完全分布式（HA的），并配置好运行。Windows下安装了201803版的Eclipse、java-1.8 二、Windows下Eclipse配置hadoop插件 解压在虚拟机linux下安装的hadoop-2.6.5.tar.gz文件在D:\usr\hadoop-2.6.5\hadoop-2.6.5 1、下载eclipse插件：hadoop-eclipse-plugin-2.6.0.jar 在网上找资源，很多，感觉是随便一个版本都行，还是我运气好，下其中一个就能用，很多帖子这里也没说清楚。...