写在前面： 1.Apache版本HADOOP云计算平台环境搭建 1.1 集群环境介绍 Hadoop集群环境包含1台机器，在每台机器上运行4台虚拟机，是一个典型的主从式（Master-Slaves）结构。集群包含一个主控节点（Master）和4个从属节点（Slave）。在主从式结构中，主节点一写在前面：1.Apache版本HADOOP云计算平台环境搭建 1.1 集群环境介绍Hadoop集群环境包含1台机器，在每台机器上运行4台虚拟机，是一个典型的主从式（Master-Slaves）结构。集群...
工作需要，要开始搞hadoop了，又是大数据，自己感觉大数据、云，只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织，Java如果没有它也不会现在如火中天。言归正传： 首先需要下载Apache hadoop 2.4.0的tar.gz包，到本地解压缩到工作需要，要开始搞hadoop了，又是大数据，自己感觉大数据、云，只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织，Java如果没有它也不会现在...
项目场景： MapReduce程序运行报错： Exception in thread "main" java.lang.UnsatisfiedLinkError : org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z原因分析：查看了编辑器的hadoop版本后，才发现，C:\Windows\System32目录下的hadoop.dill版本号不一致，导致与jar包冲突。编辑器是2.7.2,本人的hadoop.dill是2.2.0。解决方案： 1) 查看MR程序的Hadoop jar包版本 2) 将对应版本2.7.2的hadoop.dll放...
一、问题 Hive安装好以后，查看数据库时提示“FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient”. 二、原因分析 Hadoop安装版本为2.9.2，Hive安装版本为2.3.8，网查可能是版本原因（官网查版本是支持的http://hive.apache.org/downloads.html）。后续再测试2.3.8版本。 三、...
jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://master01:8080/ 到此为止，Spark集群安装完毕. 1.注意：如果遇到 “JAVA_HOME not set” 异常，可以在sbin目录下的spark-config.sh 文件中加入如下配置： export JAVA_HOME=XXXX 2.如果遇到Hadoop HDFS的写入权限问题： org.apache.hadoop.security.AccessControlException 解决方案： 在hdfs-site.xml中添加如下配置...
或者 Windows|Eclipse 运行HDFS程序之后，报：org.apache.hadoop.security.AccessControlException: Access denied for user sunqw. Superuser privilege is required。 解决方法： 方式一： 在系统环境变量中增加HADOOP_USER_NAME，其值为root； 或者 通过java程序动态添加，如下： System.setProperty("HADOOP_USER_NAME", "root"); 方式二： 使用Eclipse在非hadoop运行的用户下进行写入hdfs文件系统中时，由于WQbin对"/"目录...
此命令执行以后，在系统的/usr/lib64/nagios/plugins目录下就会出现很多脚本。后面会用到这些脚本。 二、 监控Apache运行状态 2.1、获取Apache监控脚本 在介绍监控Apache的状态之前，需要一个监控Apache状态的插件，这里并不打算介绍插件如何编写，因为已经有很多编写好的插件供Nagios使用。在Nagios的官方网站 http://exchange.nagios.org/directory/Plugins 上有很多可供直接使用的插件分类，找到Web Servers分类，其中就有许多对...
* Licensed to the Apache Software Foundation (ASF) under one* or more contributor license agreements. See the NOTICE file* distributed with this work for additional information* regarding copyright ownership. The ASF licenses this file* to you under the Apache License, Version 2.0 (the* "License"); you may not use this file except in compliance* with the License. You may obtain a copy of the Li...
这个异常足足困了我一天，刚开始怀疑是代码问题，最终发现是版本不匹配导致的。 首先我们搭建HBase一定要考虑兼容性问题，即哪个版本的HBase可以和什么版本的JDK匹配，以及可以和什么版本的Hadoop匹配。 我上一篇博客还总结了呢，搭建的时候就忽略了，这也就是学了不知道怎么用吧！汗！ 以后实践的时候一定要学会联系学的东西，这样才会避免走很多弯路，不然有数不尽的坑，你就栽吧，时间不允许你这么做的。好了，接下来说解决方案...
1 详细异常Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hdfs, access=WRITE, inode="/hbase":root:supergroup:drwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(...
1 详细异常org.apache.hadoop.service.ServiceStateException: org.fusesource.leveldbjni.internal.NativeDB$DBException: Corruption: 1 missing files; e.g.: /wm1/link/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/003993.sstat org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:59)at org.apache.hadoop.service.AbstractService.init(AbstractService.java:172)at org.apache.hado...
这个问题来的有点莫名奇妙，之前我的hadoop运行一直是正常的，某一天开始运行Mapreduce就报这个错。 试过很多种方法都没有用，比如 1.path环境变量2.Hadoop bin目录下hadoop.dll和winutils.exe3.c:\windows\system32 下的hadoop.dll4.64为jdk条件都满足了还是报错 试了这些方法都没有用，最后只有改源码了。 下载相应版本的源码解压，找到NativeIO.java文件。将它加入到工程中去，如下图修改NativeIO.java最后重新执行程序就正常了...
java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.182.11:10000/default: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate anonymous at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:224) at ...
在window上编程提示没有写Hadoop的权限 Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Mypc, access=WRITE, inode="/":fan:supergroup:drwxr-xr-x 曾经踩过的坑： 保存结果到hdfs上没有写的权限* 通过修改权限将文件写入到指定的目录下* * $HADOOP_HOME/bin/hdfs dfs -mkdir /output* $HADOOP_HOME/bin/hdfs dfs -chmod 777 /outpu...
原因：权限问题。用户liuyingping没有访问hdfs下文件的权限。 参考： HDFS客户端的权限错误：Permission denied 解决方案（推荐）：在系统的环境变量添加HADOOP_USER_NAME，值为运行Hadoop的用户名称。例如我的用户就是hadoop（重启电脑，否则可能会不生效） org.apache.hadoop.security.AccessControlException: Permissiondenied: user=liuyingping, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x标签：...