Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:344) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625) at sun...
使用MapReduce编写的中文分词程序出现了 Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 这样的问题如图：上网查了好多资料，才明白这是hadoop本身的问题，具体参考：https://issues.apache.org/jira/browse/YARN-1298https://issues.apache.org/jira/browse/MAPREDUCE-5655解决办法是重新编译hadoop具体参考：http://zy19982004.iteye.com/blog/2031172版权声明：本文为博主原创文章，未经博...
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yetat org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2372)at org.apache.hadoop.hbase.master.MasterRpcServices.isMasterRunning(MasterRpcServices.java:931)at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java:55654)at org.apache.had...
Apache Hadoop 2.0.3发布了，在这次版本更新中，主要增加了以下几个特性：
1. 引入一种新的HDFS HA解决方案QJM
之前NameNode HA已经有两种解决方案，分别是基于共享存储区的Backup Node方案和基于Bookeeper的方案，在该版本中引入另外一种方案：QJM（Quorum Journal Manager）。该方案（HDFS-3077） 采用了quorum commit protocol，引入两个角色：QuorumJournalManager和JournalNode，QuourumJournalManager通过 RPC将edits日志...
在成功启动Hive之后感慨这次终于没有出现Bug了，满怀信心地打了长长的创建表格的命令，结果现实再一次给了我一棒，报了以下的错误Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException，看了一下错误之后，先是楞了一下，接着我就发出感慨，自从踏上编程这条不归路之后，就没有一天不是在找Bug的路上就是在处理Bug，给自己贴了个标签：找Bug就跟吃饭一样的男人。抒发心中的感慨之后，该干活还是的干活...
两年多没有搭建过apache hadoop的环境了，昨天再次搭建hadoop环境，将过程记录下来，以便以后查阅。主机角色分配：NameNode、DFSZKFailoverController 角色由 oversea-stable、bus-stable 服务器承担；需要安装软件有：JDK、Hadoop2.9.1ResourceManager角色由 oversea-stable 服务器承担；需要安装软件有：JDK、Hadoop2.9.1JournalNode、DataNode、NodeManager角色由open-stable、permission-stable、sp-stable服务器承担；需要安装...
1. Hadoop
Streaming方式运行程序Hadoop
Streaming可以运行除JAVA语言以外，其它的语言编写的程序。其启动脚本示例如下： 1 #!/bin/sh 2 3# 参数合法性判断4 5if [ $# != 7 ]; then 6echo"./bin/avp_platform_startup.sh [USER_NAME] [INPUT_PAT] [OUTPUT_PAT] [MAP_TASKS] [REDUCE_TASKS] [CLASS_ID] [CODE_TYPE]" 7 exit8fi 910# GLOBAL VARS
11 USER_NAME=$112 INPUT_PAT=$213 OUTPUT_PAT=$314 MAP_TASKS=$415 REDUCE_TASK...
spark1（默认CDH自带版本）不存在这个问题，主要是升级了spark2（CDHparcel升级）版本安装后需要依赖到spark1的旧配置去读取hadoop集群的依赖包。1./etc/spark2/conf目录需要指向/hadoop1/cloudera-manager/parcel-repo/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/etc/spark2/conf.dist （命令ln -s /hadoop1/cloudera-manager/parcel-repo/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/etc/spark2/conf.dist /etc/spark2/conf...
1.1 Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)What Is Apache Hadoop?TheApache Hadoop project develops open-source software for reliable, scalable, distributed computing.TheApache Hadoop software library is a framework that allows for the distributedprocessing of large data sets across clusters of computers using simpleprogramming models. It is designed to scale up from si...
org.apache.hadoop.hbase.NotServingRegionException: SYSTEM.STATS,,1607503004410.334266e1a9b7d9859dbfbdd57285af67. is not online是SYSTEM.STATS这个表not online造成的（具体我也没搞清楚），这个表示phoniex自带的系统表还未解决 尝试修复方式：1.首先尝试了使用hbase hbck 修复，但是我的hbase是2.0.2，只能看表有不一致的问题，这个命令试用与hbase1版本 hbase hbck --help 查看详细说明 2.那就按照他说的，去编译下...
hive> select product_id, track_time from trackinfo limit 5;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there‘s no reduce operator
org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException: The number of tasks for this job 156028 exceeds the configured limit 5000at org.apache.hadoop.mapred.JobTracker.submitJo...
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><artifactId>hadoop</artifactId><groupId>org.lzw.example</groupId><version>1.0-SNAPSHOT</version></parent><modelVersion>4.0.0</modelVersion><artifactId>p...
关于这个坑逼异常不想再多说了！花了我好多时间来搞这个！不逼逼，上日志看干货
解决办法：将mycluster改成s201原文：https://www.cnblogs.com/stone-learning/p/9302047.html
1 异常信息05-3007:53:45,204 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Maximum size of an xattr: 163842019-05-3007:53:45,204 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /mnt/software/hadoop-2.6.0-cdh5.16.1/data/tmp/dfs/name does not exist
2019-05-3007:53:45,223 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
or...
Sqoop导入mysql表中的数据到hive，出现如下错误：??ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下可以解决以下问题。原文中提供的第一种方法不推荐，会有关联问题。参考文章：https://blog.csdn.net/anaitudou/article/details/80998250原文：https://www.cnblogs.com/hupingzhi/p/12357549.h...
