1、检测hadoop运行状态信息 hadoop dfsadmin -report 打印出hadoop中硬盘的使用信息2、 hadoop中创建归档文件 hadoop archive -archiveName example.har -p /tmp/input dir1 dir2 -r 2 /tmp/output/ 其中example.har为hadoop中归档文件的特殊格式,-p指定父目录,dir1和dir2为需要归档的文件夹,-r指定了复制的份数,最后为结果输出目录 3、 hadoop安全模式 hadoop dfsadmin -safemode enter | leave | get | wait ...
kerberos相关:kadmin.local //以超管身份进入kadminkadmin //进入kadmin模式,需输入密码kdb5_util create -r JENKIN.COM -s //创建数据库service krb5kdc start //启动kdc服务service kadmin start //启动kadmin服务service kprop start //启动kprop服务 kdb5_util dump /var/kerberos/krb5kdc/slave_data //生成dump文件kprop -f /var/kerberos/krb5kdc/slave_data master2.com...
一、前述分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下。二、具体1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。2、单进程启动。sbin/start-dfs.sh--------------- sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ... sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ....
<DIV class="article_title" style=‘font: 20px/30px "Microsoft YaHei"; margin: 5px 0px; text-align: left; color: rgb(0, 0, 0); text-transform: none; text-indent: 0px; letter-spacing: normal; word-spacing: 0px; display: block; white-space: normal; orphans: 2; widows: 2; font-size-adjust: none; font-stretch: normal; background-color: rgb(255, 255, 255); -webkit-text-size-adjust: auto; -webkit-text-st...
1
批量启动与停止1.1
Start-all.sh# Start all hadoop daemons. Run this on master node.bin=`dirname "$0"`bin=`cd "$bin"; pwd`#变量配置命令. "$bin"/hadoop-config.sh#Dfs服务器启动# start dfs daemons"$bin"/start-dfs.sh --config $HADOOP_CONF_DIRMR服务器启动# start mapred daemons"$bin"/start-mapred.sh --config $HADOOP_CONF_DIR1.2
Stop-all.sh"$bin"/stop-mapred.sh --config $HADOOP_CONF_DIR"$bin"...
1. 进入hbase命令行 ./hbase shell
2. 显示hbase中的表 list
3. 创建user表,包含info、data两个列族
create ‘user‘, ‘info1‘, ‘data1‘
create ‘user‘, {NAME => ‘info‘, VERSIONS => ‘3‘}4. 向表中插入信息:向user表中插入信息,row key为rk0001,列族info中添加name列标示符,值为zhangsan
put ‘user‘, ‘rk0001‘, ‘info:name‘, ‘zhangsan‘
向user表中插入信息,row key为rk0001,列族info中添加gender列标...
关闭访问墙 service iptables stop hadoop dfs -mkdir input hadoop dfs -copyFromLocal conf/* input hadoop jar hadoop-examples-1.2.1.jar wordcount input output bin/hadoop dfs -cat output/* 原文:http://www.cnblogs.com/gym333/p/7573563.html
原文:http://www.cnblogs.com/cjsblog/p/8094146.html
》bin/hdfs dfs -put readme.txt /finance》bin/hdfs dfs -du -s /finance
》3901 /finance》bin/hdfs dfsadmin -setSpaceQuota 4000 /finance设置/finance的大小上限为4000个字节》bin/hdfs dfs -put readme1.txt /finance由于已经超出4000个字节,则会报错14/03/0411:56:31 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /finance is exceed...
hdfs模拟了很多linux命令,用法也很类似,平时用到的整理如下: hadoop fs +类似linux命令 cat 使用方法:hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到stdout。 示例: hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 hadoop fs -cat file:///file3 /user/hadoop/file4 返回值: 成功返回0,失败返回-1。 chgrp 使用方法:hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of ...
Hadoop 之Hbase命令 HBASE基础知识*HBASE的集群的搭建*HBASE Shell***HBASE的批量导入***HBASE的Java客户端***HBASE的表设计*HBASE的底层存储模型*HBASE优化*HBASE协处理器* 1.Hbase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据...
进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.1.创建目录:(注意 文件夹需一级一级创建)hdfs dfs -mkdir /userhdfs dfs -mkdir /user/comhdfs dfs -mkdir /user/com/evor2.删除文件目录hdfs dfs -rm -r /user/com/evor (-rmr也可以) 删除文件夹...
假如我们只有3台linux虚拟机,主机名分别为hadoop01、hadoop02和hadoop03,在这3台机器上,hadoop集群的部署情况如下:hadoop01:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager;hadoop02:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager;hadoop03:1个datenode,1个journalnode,1个nodemanager; 下面我们来介绍启动hdfs和yarn的一些命令。...
目录HDFS常用命令help 查看所有命令查看路径文件创建文件夹创建多级文件夹查看指定目录下和子目录下所有文件上传文件下载文件合并下载复制移动删除查看文件内容显示文件大小testweb界面HDFS常用命令help 查看所有命令[172.23.7.9:hadoop]$ hadoop fs help查看路径文件[172.23.7.9:hadoop]$ hadoop fs -ls /创建文件夹[172.23.7.9:hadoop]$ hadoop fs -mkdir /test创建多级文件夹[172.23.7.9:hadoop]$ hadoop fs -mkdir -p /test/te...
一、向hdfs上上传文件首先需要进行配置文件的配置Configuration conf = new Configuration(); //进行conf的设置conf.set("fs.defaultFS","hdfs://hadoop01:9000/"); //通过配置文件得到fs的实例FileSystem fs = FileSystem.get(conf); //通过fs中封装的方法实现相应的需求//创建一个保存文件的路径 Path destFile = new Path("hdfs:/hadoop01:9000/jdk.tgz"); FSDataOutputStream os = fs.create(destFile); //配置上传文件的所在...