首页 / HADOOP / 【DAY2】hadoop 完全分布模式中需要用到的SHELL脚本

【DAY2】hadoop 完全分布模式中需要用到的SHELL脚本

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【DAY2】hadoop 完全分布模式中需要用到的SHELL脚本，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3034字，纯文字阅读大概需要5分钟。

内容图文

集群远程复制（由namenode分发 ）

---------------------------------------

#! /bin/bash
if  [ $# -lt 1 ] ; then
	echo no args
	exit ;
fi

#get first argument
arg1=$1;
cuser=`whoami`
fname=`basename $arg1`
dir=`dirname $arg1`

if [ "$dir" = "." ] ; then
	dir=`pwd`
fi
for (( i=200;i<=500;i=i+100 )) ;
do
	echo --------coping $arg1 to $i ---------;
	if [ -d $arg1 ] ; then
		scp -r $arg1 $cuser@s$i:$dir
	else
		scp $arg1 $cuser@s$i:$dir
	fi
	echo
done

集群远程查看列表（由namenode完成）

------------------------------------------

#! /bin/bash
if  [ $# -lt 1 ] ; then
	echo no args
	exit ;
fi

#get first argument
arg1=$1;
cuser=`whoami`
fname=`basename $arg1`
dir=`dirname $arg1`

if [ "$dir" = "." ] ; then
	dir=`pwd`
fi
for (( i=200;i<=500;i=i+100 )) ;
do
	echo --------ls $arg1  $i ---------;
	if [ -d $arg1 ] ; then
		ssh s$i ls $dir/$fname | xargs
	else
		ssh s$i ls  $dir | xargs
	fi
	echo
done

集群远程删除文件或文件夹（由namenode完成）

--------------------------------------------

#! /bin/bash
if  [ $# -lt 1 ] ; then
	echo no args
	exit ;
fi

#get first argument
arg1=$1;
cuser=`whoami`
fname=`basename $arg1`
dir=`dirname $arg1`

if [ "$dir" = "." ] ; then
	dir=`pwd`
fi
for (( i=200;i<=500;i=i+100 )) ;
do
	echo --------rm $arg1 in s$i ---------;
	if [ -d $arg1 ] ; then
		ssh s$i rm -rf $dir/$fname
		echo ok
	else
		ssh s$i rm  $dir/$fname
		echo ok
	fi
	echo
done

集群一键式开启并完成namenode格式化，创建用户目录（由namenode完成）

-----------------------------------------------------------------------------------

#!/bin/bash
echo "--------------- NOW FORMAT HDFS ------------"
hdfs namenode -format
echo "--------------- HDFS FORMAT ALREADY -------------"
echo "--------------- NOW START HDFS --------------"
start-dfs.sh
echo "--------------- HDFS START ALREADY --------------"
echo "--------------- NOW START YARN SYSTEM -------------"
start-yarn.sh
echo "--------------- YARN SYSTEM START ALREADY -------------"
echo "--------------- NOW CREAT USER DIRECTORY -------------"
hadoop fs -mkdir -p /user/yehom/data
echo "--------------- USER DIREDCTORY CREATED ALREADY -----------"
echo "--------------- SHOW USER DIRERECTORY LIST --------------"
hadoop fs -ls -R /
echo "*************** ALL START AND INI *******************"
echo "*************** DESIGN BY YEHOM @YehomLab.com *****************"

集群一键式关闭并删除所有日志和相关目录（由namenode完成）

#!/bin/bash
echo "-------------------NOW STOP HADOOP CLUSTER--------------------"
stop-yarn.sh
stop-dfs.sh
echo "-------------------HADOOP CLUSTER STOP ALREADY--------------------"
echo "-------------------NOW DELETE DATA FILE------------------------"
xrm.sh ~/hadoop-yehom
echo "-------------------DATA FILE DELETED ALREADY--------------------"
echo "-------------------NOW DELETE LOGS ---------------------"
xrm.sh /soft/hadoop/logs
echo "-------------------LOGS DELETED ALREADY----------------"
echo "******************* ALL HADOOP TASK STOP AND REFRESH *****************"
echo "******************* DESIGN BY YEHOM @YehomLab.com *****************"

本文出自 “yehomlab” 博客，请务必保留此出处http://yehom.blog.51cto.com/5159116/1793049

原文：http://yehom.blog.51cto.com/5159116/1793049

内容总结

以上是互联网集市为您收集整理的【DAY2】hadoop 完全分布模式中需要用到的SHELL脚本全部内容，希望文章能够帮你解决【DAY2】hadoop 完全分布模式中需要用到的SHELL脚本所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1310140.html

来源：【匿名】