第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)第3章 HDFS客户端操作(开发重点)3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O流操作(自定义框架使用)3.3.1 HDFS文件上传3.3...
03/ shell编程综合练习自动化软件部署脚本 3.1 需求1、需求描述公司内有一个N个节点的集群,需要统一安装一些软件(jdk)需要开发一个脚本,实现对集群中的N台节点批量自动下载、安装jdk 2、思路1/ 编写一个启动脚本,用来发送一个软件安装脚本到每一台机器2/ 然后启动每台机器上的软件安装脚本来执行软件下载和安装 3、expect的使用痛点:使用scp命令远程拷贝文件时,会有人机交互的过程,如何让脚本完成人机交互?妙药: expect用...
距离上次博客时间已经9天,简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令,我在之前就已经学过一部分了,所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些,命令会一些比较常用的就够了,下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时,需要将虚拟机的主机名修改成自己想要的名...
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)第3章 HDFS客户端操作(开发重点)3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O流操作(自定义框架使用)3.3.1 HDFS文件上传3.3...
大数据技术之Hadoop(YARN的搭建)与SHELL脚本(集群分发脚本xsync)1.YARN的搭建
1.1集群部署规划
1.2配置YARN
1.在配置的hadoop集群中选择hadoop112:进入hadoop目录cd /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/2.配置文件yarn-env.shvim yarn-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_2113.配置文件yarn-site.xml(注意resourcemanager的选择)vim yarn-site.xml<!-- Reducer获取数据的方式 -->
<property><name>ya...
1.管道
2.xargs --> 作为stdin
常用: find /etc -name c*.conf | xargs tar -czf /tmp/test.tgz
3.- 减号的用法 :前者的标准输出作为后者的标准输入.
通常用于tartar -czf - /home | tar -xzf - -C /tmp
优势:针对大文件的机内传输,比cp快,效率高.4 ; 依次执行多个命令
CMD1 && CMD2 如果前一个命令(CMD1)能够正确被执行,则执行后一个命令(CMD2)
CMD1 || CMD2 如果前一个命令(CMD1)被正确执行,则不执行后一个命令(CMD2),如...
1.sort 排序 根据首字母的ascii进行排序-n 根据数字大小升序排序-r 降序排序-u 剔除重复的行-k -t 结合一起用 -k 指定列 -t指定分隔符
2.uniq 剔除重复的行
3.seq 序列
seq 10 -->代表以1为起始,以1为间隔罗列到10之前的数字
seq 2 10 -->代表以2为起始,以1为间隔罗列到10之前的数字
seq 1 2 10 -->代表以1为起始,以2为间隔罗列10之前的数字
seq 10 -1 1==================================
shell
1.作用
2.构成元素1) ...
太惨了,一不小心把自己的笔记全删了,这次教训再次警醒人们:服务器上用rm命令时候慎重再慎重啊!!!哭。。。
现在只能用老师的pdf来记录了。
有兴趣的可以下载:
http://pan.baidu.com/s/1gdNEghl
零基础学习云计算及大数据DBA集群架构师【Linux Bash Shell编程及系统自动化2015年1月14日周四】标签:本文系统来源:http://www.cnblogs.com/bluesunspot/p/5205163.html
lvy老师教项目课程,以及代课了shell部分课程,大家都觉得这位老师不行,上课时做的操作很多都是错误的,觉得她基础不好。而且,她不能解释原因,学生问为什么,她不知道。崩溃啊。向xx培训机构反应后,说这位老师项目经验多,可是如果一个人基础都不行,做再多项目也没有用啊,全是错误。这部分都有pdf,自学。说真的,我都比她讲的好。哈哈。
今天考试,90分,错误的地方粗心了,以后再工作中千万不能这样哦。
下面是考题:
零基...
.写一个脚本,判断用户是否存在,如果存在则删除。若不存在,就提示不存在。
2.三个数字比大小,输出最大的
3.三个数字比大小,并且按从大到小排列
4.画斜线正反
5.达到如下效果****************
*********
6.写一个9*9乘法表
7.画一个平行四边形
8.连乘算法 while和until
9.要求根据userlist创建用户,要求指定用户名,用户id,用户的附加组及变更用户u密码,若对应用户的附加组不存在,则将附加组创建出来后再根据要求添加用户。
...
从今天开始学习shell编程,大学的时候学过c,c++,汇编,不过早就忘得一干二净,我觉得算法搞定了,什么语言只是工具。学到这里的时候,班上的同学,尤其是一点都没接触过编程的同学,真的非常吃力,而老师这边也出了些花絮。。。
本来教我们的老师感冒了,嗓子哑了,因此让教我们项目的老师来代课,也是个女老师,但是这个老师水平太差了,上课照着文档讲,操作的时候还一大堆错误,学生都看不下去了,基础知识一点都不牢靠,同学...
1.作用 1) 反复调用某段代码2) 对代码段分类.
2.设置
函数名 ()
{代码的主体
}
3.函数的使用
函数名4.返回值
使用$?查看返回值 0代表的是正确, 非零代表的是不正确.
函数的返回值指的是函数结束后需要返回给调用者的值.
使用return 跟上数字 去指定返回值5.函数的位置参数
$1指的是传递给函数的第一个参数
$2指的是传递给函数的第二个参数..
fun ()
{echo $1echo $2echo $3
}
result=$(fun 1 2 3)
echo $result[root@rhel6 ~]...
Shell 脚本在平时的开发过程中可能用到的不多,但是不代表它不重要。它在日常的运维过程中又着举足轻重的作用,有了它能极大的方便我们的部署,测试,监控等。本文因部分网友的邀请,整理了这套 Shell 视频教程,今天免费分享给大家!
Shell是一个功能相当强大的编程语言,易编写、易调试、灵活性强。Shell可以帮助我们来管理大数据集群,提高开发效率。尚硅谷的这套课程详细讲解:Shell解析器、变量、运算符、条件判断、流程控制、...
shell
第1章 Shell概述第2章 Shell解析器第3章 Shell脚本入门第4章 Shell中的变量4.1 系统变量4.2 自定义变量(变量=值,unset 变量)4.3 特殊变量:$n $# $* $@ $?
第5章 运算符第6章 条件判断第7章 流程控制(重点)7.1 if 判断7.2 case 语句7.3 for 循环7.4 while 循环
第8章 read读取控制台输入第9章 函数(basename、dirname、自定义函数)第10章 Shell工具(重点)10.1 cut10.2 sed10.3 awk10.4 sort第1章 Shell概述
大数据...
Shell 编程增强
Shell编程一般指编写shell脚本。
1、基本语法:
使用vi编辑器新建一个文件hello.sh
#!/bin/bash
echo "Hello World!"执行方式:
方式1:
sh hello.sh方式2:
chmod +x ./hello.sh #使脚本具有执行权限./hello.sh #执行脚本2、变量:
(1)局部变量
#!/bin/bash
str="hello"
echo ${str}world(2)环境变量
echo $PATH
echo $HOME# (1)在/etc/profile文件下,定义环境变量:
export MYENV=/root/lib/demo
# (2)生效...