第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O流操作（自定义框架使用）3.3.1 HDFS文件上传3.3...
03/ shell编程综合练习自动化软件部署脚本 3.1 需求1、需求描述公司内有一个N个节点的集群，需要统一安装一些软件（jdk）需要开发一个脚本，实现对集群中的N台节点批量自动下载、安装jdk 2、思路1/ 编写一个启动脚本，用来发送一个软件安装脚本到每一台机器2/ 然后启动每台机器上的软件安装脚本来执行软件下载和安装 3、expect的使用痛点：使用scp命令远程拷贝文件时，会有人机交互的过程，如何让脚本完成人机交互？妙药： expect用...
距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O流操作（自定义框架使用）3.3.1 HDFS文件上传3.3...
大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）1.YARN的搭建 1.1集群部署规划 1.2配置YARN 1.在配置的hadoop集群中选择hadoop112：进入hadoop目录cd /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/2.配置文件yarn-env.shvim yarn-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_2113.配置文件yarn-site.xml（注意resourcemanager的选择）vim yarn-site.xml<!-- Reducer获取数据的方式 --> <property><name>ya...
1.管道 2.xargs --> 作为stdin 常用: find /etc -name c*.conf | xargs tar -czf /tmp/test.tgz 3.- 减号的用法 :前者的标准输出作为后者的标准输入. 通常用于tartar -czf - /home | tar -xzf - -C /tmp 优势:针对大文件的机内传输,比cp快,效率高.4 ; 依次执行多个命令 CMD1 && CMD2 如果前一个命令(CMD1)能够正确被执行,则执行后一个命令(CMD2) CMD1 || CMD2 如果前一个命令(CMD1)被正确执行,则不执行后一个命令(CMD2),如...
1.sort 排序 根据首字母的ascii进行排序-n 根据数字大小升序排序-r 降序排序-u 剔除重复的行-k -t 结合一起用 -k 指定列 -t指定分隔符 2.uniq 剔除重复的行 3.seq 序列 seq 10 -->代表以1为起始,以1为间隔罗列到10之前的数字 seq 2 10 -->代表以2为起始,以1为间隔罗列到10之前的数字 seq 1 2 10 -->代表以1为起始,以2为间隔罗列10之前的数字 seq 10 -1 1================================== shell 1.作用 2.构成元素1) ...
太惨了，一不小心把自己的笔记全删了，这次教训再次警醒人们：服务器上用rm命令时候慎重再慎重啊！！！哭。。。 现在只能用老师的pdf来记录了。 有兴趣的可以下载： http://pan.baidu.com/s/1gdNEghl 零基础学习云计算及大数据DBA集群架构师【Linux Bash Shell编程及系统自动化2015年1月14日周四】标签：本文系统来源：http://www.cnblogs.com/bluesunspot/p/5205163.html
lvy老师教项目课程，以及代课了shell部分课程，大家都觉得这位老师不行，上课时做的操作很多都是错误的，觉得她基础不好。而且，她不能解释原因，学生问为什么，她不知道。崩溃啊。向xx培训机构反应后，说这位老师项目经验多，可是如果一个人基础都不行，做再多项目也没有用啊，全是错误。这部分都有pdf，自学。说真的，我都比她讲的好。哈哈。 今天考试，90分，错误的地方粗心了，以后再工作中千万不能这样哦。 下面是考题： 零基...
.写一个脚本，判断用户是否存在，如果存在则删除。若不存在，就提示不存在。 2.三个数字比大小，输出最大的 3.三个数字比大小,并且按从大到小排列 4.画斜线正反 5.达到如下效果**************** ********* 6.写一个9*9乘法表 7.画一个平行四边形 8.连乘算法 while和until 9.要求根据userlist创建用户，要求指定用户名，用户id，用户的附加组及变更用户u密码，若对应用户的附加组不存在，则将附加组创建出来后再根据要求添加用户。 ...
从今天开始学习shell编程，大学的时候学过c，c++，汇编，不过早就忘得一干二净，我觉得算法搞定了，什么语言只是工具。学到这里的时候，班上的同学，尤其是一点都没接触过编程的同学，真的非常吃力，而老师这边也出了些花絮。。。 本来教我们的老师感冒了，嗓子哑了，因此让教我们项目的老师来代课，也是个女老师，但是这个老师水平太差了，上课照着文档讲，操作的时候还一大堆错误，学生都看不下去了，基础知识一点都不牢靠，同学...
1.作用 1) 反复调用某段代码2) 对代码段分类. 2.设置 函数名 () {代码的主体 } 3.函数的使用 函数名4.返回值 使用$?查看返回值 0代表的是正确, 非零代表的是不正确. 函数的返回值指的是函数结束后需要返回给调用者的值. 使用return 跟上数字 去指定返回值5.函数的位置参数 $1指的是传递给函数的第一个参数 $2指的是传递给函数的第二个参数.. fun () {echo $1echo $2echo $3 } result=$(fun 1 2 3) echo $result[root@rhel6 ~]...
Shell 脚本在平时的开发过程中可能用到的不多，但是不代表它不重要。它在日常的运维过程中又着举足轻重的作用，有了它能极大的方便我们的部署，测试，监控等。本文因部分网友的邀请，整理了这套 Shell 视频教程，今天免费分享给大家！ Shell是一个功能相当强大的编程语言，易编写、易调试、灵活性强。Shell可以帮助我们来管理大数据集群，提高开发效率。尚硅谷的这套课程详细讲解：Shell解析器、变量、运算符、条件判断、流程控制、...
shell 第1章 Shell概述第2章 Shell解析器第3章 Shell脚本入门第4章 Shell中的变量4.1 系统变量4.2 自定义变量（变量=值，unset 变量）4.3 特殊变量：$n $# $* $@ $？ 第5章 运算符第6章 条件判断第7章 流程控制（重点）7.1 if 判断7.2 case 语句7.3 for 循环7.4 while 循环 第8章 read读取控制台输入第9章 函数（basename、dirname、自定义函数）第10章 Shell工具（重点）10.1 cut10.2 sed10.3 awk10.4 sort第1章 Shell概述 大数据...
Shell 编程增强 Shell编程一般指编写shell脚本。 1、基本语法： 使用vi编辑器新建一个文件hello.sh #!/bin/bash echo "Hello World!"执行方式： 方式1： sh hello.sh方式2： chmod +x ./hello.sh #使脚本具有执行权限./hello.sh #执行脚本2、变量： （1）局部变量 #!/bin/bash str="hello" echo ${str}world（2）环境变量 echo $PATH echo $HOME# (1)在/etc/profile文件下，定义环境变量: export MYENV=/root/lib/demo # (2)生效...