Shell编程—sed进阶

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Shell编程—sed进阶，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含12340字，纯文字阅读大概需要18分钟。

内容图文

1多行命令

sed编辑器包含了三个可用来处理多行文本的特殊命令。

N：将数据流中的下一行加进来创建一个多行组来处理。
D：删除多行组中的一行。
P：打印多行组中的一行。

1.1next命令

1. 单行的next命令

小写的n命令会告诉sed编辑器移动到数据流中的下一文本行，而不用重新回到命令的开始再执行一遍。

$ cat data1.txt
This is the header line.
 
This is a data line.
 
This is the last line.
$
$ sed '/^$/d' data1.txt
This is the header line.
This is a data line.
This is the last line.

由于要删除的行是空行，没有任何能够标示这种行的文本可供查找。解决办法是用n命令。在这个例子中，脚本要查找含有单词header的那一行。找到之后，n命令会让sed编辑器移动到文本的下一行，也就是那个空行。

$ sed '/header/{n ; d}' data1.txt
This is the header line.
This is a data line.
 
This is the last line.

2. 合并文本行

下面的例子演示了N命令的工作方式。

$ cat data2.txt 
This is the header line.
This is the first data line. 
This is the second data line.
This is the last line.
$ 
$ sed '/first/{ N ; s/\n/ / }' data2.txt 
This is the header line.
This is the first data line. This is the second data line.
This is the last line.

sed编辑器脚本查找含有单词first的那行文本。找到该行后，它会用N命令将下一行合并到那行，然后用替换命令s将换行符替换成空格。结果是，文本文件中的两行在sed编辑器的输出中成了一行。

如果要在数据文件中查找一个可能会分散在两行中的文本短语的话，这是个很实用的应用程序。这里有个例子。

$ cat data3.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
All System Administrators should attend.
Thank you for your attendance.
$
$ sed 'N ; s/System Administrator/Desktop User/' data3.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
All Desktop Users should attend.
Thank you for your attendance.
$

替换命令会在文本文件中查找特定的双词短语System Administrator。如果短语在一行中的话，事情很好处理，替换命令可以直接替换文本。但如果短语分散在两行中的话，替换命令就没法识别匹配的模式了。这时N命令就可以派上用场了。

$ sed 'N ; s/System.Administrator/Desktop User/' data3.txt 
On Tuesday, the Linux Desktop User's group meeting will be held.
All Desktop Users should attend.
Thank you for your attendance.

$ cat data4.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
All System Administrators should attend.
$
$ sed 'N
> s/System\nAdministrator/Desktop\nUser/ 
> s/System Administrator/Desktop User/
> ' data4.txt
On Tuesday, the Linux Desktop
User's group meeting will be held.
All System Administrators should attend.
$ sed 'N ; s/System.Administrator/Desktop User/' data3.txt 
On Tuesday, the Linux Desktop User's group meeting will be held.
All Desktop Users should attend.
Thank you for your attendance.
$ cat data4.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
All System Administrators should attend.
$
$ sed 'N
> s/System\nAdminis

由于System Administrator文本出现在了数据流中的后一行，N命令会错过它，因为没有其他行可读入到模式空间跟这行合并。你可以轻松地解决这个问题——将单行命令放到N命令前面，并将多行命令放到N命令后面，像这样：

$ sed '
> s/System Administrator/Desktop User/
> N
> s/System\nAdministrator/Desktop\nUser/
> ' data4.txt
On Tuesday, the Linux Desktop 
User's group meeting will be held.
All Desktop Users should attend.

1.2多行删除命令

删除命令d和N命令一起使用：

$ sed 'N ; /System\nAdministrator/d' data4.txt 
All System Administrators should attend.

sed编辑器提供了多行删除命令D，它只删除模式空间中的第一行。该命令会删除到换行符（含换行符）为止的所有字符。

$ sed 'N ; /System\nAdministrator/D' data4.txt 
Administrator's group meeting will be held. 
All System Administrators should attend.

文本的第二行被N命令加到了模式空间，但仍然完好。如果需要删掉目标数据字符串所在行的前一文本行，它能派得上用场。这里有个例子，它会删除数据流中出现在第一行前的空白行。

$ cat data5.txt 
 
This is the header line. 
This is a data line. 
 
This is the last line. 
$  
$ sed '/^$/{N ; /header/D}' data5.txt 
This is the header line. 
This is a data line. 
 
This is the last line.

1.3多行打印命令

多行打印命令（P）沿用了同样的方法。它只打印多行模式空间中的第一行。这包括模式空间中直到换行符为止的所有字符。

$ sed -n 'N ; /System\nAdministrator/P' data3.txt 
On Tuesday, the Linux System

2保持空间

模式空间（pattern space）是一块活跃的缓冲区，在sed编辑器执行命令时它会保存待检查的文本。但它并不是sed编辑器保存文本的唯一空间。sed编辑器有另一块称作保持空间的缓冲区域。在处理模式空间中的某些行时，可以用保持空间来临时保存一些行。有5条命令可用来操作保持空间：

命令	描述
h	将模式空间复制到保持空间
H	将模式空间附加到保持空间
g	将保持空间复制到模式空间
G	将保持空间附加到模式空间
x	交换模式空间和保持空间的内容

$ cat data2.txt
This is the header line.
This is the first data line.
This is the second data line.
This is the last line.
$ 
$ sed -n '/first/ {h ; p ; n ; p ; g ; p }' data2.txt
This is the first data line.
This is the second data line.
This is the first data line.

(1) sed脚本在地址中用正则表达式来过滤出含有单词first的行；

(2) 当含有单词first的行出现时，h命令将该行放到保持空间；

(3) p命令打印模式空间也就是第一个数据行的内容；

(4) n命令提取数据流中的下一行（This is the second data line），并将它放到模式空间；

(5) p命令打印模式空间的内容，现在是第二个数据行；

(6) g命令将保持空间的内容（This is the first data line）放回模式空间，替换当前文本；

(7) p命令打印模式空间的当前内容，现在变回第一个数据行了。

3排除命令

感叹号命令（!）用来排除（negate）命令，也就是让原本会起作用的命令不起作用。下面的例子演示了这一特性。

$ sed -n '/header/!p' data2.txt 
This is the first data line. 
This is the second data line. 
This is the last line.

普通p命令只打印data2文件中包含单词header的那行。加了感叹号之后，情况就相反了：除了包含单词header那一行外，文件中其他所有的行都被打印出来了。

$ sed 'N;
> s/System\nAdministrator/Desktop\nUser/
> s/System Administrator/Desktop User/
> ' data4.txt
On Tuesday, the Linux Desktop
User's group meeting will be held.
All System Administrators should attend.
$
$ sed '$!N;
> s/System\nAdministrator/Desktop\nUser/
> s/System Administrator/Desktop User/
> ' data4.txt
On Tuesday, the Linux Desktop
User's group meeting will be held.
All Desktop Users should attend.

这个例子演示了如何配合使用感叹号与N命令以及与美元符特殊地址。美元符表示数据流中的后一行文本，所以当sed编辑器到了后一行时，它没有执行N命令，但它对所有其他行都执行了这个命令。

反转数据流中文本行的顺序：

Shell编程—sed进阶 - 文章图片

$ cat data2.txt
This is the header line.
This is the first data line. 
This is the second data line.
This is the last line.
$ 
$ sed -n '{1!G ; h ; $p }' data2.txt 
This is the last line.
This is the second data line. 
This is the first data line.
This is the header line.

4改变流

4.1分支

分支（branch）命令b的格式如下：

[address]b [label]

address参数决定了哪些行的数据会触发分支命令。label参数定义了要跳转到的位置。如果没有加label参数，跳转命令会跳转到脚本的结尾。

$ cat data2.txt 
This is the header line.
This is the first data line. 
This is the second data line.
This is the last line.
$$ sed '{2,3b ; s/This is/Is this/ ; s/line./test?/}' data2.txt 
Is this the header test?
This is the first data line. 
This is the second data line.
Is this the last test?

分支命令在数据流中的第2行和第3行处跳过了两个替换命令。

要是不想直接跳到脚本的结尾，可以为分支命令定义一个要跳转到的标签。标签以冒号开始，多可以是7个字符长度。

:label2

要指定标签，将它加到b命令后即可。使用标签允许你跳过地址匹配处的命令，但仍然执行脚本中的其他命令。

$ sed '{/first/b jump1 ; s/This is the/No jump on/ 
> :jump1 
> s/This is the/Jump here on/}' data2.txt 
No jump on header line 
Jump here on first data line 
No jump on second data line 
No jump on last line

跳转命令指定如果文本行中出现了first，程序应该跳到标签为jump1的脚本行。如果分支命令的模式没有匹配，sed编辑器会继续执行脚本中的命令，包括分支标签后的命令（因此，所有的替换命令都会在不匹配分支模式的行上执行）。如果某行匹配了分支模式， sed编辑器就会跳转到带有分支标签的那行。因此，只有后一个替换命令会执行。

$ echo "This, is, a, test, to, remove, commas." | sed -n '{
> :start
> s/,//1p
> b start
> }'
This is, a, test, to, remove, commas. 
This is a, test, to, remove, commas. 
This is a test, to, remove, commas. 
This is a test to, remove, commas. 
This is a test to remove, commas. 
This is a test to remove commas.
^C

脚本的每次迭代都会删除文本中的第一个逗号，并打印字符串。这个脚本有个问题：它永远不会结束。这就形成了一个无穷循环，不停地查找逗号，直到使用Ctrl+C组合键发送一个信号，手动停止这个脚本。

要防止这个问题，可以为分支命令指定一个地址模式来查找。如果没有模式，跳转就应该结束。

$ echo "This, is, a, test, to, remove, commas." | sed -n '{
> :start
> s/,//1p
> b start
> }'
This is, a, test, to, remove, commas. 
This is a, test, to, remove, commas. 
This is a test, to, remove, commas. 
This is a test to, remove, commas. 
This is a test to remove, commas. 
This is a test to remove commas.
^C

4.2测试

测试命令（t）也可以用来改变sed编辑器脚本的执行流程。测试命令会根据替换命令的结果跳转到某个标签，而不是根据地址进行跳转。如果替换命令成功匹配并替换了一个模式，测试命令就会跳转到指定的标签。如果替换命令未能匹配指定的模式，测试命令就不会跳转。测试命令使用与分支命令相同的格式。

[address]t [label]

跟分支命令一样，在没有指定标签的情况下，如果测试成功，sed会跳转到脚本的结尾。

$ sed '{ 
> s/first/matched/ 
> t 
> s/This is the/No match on/ 
> }' data2.txt 
No match on header line 
This is the matched data line 
No match on second data line 
No match on last line

第一个替换命令会查找模式文本first。如果匹配了行中的模式，它就会替换文本，而且测试命令会跳过后面的替换命令。如果第一个替换命令未能匹配模式，第二个替换命令就会被执行。有了测试命令，你就能结束之前用分支命令形成的无限循环。

$ echo "This, is, a, test, to, remove, commas. " | sed -n '{
> :start
> s/,//1p
> t start
> }'
This is, a, test, to, remove, commas. 
This is a, test, to, remove, commas. 
This is a test, to, remove, commas. 
This is a test to, remove, commas. 
This is a test to remove, commas. 
This is a test to remove commas.

当无需替换时，测试命令不会跳转而是继续执行剩下的脚本。

5模式替代

5.1&符号

&符号可以用来代表替换命令中的匹配的模式。不管模式匹 4配的是什么样的文本，你都可以在替代模式中使用&符号来使用这段文本。

$ echo "The cat sleeps in his hat." | sed 's/.at/"&"/g' 
The "cat" sleeps in his "hat". 
$

5.2替代单独的单词

sed编辑器用圆括号来定义替换模式中的子模式。你可以在替代模式中使用特殊字符来引用每个子模式。替代字符由反斜线和数字组成。数字表明子模式的位置。sed编辑器会给第一个子模式分配字符\1，给第二个子模式分配字符\2，依此类推。

来看一个在sed编辑器脚本中使用这个特性的例子。

$ echo "The System Administrator manual" | sed ' 
> s/\(System\) Administrator/\1 User/' 
The System User manual

这个替换命令用一对圆括号将单词System括起来，将其标示为一个子模式。然后它在替代模式中使用\1来提取第一个匹配的子模式。

$ echo "That furry cat is pretty" | sed 's/furry \(.at\)/\1/'
That cat is pretty
$
$ echo "That furry hat is pretty" | sed 's/furry \(.at\)/\1/'
That hat is pretty

在这种情况下，你不能用&符号，因为它会替换整个匹配的模式。子模式提供了答案，允许你选择将模式中的某部分作为替代模式。

当需要在两个或多个子模式间插入文本时，这个特性尤其有用。这里有个脚本，它使用子模式在大数字中插入逗号。

$ echo "1234567" | sed '{
> :start
> s/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/
> t start
> }'
1,234,567

这个脚本将匹配模式分成了两部分。

.*[0-9]

[0-9]{3}

这个模式会查找两个子模式。第一个子模式是以数字结尾的任意长度的字符。第二个子模式是若干组三位数字。如果这个模式在文本中找到了，替代文本会在两个子模式之间加一个逗号，每个子模式都会通过其位置来标示。

6 在脚本中使用 sed

6.1使用包装脚本

在shell脚本中，可以将普通的shell变量及参数和sed编辑器脚本一起使用。这里有个将命令行参数变量作为sed脚本输入的例子。

$ cat reverse.sh
#!/bin/bash
# Shell wrapper for sed editor script.
#               to reverse text file lines. sed -n '{ 1!G ; h ; $p }' $1

名为reverse的shell脚本用sed编辑器脚本来反转数据流中的文本行。它使用shell参数$1从命令行中提取第一个参数，这正是需要进行反转的文件名。

$ ./reverse.sh data2.txt 
This is the last line.     
This is the second data line. 
This is the first data line. 
This is the header line.

现在你能在任何文件上轻松使用这个sed编辑器脚本，再不用每次都在命令行上重新输入了。

6.2重定向 sed 的输出

用sed脚本来向数值计算的阶乘结果添加逗号。

$ cat fact.sh
#!/bin/bash
# Add commas to number in factorial answer
factorial=1 
counter=1 
number=$1
while [ $counter -le $number ] 
do
    factorial=$[ $factorial * $counter ]   
     counter=$[ $counter + 1 ] 
done 
result=$(echo $factorial | sed '{
:start 
s/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/ t 
start
}') 
echo "The result is $result"
#
$ ./fact.sh 20
The result is 2,432,902,008,176,640,000

内容总结

以上是互联网集市为您收集整理的Shell编程—sed进阶全部内容，希望文章能够帮你解决Shell编程—sed进阶所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/944102.html

来源：【匿名】

【上一篇】UDP单播：两个进程侦听同一个udp端口;只有一个接收数据包【下一篇】关于IE的RegExp.exec的问题

更多 ►

【Shell编程—sed进阶】教程文章相关的互联网学习教程文章

1多行命令 sed编辑器包含了三个可用来处理多行文本的特殊命令。N：将数据流中的下一行加进来创建一个多行组来处理。 D：删除多行组中的一行。 P：打印多行组中的一行。1.1next命令 1. 单行的next命令小写的n命令会告诉sed编辑器移动到数据流中的下一文本行，而不用重新回到命令的开始再执行一遍。$ cat data1.txt This is the header line.This is a data line.This is the last line. $ $ sed /^$/d data1.txt This is the head...

shell编程【代码】【图】

为什么要学习Shell编程 Shell脚本语言是实现Linux/Unix系统管理及自动化运维所必须的重要工具，Linux系统的底层以及基础应用软件的核心大都涉及Shell脚本的内容。一个合格的Linux系统管理员都必须熟练编写Shell脚本语言，从而提升运维人员的工作效率，减少不必要的重复性工作。学习Shell所需的基础知识熟练使用VIm编辑器，熟悉SSH终端等配置在Linux下开发shell脚本用的最多的就是vim编辑器，熟练使用vim可以使得shell脚本开发事...

shell编程系列19--文本处理三剑客之awk常用选项【代码】【图】

shell编程系列19--文本处理三剑客之awk常用选项awk选项总结选项解释 -v 参数传递 -f 指定脚本文件 -F 指定分隔符 -V 查看awk的版本号[root@localhost shell]# awk -v num2="$num1" -v var1="$var" BEGIN{print num2,var1} 20 hello world# -f 选项文件中读取表达式 [root@localhost shell]# cat 1.awk BEGIN{str="I hava a tream"location=index(str,"ea")print location } [root@localhost...

shell编程（2）【代码】

1. shell变量简介 2. 定义变量 3. 使用变量 4. 修改变量的值 5. 单引号和双引号的区别 6. 将命令的结果赋值给变量 7. 删除变量 8. 变量类型 9. 特殊变量列表 10. 退出状态 11. shell表达式与运算符 11.1 条件表达式 11.2 整数比较符 11.3 字符串比较符 11.4 文件测试 11.5 布尔运算符 11.6 逻辑判断符 11.7 整数运算 11.8 其他运算工具 11.9 shell括号用途总结 shell变量简介变量是任何一种编程语...

shell编程实战1-告警系统【图】

需求：使用shell定制各种个性化告警工具，但需要统一化管理、规范化管理。我们的机器角色多种多样，但是所有机器上都要部署同样的监控系统，也就说所有机器不管什么角色，整个程序框架都是一致的，不同的地方在于根据不同的角色，定制不同的配置文件。 1. 思路：指定一个脚本包，包含主程序、子程序、配置文件、邮件引擎、输出日志等主程序：作为整个脚本的入口，是整个系统的命脉配置...

2.shell编程-函数的高级用法【代码】

2.1.函数的定义和使用函数基本使用[root@VM_0_9_centos ~]# test() > {} -bash: syntax error near unexpected token `{} [root@VM_0_9_centos ~]# test() {} -bash: syntax error near unexpected token `{} [root@VM_0_9_centos ~]# test() > { > echo "test function" > } [root@VM_0_9_centos ~]# test test function [root@VM_0_9_centos ~]# function greeting > { > echo "hello world" > } [root@VM_0_9_centos ...

【shell编程】基础篇【代码】【图】

文章目录基础篇一、Shell概述二、脚本定义与执行三、shell中的变量四、运算符五、条件判断六、流程控制七、read读取控制台输入八、函数九、Shell工具基础篇一、Shell概述 shell是一个功能比较强大的脚本语言，易编写、易调试、灵活性强。它负责接收应用程序用户命令，然后调用操作系统内核对用户态的接口，开发和运维都应该掌握。Linux提供的Shell的种类很多，centos7中提供了这么多类型不过bash（GNU Bourne-Again Shell）是最常...

shell编程第一天【图】

shell编程基础脚本：简单来说就是一条条的文字命令（一些指令的堆积）Shell属于内置的脚本 1、程序开发效率非常高，依赖于功能强大的命令可以迅速地完成开发任务（批处理） 2、语法简单，代码写起来比较轻松，简单易学 1991年linux正式发布；1992年正式诞生 linux可用的shell都记录在/etc/shells文件中kernel主要的功能： 1、内存的管理 2、进程的管理 3、文件系统的管理（xfs，ext2/3/4) 4、设备驱动程序 5、网络系统 /etc/profi...

shell编程--1【代码】

如今，不会Linux的程序员都不意思说自己是程序员，而不会shell编程就不能说自己会Linux。说起来似乎shell编程很屌啊，然而不用担心，其实shell编程真的很简单。背景什么是shell编程高大上的解释，往往让人摸不住头脑。一句话概括就是：shell编程就是对一堆Linux命令的逻辑化处理。为什么要会shell编程举个简单的例子，我们做javaweb开发的，在以前，如果要在本地将程序打包，然后部署到远程服务器（抛开现在的ci，原始的方法...

文本分析工具与shell编程

这篇文章讲一下常用的文本分析命令，相信我，是否有用.awk命令 linux中处理文本文件的一个应用程序awk 动作文件名awk会把文件逐行读入，(空格，制表符)为默认分隔符，将每一行分成若干字段 ,用 $n 表示第n个字段awk强大在可以用其对数据分析并生成报告.awk -F '' '{pattern+action}' filenamesawk的一般格式如下 awk -F ‘:’ ‘BEGIN{…}{}END{}’ filename 其中 -F指定分隔符，BEGIN中的内容开始执行一次，END中的内容结束执行一...

Shell编程三剑客详解【代码】【图】

在Linux/UNIX系统中包含很多文本处理器或文本编辑器，其中grep、sed和awk是shell编程中经常用到的文本处理工具，因此，被业内的人广泛的称之为“shell编程三剑客”。 grep命令工具 grep命令工具，在日常生活中，会经常用到，这里也就不多说了，如果有不明白的朋友，请参考博文：Shell脚本应用之正则表达式详解，里面详细介绍了grep命令的相关参数及使用， sed命令工具 sed是一个强大而简单的文本解析转换工具，可以读取文本，并根据...

Shell编程—处理用户输入【代码】

1命令行参数 1.1读取参数 bash shell会将一些称为位置参数（positional parameter）的特殊变量分配给输入到命令行中的所有参数。这也包括shell所执行的脚本名称。位置参数变量是标准的数字：$0是程序名，$1是第一个参数，$2是第二个参数，依次类推，直到第九个参数$9。例子：计算阶乘$ vim test1.sh #!/bin/bash # using one command line parameter factorial=1 for (( number = 1; number <= $1 ; number++ )) do factorial=$[...

Shell编程进阶篇【代码】

Shell编程进阶篇 ?? ?　　 1.1 for循环语句在计算机科学中，for循环（英语：for loop）是一种编程语言的迭代陈述，能够让程式码反复的执行。它跟其他的循环，如while循环，最大的不同，是它拥有一个循环计数器，或是循环变数。这使得for循环能够知道在迭代过程中的执行顺序。 1.1.1 shell中的for循环 shell中的for 循环与在c中不同，它包含三种形式：第一种结构是列表for 循环;第二种结构就是不带列表的for循环...

shell 编程入门到实战详解【代码】

一. shell变量、循环概述Shell是一种具备特殊功能的程序，它提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令，并把它送入内核去执行。内核是Linux系统的心脏，从开机自检就驻留在计算机的内存中，直到计算机关闭为止，而用户的应用程序存储在计算机的硬盘上，仅当需要时才被调入内存。Shell是一种应用程序，当用户登录Linux系统时，Shell就会被调入内存去执行。Shell独立于内核，它是连接内核和应用程序的桥梁，并由...

Shell编程（一）概览

1. Shell功能 1. 自动化批量系统初始化程序（update、软件安装、时区设置、安全策略.......） 2. 自动化批量软件部署程序（LAMP、LNMP、Tomcat、LVS、Nginx） 3. 管理应用程序（KVM、集群管理扩容，MySQL、DELLR720批量RAID） 4. 日志分析处理程序（PV、UV、200、!200、top 100、grep/awk） 5. 自动化备份恢复程序（MySQL完全备份/增量 + Crond） 6. 自动化管理程序（批量远程修改密码、软件升级、配置更新） 7. 自动化信息采集及监...