首页 / LINUX / Linux shell 编程之awk的使用

Linux shell 编程之awk的使用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Linux shell 编程之awk的使用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6363字，纯文字阅读大概需要10分钟。

内容图文

使用awk提取文本

步骤一：awk文本过滤的基本用法
1）基本操作方法
格式：awk [选项] ‘[条件]{编辑指令}’ 文件
其中，print 是最常用的编辑指令；若有多条编辑指令，可用分号分隔。
处理文本时，若未指定分隔符，则默认将空格、制表符等作为分隔符。
直接过滤文件内容：

[root@svr5 ~]# cat /etc/rc.local  					//文件的完整内容
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local
[root@svr5 ~]# awk '{print $1,$2}' /etc/rc.local  	//输出文件的第1、2列
#!/bin/sh
#
# This
# You
# want

touch /var/lock/subsys/local

结合管道过滤命令输出：

[root@svr5 ~]# uname -a  							//正常的完整输出
Linux svr5.tarena.com 2.6.18-348.el5 #1 SMP Wed Nov 28 21:22:00 EST 2012 x86_64 x86_64 x86_64 GNU/Linux
[root@svr5 ~]# uname -a | awk '{print $1,$3,$12}'  	//输出第1、3、12字段
Linux 2.6.18-348.el5 x86_64

2）选项 -F 可指定分隔符
截取/etc/passwd文件的前7行，用来创建一个测试文件，操作如下：

[root@svr5 ~]# head -7 /etc/passwd > passwd.txt
[root@svr5 ~]# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

输出passwd.txt文件中以分号分隔的第1、7个字段，显示的不同字段之间以逗号隔开，操作如下：

[root@svr5 ~]# awk -F: '{print $1","$7}' passwd.txt
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown

或者：

[root@svr5 ~]# awk -F ":" '{print $1","$7}' passwd.txt
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown

awk过滤处理也支持以指定的字符串作为分隔，比如以“in”分隔，输出第1、3个字段的文本：

[root@svr5 ~]# awk -F "in" '{print $1,$3}' passwd.txt
root:x:0:0:root:/root:/b
b :/b
daemon:x:2:2:daemon:/sb /nolog
adm:x:3:4:adm:/var/adm:/sb
lp:x:4:7:lp:/var/spool/lpd:/sb
sync:x:5:0:sync:/sb /sync
shutdown:x:6:0:shutdown:/sb /shutdown

awk还识别多种单个的字符，比如以“:”或“/”分隔，输出第1、10个字段：

[root@svr5 ~]# awk -F [:/] '{print $1,$10}' passwd.txt
root bash
bin nologin
daemon nologin
adm sbin
lp
sync sync
shutdown shutdown

3）特殊的内置变量
注意：调用awk的内置变量时，不需要加前置 $ 符号。
比如，使用awk输出当前操作的文件名、当前处理的行号：

[root@svr5 ~]# awk '{print FILENAME,NR}' passwd.txt
passwd.txt 1
passwd.txt 2
passwd.txt 3
passwd.txt 4
passwd.txt 5
passwd.txt 6
passwd.txt 7

输出每次处理的行号，以及当前行以“:”分隔的字段个数：

[root@svr5 ~]# awk -F: '{print NR,NF}' passwd.txt
1 7
2 7
3 7
4 7
5 7
6 7
7 7

输出当前用户的passwd记录（第1列的值与系统变量USER的值相同）：

[root@svr5 ~]# echo $USER  						//确认当前用户
root
[root@svr5 ~]# awk -F: '$1==ENVIRON["USER"]{print $0}' passwd.txt
root:x:0:0:root:/root:/bin/bash  					//输出当前用户的记录

注意：$0表示正在处理的整行文本，可以省略（默认即输出整行）；当编辑指令是输出匹配的整行文本时，整个{print $0}都可以不写。
上述操作可简写为：

[root@svr5 ~]# awk -F: '$1==ENVIRON["USER"]{print}' passwd.txt      
root:x:0:0:root:/root:/bin/bash
或者：
[root@svr5 ~]# awk -F: '$1==ENVIRON["USER"]' passwd.txt       
root:x:0:0:root:/root:/bin/bash

4）awk处理的时机
awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行之后做一些总结性质的工作。在命令格式上分别体现如下：
行前处理，BEGIN{ }
逐行处理，{ }
行后处理，END{ }
上述编辑指令段可以包含在一对单引号内，比如：
awk [选项] ’ BEGIN{编辑指令 } {编辑指令} END{编辑指令}’ 文件
只做预处理的时候，可以没有操作文件，比如：

[root@svr5 ~]# awk 'BEGIN{A=1024;print A*2.56}'
2621.44

举个包括三个处理时机的例子——“统计系统中使用bash作为登录Shell的用户总个数：预处理时赋值变量x=0，然后逐行读入/etc/passwd文件检查，如果发现登录Shell是/bin/bash则x增加1，全部处理完毕后，输出x的值即可。相关操作及结果如下：

[root@svr5 ~]# awk 'BEGIN{x=0}/\<bash$/{x++} END{print x}' /etc/passwd
29

当然，这个例子比较简单（效果与egrep -c ‘<bash$’ /etc/passwd 相同），此处仅仅是用来说明awk三种处理时机的用法。在实际工作中，利用awk的这种处理流程可以完成许多更复杂的任务。
步骤二：利用awk提取本机的IP地址、根分区使用率
1）提取IP地址
分步实现的思路及操作参考如下——
通过ifconfig eth0查看网卡信息，其中包括IP地址：

[root@svr5 ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:82:09:E9
          inet addr:192.168.4.4  Bcast:192.168.4.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe82:9e9/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:358524 errors:0 dropped:0 overruns:0 frame:0
          TX packets:230638 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:44470760 (42.4 MiB)  TX bytes:64236279 (61.2 MiB)

结合grep获得包含IP地址的那一行：

[root@svr5 ~]# ifconfig eth0 | grep "inet addr:"
          inet addr:192.168.4.4  Bcast:192.168.4.255  Mask:255.255.255.0

再结合awk过滤出默认分隔的第2列：

[root@svr5 ~]# ifconfig eth0 | grep "inet addr:" | awk '{print $2}'
addr:192.168.4.4

进一步结合awk过滤出以“:”分隔的第2列：

[root@svr5 ~]# ifconfig eth0 | grep "inet addr:" | awk '{print $2}' | awk -F: '{print $2}'
192.168.4.4

2）提取根分区使用率
分步实现的思路及操作参考如下——
通过df命令查看根分区的使用情况，其中包括使用率：

[root@svr5 ~]# df -hT /
文件系统 		类型 	容量 	已用 	可用 	已用% 	挂载点
/dev/sda2 	ext3 	19G 		7.2G 	11G 		40% 		/

输出上述结果中最后一行的第6列：

[root@svr5 ~]# df -hT / | tail -1 | awk '{print $6}'
40%

步骤三：格式化输出/etc/passwd文件
1）任务需求及实现思路分析
根据任务要求的结果，输出的内容包括三个部分：列表头、用户信息、列表尾。
由于/etc/passwd文件中的用户记录是单一的以“:”分隔，而且恰好awk本身就已经支持“前、中、后”三段式处理，所以用awk处理是再合适不过了。通过awk的内置变量NR即可获得处理的记录行数，因此只要设置正确的输出即可。
2）根据实现思路编写、验证awk过滤语句
输出信息时，可以使用“\t”显示Tab制表位：

[root@svr5 ~]# awk -F: 'BEGIN{print "User\tUID\tHome"} \
{print $1"\t"$3"\t"$6} END{print "Total "NR" lines."}' /etc/passwd
User    UID     Home
root    0       /root
bin     1       /bin
daemon  2       /sbin
adm     3       /var/adm
lp      4       /var/spool/lpd
sync    5       /sbin
.. ..
iamkiller       1234    /opt/.private/iamkiller
nsd001  0       /home/nsd001
nsd002  1236    /home/nsd002
nsd003  1237    /home/nsd003
postfix 89      /var/spool/postfix
Total 67 lines.

内容总结

以上是互联网集市为您收集整理的Linux shell 编程之awk的使用全部内容，希望文章能够帮你解决Linux shell 编程之awk的使用所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/968818.html

来源：【匿名】

【上一篇】linux – slimv没有加载到vim中的* .lisp文件【下一篇】Linux下安装GD

更多 ►

【Linux shell 编程之awk的使用】教程文章相关的互联网学习教程文章

Linux Shell脚本编程while语句案例【代码】

1，每隔3秒，打印一次系统负载#!/bin/bashwhiletruedouptimesleep3done2，把监控结果保存到文件，在后台执行，然后用tail -f监控文件变化ghostwu@dev:~/linux/shell/flow_control$ shwhile.sh & [1] 12867#!/bin/bashwhiletruedouptime >> log.txtsleep3doneghostwu@dev:~/linux/shell/flow_control$ tail -f log.txt 06:14:32 up 33 min, 1 user, load average: 0.33, 0.35, 0.3206:14:35 up 33 min, 1 user, load average: 0...

Linux学习笔记七----------Shell脚本

shell，linux中的编程语言，完成自动化任务，Bash是linux多个发行版本的默认shell安装一个新的shell，sudo yum install kshshell脚本依赖于某一个shell，切换sh，chsh创建脚本文件vim test.sh指定选择的shell#!/bin/bash chmod +x test.sh运行shell脚本./test.sh 调试脚本bash -x test.sh 切换sh，chsh shell中的变量#!/bin/bashmessage=‘hello world‘message=$‘it\‘s me‘echo $messageecho "the message is $message"message...

“linux shell”中的“$1”是什么？

美元符加字符串bai是引用变量值，而美元符加数字表示命du令行参数。比如：zhibash$ ./hello.sh build test脚本中$0的值就是dao./hello.sh，$1的值是build，$2的值是test。bash$ list.sh -sh --debug /home/user脚本中$0的值就是list.sh，$1的值是-sh，$2的值是--debug，$3的值是/home/user。当脚本接受命令行参数时，美元符加数字就可以引用这些参数。原文：https://www.cnblogs.com/curedfisher/p/13266458.html

linux下自动备份MySQL数据并上传到FTP上的shell脚本

复制代码代码如下:#!/bin/bash #Mysql autobackup shell # # #----------------set the mysql login parameters dbuser=root dbpasswd= dbserver=localhost dbname=fwserver2008 dbopt=--opt backupdir=/dbbackup/ #-----------------set the FTP paramters , 0 no send to a ftp server,1 send to a ftp server copytoftp=1 ftpserver=172.16.25.2 ftpuser=linux ftppasswd=123456 #----------------set the backpfile paramters...

linux shell 数组建立及使用技巧

参考网址：http://www.cnblogs.com/chengmo/archive/2010/09/30/1839632.htmllinux shell在编程方面比windows 批处理强大太多，无论是在循环、运算以及数据类型方面都是不能比较的。下面是在数组方面一些操作的总结。1、数组定义[hadoop@Master ~]$ a=(1 2 3 4 5)[hadoop@Master ~]$ echo $a1一对括号表示是数组，数组元素用“空格”符号分割开。2、数组读取与赋值获取长度：[hadoop@Master ~]$ echo ${#a[@]}4用${#数组名[@或*]}...

通过xshell在linux上安装node10.16.0【代码】

查看更多Linux开发环境配置，请点击《Linux开发环境配置大全》通过xshell在linux上安装node10.16.01）下载解压下载wget https://nodejs.org/dist/v10.16.0/node-v10.16.0-linux-x64.tar.xz 解压tar xf node-v10.16.0-linux-x64.tar.xz进入解压目录cd node-v10.16.0-linux-x64 2）修改配置vi /etc/profile ，在最后面添加export PATH=$PATH:/root/node-v10.16.0-linux-x64/bin执行命令生效source /etc/profile 3）查看版本[root@loc...

linux shell except tcl login ssh Automatic interaction【代码】

/**************************************************************************************** linux shell except tcl login ssh Automatic interaction* 声明：* 本程序是使用except自动登入远程目标机，并且执行commands文件中的命令给定的命令，* 可以对多个目标机进行测试，目标机的IP保存在shell的数组中，目前只支持相同的账户和密码。** 2015-9-15 晴深...

linux shell 多线程执行程序【代码】

Shell中并没有真正意义的多线程，要实现多线程可以启动多个后端进程，最大程度利用cpu性能。直接看代码示例吧。(1) 顺序执行的代码 1 #!/bin/bash2date 3for i in `seq15`4do 5{6echo"sleep 5" 7sleep5 8}9done10date输出：Sat Nov 1909:21:51 CST 2016sleep5sleep5sleep5sleep5sleep5 Sat Nov 1909:22:16 CST 2016(2) 并行代码使用‘&‘+wait 实现“多进程”实现 1 #!/bin/bash2date 3for i in `seq15`4do 5{6echo"sleep 5" 7slee...

Linux命令应用大词典-第10章 Shell相关命令

10.1 commond：抑制正常的Shell函数查找10.2 exec：使用执行命令替换当前的shell进程10.3 bash：GNU的Bourne-Again Shell解释器10.4 builtin:执行Shell内建命令10.5 enable：启用或禁用内建Shell命令10.6 source：在当前shell环境中从指定文件读取和执行命令10.7 mksh：用于交互式和Shell脚本的命令解释器10.8 suspend：暂停Shell执行10.9 sushell：执行单用户Shell10.10 shopt：切换变量控制可选的Shell行为的值10.11 rsh：远程Sh...

xshell下实现windows与linux文件互传

一个非常简单的方法#yum install -y lrzsz安装完成之后1，从windows>>>>>>>>linux#rz会弹出对话框，选择你需要传输的文件2，从linux>>>>>>>>windows#sz file会弹出对话框选择你需要存放的目录原文：http://molinsky.blog.51cto.com/9310917/1834246

linux shell if 参数

linux shell if 参数shell 编程中使用到得if语句内判断参数　　–b 当file存在并且是块文件时返回真　　-c 当file存在并且是字符文件时返回真　　-d 当pathname存在并且是一个目录时返回真　　-e 当pathname指定的文件或目录存在时返回真　　-f 当file存在并且是正规文件时返回真　　-g 当由pathname指定的文件或目录存在并且设置了SGID位时返回为真　　-h 当file存在并且是符号链接文件时返回真，该选项在一些老系统上无效　　-k ...

ArchLinux下Shell基础学习【图】

首先来认识脚本语言：通常指的是命令行界面的解析器。（来自维基的解释）第一部分：认识Shell大家可以看到这里使用了#!/bin/sh和!/bin/bash。可是俩者有什么区别呢？下图有解释。sh是bash的软连接。sh对应的bash命令完整参数是：/bin/bash --posix（这里感谢Yiffy）第二部分：转换命令使用这里可以看到我使用了tr替换命令（\0是null字符，\n表示换行）。字符换行，那么如果不换行张什么样子呢？第三部分：基本Shell认识这里是一个基...

自学Linux Shell2.1-进入shell命令行

点击返回自学Linux命令行与Shell脚本之路2.1-进入shell命令行文件系统是文件存放在磁盘等存储设备上的组织方法。Linux系统能支持多种目前流行的文件系统，如EXT2、 EXT3、 FAT、 FAT32、 VFAT和ISO9660。原文：https://www.cnblogs.com/yaoyaojcy/p/9172448.html

linux c语言编写一个shell壳【代码】【图】

目的：我们要用c语言编写一个shell可以运行在linux机器上的。介绍：shell所在的层次我们要做的是操作系统，用于用户与操作系统进行交互的myhsell 思路：用户输入一行字符串，我们先将其进行切割为一段段的字符串，然后一一匹配判断是内置命令还是外置命令。内置命令是写在shell程序里面的，而外置命令是单独写的程序，用exec族系统调用。好，那么下面我们看代码： 1 #include<stdio.h>2 #include<unistd.h>3 #include<sys...

[SHELL进阶] （转）最牛B的 Linux Shell 命令（四）

1.查看ASCII码表man 7 ascii 很多人初学编程都会接触到ascii码的概念，有时候为了查某个符号的ascii值，可能还得翻箱倒柜找出当年的课本？Linux Manpage里面其实包含了很多类似的实用资料，上述命令就能很详细的方式解释ascii编码，当然这里还有在线版。man命令的第二个参数是区域码，用来区分索引词的范围，比如printf，在C标准库里面的printf跟bash当中的printf是不同的，前者的查询是man 3 printf，后者是man 1 printf。如果这个...

LINUX - 最热教程

Xrdp - 通过Windows的RDP连接Linux远程...VMware中Linux虚拟机挂载主机共享文件夹...Linux双网卡配置虚拟机下Linux安装好Nginx后，宿主机无...linux下安装postgresql并配置远程图形桌...Linux命令--exportfs命令详解 linux 终端printf打印显示乱码问题修正 Linux下Shell的for循环语句N种写法 Linux下创建nginx脚本-start、stop、re...SUSELinux安装MySQL

首页 / LINUX / Linux shell 编程之awk的使用

Linux shell 编程之awk的使用

内容导读

内容图文

使用awk提取文本

内容总结

内容备注

内容手机端

【Linux shell 编程之awk的使用】教程文章相关的互联网学习教程文章

Linux Shell脚本编程while语句案例【代码】

Linux学习笔记七----------Shell脚本

“linux shell”中的“$1”是什么？

linux下自动备份MySQL数据并上传到FTP上的shell脚本

linux shell 数组建立及使用技巧

通过xshell在linux上安装node10.16.0【代码】

linux shell except tcl login ssh Automatic interaction【代码】

linux shell 多线程执行程序【代码】

Linux命令应用大词典-第10章 Shell相关命令

xshell下实现windows与linux文件互传

linux shell if 参数

ArchLinux下Shell基础学习【图】

自学Linux Shell2.1-进入shell命令行

linux c语言编写一个shell壳【代码】【图】

[SHELL进阶] （转）最牛B的 Linux Shell 命令（四）

LINUX - 相关标签

编程 - 相关标签

LINUX - 最新教程

LINUX - 最热教程

首页 / LINUX / Linux shell 编程 之awk的使用

Linux shell 编程 之awk的使用

内容导读

内容图文

使用awk提取文本

内容总结

内容备注

内容手机端

【Linux shell 编程 之awk的使用】教程文章相关的互联网学习教程文章

LINUX - 相关标签

编程 - 相关标签

LINUX - 最新教程

LINUX - 最热教程

首页 / LINUX / Linux shell 编程之awk的使用

Linux shell 编程之awk的使用

【Linux shell 编程之awk的使用】教程文章相关的互联网学习教程文章