第四周-文本处理工具和正则表达式、shell脚本编程基础1、 统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户的个数，并将用户都显示出来grep -v /sbin/nologin /etc/passwd|wc -lgrep -v /sbin/nologin /etc/passwd|cut -d: -f12、 查出用户UID最大值的用户名，UID及shell类型。cut -d: -f1,3,7 /etc/passwd|sort -t: -k2 -nr | head -n13、 统计当前连接本机的每个远程主机IP的连接数，并从大到小排序netstat -nt|tr...
1、/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户显示出来getent passwd | grep -v "/sbin/nologin$" | cut -d: -f1 | nl | sort -nr2、查出UID最大值的用户名、UID和shell类型getent passwd | cut -d: -f1,3,7 | sort -t: -k2 -nr | head -13、统计当前连接本机的每隔远程主机IP的链接数，并从大到小排序netstat -tan | grep "ESTABLISHED" | tr -s : | cut -d: -f6 | sort -nr | uniq -c4、编写脚本crea...
1什么是正则表达式 1.1定义 正则表达式是你所定义的模式模板，Linux工具可以用它来过滤文本。Linux 工具（比如sed编辑器或gawk程序）能够在处理数据时使用正则表达式对数据进行模式匹配。 1.2正则表达式的类型 正则表达式是通过正则表达式引擎实现的。正则表达式引擎是一套底层软件，负责解释正则表达式模式并使用这些模式进行文本匹配。 在Linux中，有两种流行的正则表达式引擎：POSIX基础正则表达式（basic regular expression，...
shell脚本编程之正则表达式（二） 一、前言 ? 本文主要是对扩展正则表达式的介绍，同时，继续按照上篇文章的风格介绍sed文本处理工具，sed作为shell编程中“三剑客”之一，在对文本处理上有巨大作用。关于正则概念以及grep命令结合正则使用的案例请参照：https://blog.51cto.com/14557673/2455588 二、扩展正则表达式 ? 扩展正则表达式主要是为了简化指令而产出的。例如，使用基础正则表达式查询文件中空白行与行首为#号之外的...
需求是统计某个业务的访问个数日志服务器上的目录结构是如下,搜索最近7天的指定关键字数据,并排重统计个数:drwxr-xr-x 2 root root 4096 Nov 15 08:00 2019-11-15 drwxr-xr-x 2 root root 4096 Nov 16 08:00 2019-11-16 drwxr-xr-x 2 root root 4096 Nov 17 08:00 2019-11-17 drwxr-xr-x 2 root root 4096 Nov 18 08:00 2019-11-18 drwxr-xr-x 2 root root 4096 Nov 19 08:00 2019-11-19 drwxr-xr-x 2 root root 4096 Nov 20 08:00...
通过试验，可以通过grep、sed两种方式实现。 假设需要提取libgcc-4.8.5-4.h5.x86_64.rpm中的版本号。 grep echo "libgcc-4.8.5-4.h5.x86_64.rpm" | grep -Eo "[0-9]+\.[0-9]+.*x86_64" grep的-o选项，可以只打印匹配的部分，否则会打印整行。 sed echo "libgcc-4.8.5-4.h5.x86_64.rpm" | sed -r "s/libgcc-([0-9]+\.[0-9]+.*)\.rpm/\1/g" sed使用\1反向引用前面匹配的组。 但是sed没有只显示匹配部分的功能，会显示整行，所以采用的...
我正在尝试解析看起来像shell命令的字符串.这些命令的一般结构如下：command value -arg1name arg1val -arg2name arg2val ... -argMname argMval这是一个例子abc cmdh1521 -x 123 -y sadg -zzz 563sd我正在使用Python re模块来解析,搜索和分组字符串,以便得到这样的输出,(command, value, ((-arg1name, arg1val), (arg2name, arg2val), ... (argMname, argMval))我尝试了以下命令集,但是我的输出不是我想要的.import re cmd = "abc...
目录 1. 正则表达式概述 2. 正则表达式规则 3. 正则表达式之GREP文本过滤 4. 正则表达式之SED文本处理 5. 正则表达式之AWK文本处理 1. 正则表达式概述 01. 什么是正则表达式 正则表达式regular expression, RE是一种字符模式，用于在查找过程中匹配指定的字符。 02. 为什么要使用正则表达式? 在工作中，我们时刻面对着大量的日志，程序，以及命令的输出。迫切的需要过滤我们需要的一部分内容，甚至是一个字符串。比如: 现在有一个上...
在 Linux 系统中，常用的文件排序工具有三种：sort、uniq、wc。本篇文章将介绍前两种工具的用法。 sort 工具sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的牌局就不一样。sort 命令的语法为 sort [选项] 参数常用选项选项 说明-f 忽略大小写-b 忽略每行前面的空格-M 按月份进行排序-n 按照数字进行排序-r 反向排序-u 等同于uniq，表示形同的数据仅显示一行-t 指定分隔符，默认...
awk工具 在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。 1. awk常见用法awk 所使用的命令格式如下所示，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文...
Grep命令 基本正则表达式实例之查找特定字符： 这里我们就以存放本机所有用户的/etc/passwd文件做实例 Demo1： [root@localhost ~]# grep -n "root" /etc/passwd //-n表示显示行号 1:root:x:0:0:root:/root:/bin/bash 10:operator:x:11:0:operator:/root:/sbin/nologin 基本正则表达式实例之查找集合字符： 有重复的字符时，可使用“[ ]”来进行集合匹配，每次只匹配“[ ]”中的一个字符。 Demo2： [root@localhost ~]# grep ...
通配符 意义 * 匹配任意多个字符（包括零个或一个） ? 匹配任意一个字符（不包括零个） [characters] 匹配任意一个属于字符集中的字符 [!characters] 匹配任意一个不是字符集中的字符 [[:class:]] 匹配任意一个属于指定字符类中的字符 字符类 意义 [:alnum:] 匹配任意一个字母或数字 [:alpha:] ...
Shell脚本之正则表达式 一.正则表达式三剑客之一：grep1.学习正则表达式前我们拿一个无用的配置文件作为测试练习[root@localhost ~]# vim chen.txt#version=DEVELSystem authorization information auth --enableshadow --passalgo=sha512# Use CDROM installation media cdrom thethethe THE THEASDHASUse graphical install graphicalRun the Setup Agent on first boot firstboot --enable ignoredisk --only-use=sda wood wd w...
sort 工具 sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。sort 语法 sort [选项] 参数sort常用选项 -f：忽略大小写 -b：忽略每行前面的空格 -M：按照月份进行排序 -n：按照数字进行排序 -r：反向排序 -u：表示相同的数据仅显示一行(去除不连续的重复) -t：指定分隔符，默认使用[Tab]键分隔 -o <输出文件>：将排序后的结果转存至指定文件 -k：指定排序区域范例演示 将/etc/passwd 文件中第三列进...
正则表达式的概念 正则表达式:使用单个字符串来描述、匹配一系列符合某个句法规则的字符串由普通字符与特殊字符组成，一般用在脚本编程、文本编辑器中,如php、python、she等,简写为regex、regexp、 用来检索、替换符合模式的文本,具有强大的文本匹配功能能够在文本海洋中快速高效地处理本文 基础正则表达式 正则表达式的字符串表达方法根据不同的严谨程度与功能分为基本正则表达式与扩展正则表达式。基础正则表达式是常用的正则表达...