首页 / 正则 / 大数据Shell编程之常用正则表达式

大数据Shell编程之常用正则表达式

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了大数据Shell编程之常用正则表达式，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10445字，纯文字阅读大概需要15分钟。

内容图文

^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾

扩展正则 sed 加 -r 参数或转义
grep 加 -E 或 egrep 或转义
AWK 直接支持但不包含{n,m}
可以使用--posix支持
[root@MiWiFi-R3-srv ~]# awk '/ro{1,3}/{print}' /etc/passwd
[root@MiWiFi-R3-srv ~]# awk --posix '/ro{1,3}/{print}' /etc/passwd

sed -n '/roo\?/p' /etc/passwd
sed -rn '/roo?/p' /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次

posix定义的字符分类

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 [:alnum:] #Alphanumeric characters. #匹配范围为 [a-zA-Z0-9]? 任何字母或数字 [:alpha:] #Alphabetic characters. #匹配范围为 [a-zA-Z]????? 任何字母 [:blank:] #Space or tab characters. #匹配范围为空格或制表符（[\t ]） [:cntrl:] #Control characters. #匹配控制键例如 ^M 要按 ctrl+v 再按回车才能输出； #ASCII控制字符（ASCII 0~31 和 ASCII 127） [:digit:] #Numeric characters. #匹配所有数字 [0-9]? 任何数字 [:graph:] #Characters that are both printable and visible. (A space is print- able, but not visible, while an a is both.) #匹配所有可见字符，不包含空格和TAB [:lower:] #Lower-case alphabetic characters. #小写 [a-z]? 任何小写字母 [:print:] #Printable characters (characters that are not control characters.) #匹配所有可见字符包括空格和TAB #能打印到纸上的所有符号 [:punct:] #Punctuation characters (characters that are not letter, digits, con- trol characters, or space characters). #特殊输入符号 +-=)(*&^%$#@!~`|\"'{}[]:;?/>.<, #注意它不包含空格和TAB #这个集合不等于^[a-zA-Z0-9]? #不属于[:alnum:]和[:cntrl:]的任何字符 [:space:] #Space characters (such as space, tab, and formfeed, to name a few). #任何空白字符，包括空格（[\f\n\r\t\v ]） [:upper:] #Upper-case alphabetic characters. #大写 [A-Z]?? 任何大写字母 [:xdigit:] #Characters that are hexadecimal digits. #16进制数 [0-f]?? 任何十六进制数字

使用方法:
[root@seker ~]# grep --color '[[:alnum:]]' /etc/passwd

=============================================

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 “^\d+$” 　　#非负整数（正整数 + 0） “^[0-9]*[1-9][0-9]*$”?? #正整数 “^((-\d+)|(0+))$”?? #非正整数（负整数 + 0） “^-[0-9]*[1-9][0-9]*$” #负整数 “^-?\d+$”?? #整数 “^\d+(\.\d+)?$”?? #非负浮点数（正浮点数 + 0） “^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$” #正浮点数 “^((-\d+(\.\d+)?)|(0+(\.0+)?))$” #非正浮点数（负浮点数 + 0） “^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$” #负浮点数 “^(-?\d+)(\.\d+)?$” #浮点数 “^[A-Za-z]+$” #由26个英文字母组成的字符串 “^[A-Z]+$”?? #由26个英文字母的大写组成的字符串 “^[a-z]+$”?? #由26个英文字母的小写组成的字符串 “^[A-Za-z0-9]+$” #由数字和26个英文字母组成的字符串 “^\w+$”?? #由数字、26个英文字母或者下划线组成的字符串 “^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$” #email地址 “^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$” #url /^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/?? #? 年-月-日 /^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/?? # 月/日/年 “^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$”?? #Emil /^((\+?[0-9]{2,4}\-[0-9]{3,4}\-)|([0-9]{3,4}\-))?([0-9]{7,8})(\-[0-9]+)?$/???? #电话号码 “^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$”?? #IP地址

匹配中文字符的正则表达式： [\u4e00-\u9fa5]
匹配双字节字符(包括汉字在内)：[^\x00-\xff]
匹配空行的正则表达式：\n[\s| ]*\r
匹配HTML标记的正则表达式：/<(.*)>.*<\/\1>|<(.*) \/>/
匹配首尾空格的正则表达式：(^\s*)|(\s*$)
匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
匹配网址URL的正则表达式：^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*(\\?\\S*)?$
匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
匹配国内电话号码：(\d{3}-|\d{4}-)?(\d{8}|\d{7})?
匹配腾讯QQ号：^[1-9]*[1-9][0-9]*$
元字符及其在正则表达式上下文中的行为：

\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个后向引用、或一个八进制转义符。

^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的Multiline 属性，^ 也匹配 ’\n’ 或 ’\r’ 之后的位置。

$ 匹配输入字符串的结束位置。如果设置了 RegExp 对象的Multiline 属性，$ 也匹配 ’\n’ 或 ’\r’ 之前的位置。

* 匹配前面的子表达式零次或多次。

+ 匹配前面的子表达式一次或多次。+ 等价于 {1,}。

? 匹配前面的子表达式零次或一次。? 等价于 {0,1}。

{n} n 是一个非负整数，匹配确定的n 次。

{n,} n 是一个非负整数，至少匹配n 次。

{n,m} m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。在逗号和两个数之间不能有空格。

? 当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。

. 匹配除 “\n” 之外的任何单个字符。要匹配包括 ’\n’ 在内的任何字符，请使用象 ’[.\n]’ 的模式。
(pattern) 匹配pattern 并获取这一匹配。

(?:pattern) 匹配pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。

(?=pattern) 正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。

(?!pattern) 负向预查，与(?=pattern)作用相反

x|y 匹配 x 或 y。

[xyz] 字符集合。

[^xyz] 负值字符集合。

[a-z] 字符范围，匹配指定范围内的任意字符。

[^a-z] 负值字符范围，匹配任何不在指定范围内的任意字符。

\b 匹配一个单词边界，也就是指单词和空格间的位置。

\B 匹配非单词边界。

\cx 匹配由x指明的控制字符。

\d 匹配一个数字字符。等价于 [0-9]。

\D 匹配一个非数字字符。等价于 [^0-9]。

\f 匹配一个换页符。等价于 \x0c 和 \cL。

\n 匹配一个换行符。等价于 \x0a 和 \cJ。

\r 匹配一个回车符。等价于 \x0d 和 \cM。

\s 匹配任何空白字符，包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。

\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。

\t 匹配一个制表符。等价于 \x09 和 \cI。

\v 匹配一个垂直制表符。等价于 \x0b 和 \cK。

\w 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。

\W 匹配任何非单词字符。等价于 ’[^A-Za-z0-9_]’。

\xn 匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。

\num 匹配 num，其中num是一个正整数。对所获取的匹配的引用。

\n 标识一个八进制转义值或一个后向引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为后向引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。

\nm 标识一个八进制转义值或一个后向引用。如果 \nm 之前至少有is preceded by at least nm 个获取得子表达式，则 nm 为后向引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的后向引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。

\nml 如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。

\un 匹配 n，其中 n 是一个用四个十六进制数字表示的Unicode字符。

匹配中文字符的正则表达式： [u4e00-u9fa5]

匹配双字节字符(包括汉字在内)：[^x00-xff]

匹配空行的正则表达式：n[s| ]*r

匹配HTML标记的正则表达式：/<(.*)>.*</1>|<(.*) />/

匹配首尾空格的正则表达式：(^s*)|(s*$)

匹配Email地址的正则表达式：w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*

匹配网址URL的正则表达式：http://([w-]+.)+[w-]+(/[w- ./?%&=]*)?

利用正则表达式限制网页表单里的文本框输入内容：

用正则表达式限制只能输入中文：onkeyup=”value=value.replace(/[^u4E00-u9FA5]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^u4E00-u9FA5]/g,”))”

用正则表达式限制只能输入全角字符： onkeyup=”value=value.replace(/[^uFF00-uFFFF]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^uFF00-uFFFF]/g,”))”

用正则表达式限制只能输入数字：onkeyup=”value=value.replace(/[^d]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”

用正则表达式限制只能输入数字和英文：onkeyup=”value=value.replace(/[W]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”

=========常用正则表达式

匹配中文字符的正则表达式： [\u4e00-\u9fa5]

匹配双字节字符(包括汉字在内)：[^\x00-\xff]

匹配空行的正则表达式：\n[\s| ]*\r

匹配HTML标记的正则表达式：/<(.*)>.*<\/\1>|<(.*) \/>/

匹配首尾空格的正则表达式：(^\s*)|(\s*$)

匹配IP地址的正则表达式：/(\d+)\.(\d+)\.(\d+)\.(\d+)/g //

匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

匹配网址URL的正则表达式：http://(/[\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?

1、非负整数：^\d+$

2、正整数：^[0-9]*[1-9][0-9]*$

3、非正整数：^((-\d+)|(0+))$

4、负整数：^-[0-9]*[1-9][0-9]*$

5、整数：^-?\d+$

6、非负浮点数：^\d+(\.\d+)?$

7、正浮点数：^((0-9)+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)| ([0-9]*[1-9][0-9]*))$

8、非正浮点数：^((-\d+\.\d+)?)|(0+(\.0+)?))$

9、负浮点数：^(-((正浮点数正则式)))$

10、英文字符串：^[A-Za-z]+$

11、英文大写串：^[A-Z]+$

12、英文小写串：^[a-z]+$

13、英文字符数字串：^[A-Za-z0-9]+$

14、英数字加下划线串：^\w+$

15、E-mail地址：^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$

16、URL：^[a-zA-Z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\s*)?$
或：^http:\/\/[A-Za-z0-9]+\.[A-Za-z0-9]+[\/=\?%\-&_~`@[\]\’:+!]*([^& lt;>\"\"])*$

17、邮政编码：^[1-9]\d{5}$

18、中文：^[\u0391-\uFFE5]+$

19、电话号码：^(($\d{2,3}$)|(\d{3}\-))?($0\d{2,3}$|0\d{2,3}-)?[1-9] \d{6,7}(\-\d{1,4})?$

20、手机号码：^(($\d{2,3}$)|(\d{3}\-))?13\d{9}$

21、双字节字符(包括汉字在内)：^\x00-\xff

22、匹配首尾空格：(^\s*)|(\s*$)（像vbscript那样的trim函数）

23、匹配HTML标记：<(.*)>.*<\/\1>|<(.*) \/>

24、匹配空行：\n[\s| ]*\r

25、提取信息中的网络链接：(h|H)(r|R)(e|E)(f|F) *= *(’|”)?(\w|\\|\/|\.)+(’|”| *|>)?

26、提取信息中的邮件地址：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

27、提取信息中的图片链接：(s|S)(r|R)(c|C) *= *(’|”)?(\w|\\|\/|\.)+(’|”| *|>)?

28、提取信息中的IP地址：(\d+)\.(\d+)\.(\d+)\.(\d+)

29、提取信息中的中国手机号码：(86)*0*13\d{9}

30、提取信息中的中国固定电话号码：($\d{3,4}$|\d{3,4}-|\s)?\d{8}

31、提取信息中的中国电话号码（包括移动和固定电话）：($\d{3,4}$|\d{3,4}-|\s)?\d{7,14}

32、提取信息中的中国邮政编码：[1-9]{1}(\d+){5}

33、提取信息中的浮点数（即小数）：(-?\d*)\.?\d+

34、提取信息中的任何数字：(-?\d*)(\.\d+)?

35、IP：(\d+)\.(\d+)\.(\d+)\.(\d+)

36、电话区号：/^0\d{2,3}$/

37、腾讯QQ号：^[1-9]*[1-9][0-9]*$

38、帐号(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$

39、中文、英文、数字及下划线：^[\u4e00-\u9fa5_a-zA-Z0-9]+$

内容总结

以上是互联网集市为您收集整理的大数据Shell编程之常用正则表达式全部内容，希望文章能够帮你解决大数据Shell编程之常用正则表达式所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/968173.html

来源：【匿名】

【上一篇】Linux/Centos 正则表达式【下一篇】正则表达式语法

更多 ►

【大数据Shell编程之常用正则表达式】教程文章相关的互联网学习教程文章

Shell编程——sort排序、uniq忽略重复、tr替换压缩删除、cut指定删除字段、正则表达式元字符【图】

目录标题 sort 命令uniq 命令tr 命令cut 命令正则表达式基础正则表达式常见元字符扩展正则表达式元字符例子sort 命令sort命令—以行尾单位对文件内容进行排序，也可以根据不同的数据类型来排序语法格式常用选项： -f：忽略大小写，默认会将大写字母排在后面-b：忽略每行前面的空格-n：按照数字进行排序-r：反向排序-u：等同于uniq，表示相同的数据仅显示一行-t：指定字段分隔符，默认使用[tab]键分隔-k：指定排序字段-o <输出文...

Shell编程（四）之正则表达式【代码】【图】

正则表达式一、sort命令二、uniq命令三、tr命令四、正则表达式1、什么是正则表达式2、基础正则表达式元字符3、扩展正则表达式元字符4、正则表达式示例一、sort命令（1）以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序（2）语法格式： sort [选项] 参数 cat file | sort 选项（3）常用选项 -f忽略大小写，默认会将大写字母排在前面-b忽略每行前面的空格-n按照数字进行排序-r反向排序-u等同于uniq,表示相同的数据...

Shell编程之繁杂的正则表达式【代码】【图】

Shell编程之繁杂的正则表达式一、三个命令1.1 sort命令1.2 uniq命令1.3 tr命令二、正则表达式2.1 正则表达式2.2 基础正则表达式常见元字符2.3 扩展正则表达式一、三个命令 1.1 sort命令以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序一般格式： sort [选项] 参数 cat file | sort 选项常用选项选项功能-f忽略大小写，默认会将大写字母排在前面-b忽略每行前面的空格-n按照数字进行排序-r反向排序-u等同于uniq...

06_SHELL编程之CASE语句+函数+正则

文章目录一、case语句1. 语法结构2. 应用案例㈠脚本传不同值做不同事㈡根据用户需求选择做事二、==函数==1. 什么是函数？2. 如何定义函数？㈠当前命令行调用㈡定义到用户的环境变量中㈢脚本中调用 1. 任务背景2. 具体要求3. 综合分析4. 落地实现四、正则表达式2. 正则能干什么？3. 正则当中名词解释㈠正则中普通常用的元字符㈡正则中其他常用元字符㈢扩展类正则常用元字符 6. 正则表达式总结五、正则元字符一栏表六、正...

shell编程grep命令和正则表达式

# 一、grepLinux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示**全局正则表达式**版本，它的使用权限是所有用户。**grep命令的基本格式：**```shellgrep [OPTIONS] PATTERN [FILE…]```**匹配控制选项：**-e : 使用PATTERN作为模式。这可以用于指定多个搜索模式，...

Shell编程—正则表达式【代码】

1什么是正则表达式 1.1定义正则表达式是你所定义的模式模板，Linux工具可以用它来过滤文本。Linux 工具（比如sed编辑器或gawk程序）能够在处理数据时使用正则表达式对数据进行模式匹配。 1.2正则表达式的类型正则表达式是通过正则表达式引擎实现的。正则表达式引擎是一套底层软件，负责解释正则表达式模式并使用这些模式进行文本匹配。在Linux中，有两种流行的正则表达式引擎：POSIX基础正则表达式（basic regular expression，...

Shell编程之正则表达式（四）【代码】

在 Linux 系统中，常用的文件排序工具有三种：sort、uniq、wc。本篇文章将介绍前两种工具的用法。 sort 工具sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的牌局就不一样。sort 命令的语法为 sort [选项] 参数常用选项选项说明-f 忽略大小写-b 忽略每行前面的空格-M 按月份进行排序-n 按照数字进行排序-r 反向排序-u 等同于uniq，表示形同的数据仅显示一行-t 指定分隔符，默认...

Shell编程之正则表达式（三）【代码】

awk工具在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。 1. awk常见用法awk 所使用的命令格式如下所示，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文...

Shell编程之正则表达式三剑客——awk工具【代码】【图】

awk概述在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。1，awk常见用法通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读...

Shell编程之正则表达式三剑客——sed工具【代码】【图】

sed工具概述擅长对数据行进行处理，sed是一种流编辑器，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。利用sed命令可以将数据行进行替换、删除、新增、选取等特定工作。sed命令常见用法 sed [选项] '操作' 参数 sed [选项] -...

Shell编程之正则表达式三剑客——grep,egrep【代码】【图】

正则表达式概述正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。基础正则表达式正则表达式的字符串表达方法根据不同的严谨程度与功能分为基本正则表达式与扩展正则表达式。基础正则表达式是常用的正则表达式的最基础的部分。在 Linux 系统中常见的文件处理工具中 grep 与 sed 支持基础正则表达式，...