正则表达式

一、动机

1. 文本处理已经能称为计算机常见工作之一
2. 对文本内容的搜索，定位，提取是逻辑比较复杂的
3. 为了快速方便的解决上述问题，产生了正则表达式

二、简介

• 定义：即文本的高级匹配模式，提供搜索，替换等功能。其本质是由一系列字符和特殊符号构成的字符串，这个字符串即正则表达式。
• 原理：通过特殊符号去描述字符的组成规则，比如重复，位置等，来表达一类字符串，进而匹配。

三、元字符的使用

1. 普通字符

   • 匹配规则：每个普通字符匹配其对应的字符
   • 例：
     • In [4]: re.findall(“刀”,“852刀8dd得到dsdssd55”)
     • Out[4]: [‘刀’]
   • 注：可以匹配utf-8字符

2. 或

   • 元字符：“ | ”
     • 匹配规则：匹配 “ | ” 两侧任意
     • 例子：
       • In [5]: re.findall(“刀|55”,“852刀8dd得到dsdssd55”)
       • Out[5]: [‘刀’, ‘55’]

3. 匹配单个字符

   • 元字符 " . "

   • 匹配规则：匹配除了换行外的任意字符

   • 例：

     - In [8]: re.findall("张.丰","张三丰，张四丰，张五丰")
     - Out[8]: ['张三丰', '张四丰', '张五丰']
     

4. 匹配字符集

   • 元字符：[字符集]
   • 匹配规则：匹配字符集中任意一个字符
   • 表达形式：
   • [ffffhj63]==>匹配其中任意一个
   • [0-9] [a-z] [A-Z] 匹配区间中任意一个

5. 匹配字符集取反

   • 元字符：[ ^字符集 ]
   • 匹配规则：除了字符集以外的任意一个字符

6. 匹配字符串开始位置的字符

   • 元字符：＂＾＂

   • 匹配字符串开始位置的字符

   • 例：

     In [10]: re.findall("^he","hello world")
     Out[10]: ['he']
     

7. 匹配字符串结束位置

   • 元字符：＄

   • 匹配字符串结尾位置的字符

   • 例：

     In [11]: re.findall("ld$","hello world")
     Out[11]: ['ld']
     

8. 匹配字符重复

   • 元字符：“ * ”

   • “ * “也可以代表 空

   • 匹配规则：匹配前面的字符出现0次或多次

   • 例：

     In [18]: re.findall("wo*","hello wwwooorld")
     Out[18]: ['w', 'w', 'wooo']
     

   • 例：匹配大写字母开头的单词

     In [20]: re.findall("[A-Z][a-z]*","Hello Wrold hello")
     Out[20]:['Hello', 'Wrold'] 
     

   • 元字符：“ + ”

   • 匹配规则：匹配前面的字符出现1次或多个

   • 例：

     In [19]: re.findall("wo+","hello wwwooorld")
     Out[19]: ['wooo']
     

   • 元字符：” ？“

   • 匹配规则：匹配前面的字符出现0次或一次

   • 例子：

     In [21]: re.findall("-?[1-9][0-9]*","age:19,score:-60,000789")
     Out[21]: ['19', '-60', '789']
     # -----------------------------------
     In [35]: re.findall(r"-?\b[1-9][0-9]*\b","age:19,score:-60,000789")
     Out[35]: ['19', '-60']
     

   • 元字符：{n}

   • 匹配规则：匹配前面的字符出现n次

   • e.g.：

     In [22]: re.findall("1[0-9]{10}","tel:18866556688")
     Out[22]: ['18866556688']
     

   • 元字符：{m，n}

   • 匹配字符串m至n次

     In [23]: re.findall("[1-9][0-9]{5,10}","qq:866556688")
     Out[23]: ['866556688']
     

9. 匹配任意（非）数字字符

   • 元字符：\d \D
   • \d 匹配任意数字字符 [0-9]
   • \D 匹配任意非数字字符

10. 匹配任意普通字符（非）普通字符

    • 元字符：\w \W

    • \w 匹配普通字符

    • \W 匹配非普通字符

    • 说明：普通字符指的是，数字，字母，下划线，汉字。

      In [27]: re.findall("\w+","addr=('127.168.0.1,8888')")
      Out[27]: ['addr', '127', '168', '0', '1', '8888']
      

11. 匹配任意（非）空字符

    • 元字符 \s \S

    • \s 匹配任意空字符

    • \S 匹配任意非空字符

    • 说明：空字符是指，空格，\r \n \t \v \f

      In [30]: re.findall("\w+\s+\w+","Hello    Wrold")
      Out[30]: ['Hello    Wrold']
      In [31]: re.findall("\S+","Hello    Wrold")
      Out[31]: ['Hello', 'Wrold']
      

12. 匹配字符串开头结尾位置(同上)

    • 字符串：\A \Z
    • \A == " ^ "
    • \Z == " $ "
    • 使用技巧：如果正在表达式中同时出现 ^ 和 $ ，则两者之间的表达式需要将目标字符串内容全部匹配

13. 匹配单词（非）边界位置

    • 元字符 ： \b \B

    • \b 匹配单词边界

    • \B

    • 说明 ： 单词边界是指普通字符（\w代表的字符）与其他字符的交界位置

      In [32]: re.findall(r"\bis\b","This is a test")
      Out[32]: ['is']
      In [35]: re.findall(r"-?\b[1-9][0-9]*\b","age:19,score:-60,000789")
      Out[35]: ['19', '-60']
      

总结

匹配字符：

匹配重复：* + ？ { n } { m，n }

匹配位置：

其他：

四、正则表达式的转义

1. 如果使用正则表达式匹配特殊字符，需要加 " \ " 表示转义
   • 特殊字符： . * + ? ^ $ [] {} () | \
2. raw 字符串的使用
   • raw字符串：在字符串前面加“ r ”表示该字符串为raw字符串，这样的字符串不会进行转义处理。

五、贪婪与非贪婪

贪婪模式：默认情况下，匹配重复的元字符总是尽可能多的向后匹配更多的内容。比如 * + ？{ m,n }

非贪婪模式（懒惰）：让元字符尽肯能少的匹配内容

贪婪 ==> 非贪婪 ：

*? ==> *?

+?==> +?

? ==> ??

六、正则表达式分组

1. 定义：在正则表达式中，以（）建立正则表达式内部分组，子组时正则表达式的一部分，可作为内部整体操作
2. 作用：作为内部整体，改变
3. 捕获组
   • 给正则表达式子组取一个名字，表达一定的意义，该组就是捕获组。
   • 格式：？P
4. 注意事项
   • 一个正则表达式中可以有多个分组
   • 子组可以嵌套
   • 子组顺序一般由外到内，由左到右

七、正则表达式匹配原则

1. 正确性，能够正确的匹配出目标字符串。
2. 排他性，除了目标字符串外尽可能不匹配其他内容。
3. 全面性，尽可能考虑到目标字符串所有情况，不遗漏。

八、Python3 的 re模块

• regex = re.compile(pattern,flage = 0 )

• 功能：生成正则表达式对象

• 参数：pattern 正则表达式

  ? flage 功能扩展标志位

• 返回：正则表达式对象

• list = re.findall(pattern,string,flags = 0 )

功能：通过正则匹配目标字符串

参数：pattern 正则

? string 目标字符串

返回：返回匹配到的内容列表，如果正则中有子组，则列表中元素为子组对应的内容。

• list = regex.findall(pattern,pos,flags = 0 )

功能：通过正则匹配目标字符串

参数：string 目标字符串

? pos 截取目标字符串开始位置

? endpos 截取目标字符串结束位置

返回：返回匹配到的内容列表，如果正则中有子组，则列表中元素为子组对应的内容。

• list = re.split(pattern,string,flags = 0)

• 功能：通过正则匹配内容切割字符串

• 参数：pattern 正则

  ? string 目标字符串

• 返回：返回切割后的内容列表。

• s = re.sub(pattern,rel,string,count,flags=0)

• 功能: 使用指定字符串替换匹配到的内容

• 参数:

  • pattern 正则
  • rel 指定字符串
  • string 目标字符串
  • count 替换多少处，默认全部替换

• 返回值: 返回替换后的字符串

it = re.finditer(pattern,string,flags=0)
功能: 通过正则匹配目标字符串
参数: pattern 正则
string 目标字符串
返回值： 返回匹配内容的迭代对象

• re.fullmatch(pattern,string,flags=0)
  功能: 通过正则匹配目标字符串全部内容
  参数: pattern 正则
  string 目标字符串
  返回值： 返回匹配内容的match对象
• re.match(pattern,string,flags=0)
  功能: 通过正则匹配目标字符串起始内容
  参数: pattern 正则
  string 目标字符串
  返回值： 返回匹配内容的match对象
• re.search(pattern,string,flags=0)
  功能: 通过正则匹配目标字符串第一处内容
  参数: pattern 正则
  string 目标字符串
  返回值： 返回匹配内容的match对象

regex对象属性：

• flags ： flags标志位值

• pattern ： 正则表达式

• groups ： 子组数量

• groupindex: 捕获组与组序列号形成的字典

  In [6]: regex = re.compile(r"(ab)cd(Pef)",flags=re.I)

  In [7]: regex.flags
  Out[7]: 34

  In [8]: regex.pattern
  Out[8]: ‘(ab)cd(?Pef)’

  In [9]: regex.groups
  Out[9]: 2

  In [10]: regex.groupindex
  Out[10]: mappingproxy({‘pig’: 2})

  match对象属性方法 （re/regex2.py）

 1. 属性变量
    	print(obj.pos)   #　匹配目标字符串开始位置
		print(obj.endpos) # 匹配目标字符串结束位置
		print(obj.re)   #　正则表达式
		print(obj.string)  #　目标字符串
		print(obj.lastgroup) # 最后一组的组名
		print(obj.lastindex) #　最后一组序号

 2. 属性方法	    
		start()   获取匹配内容的开始位置
		end()     获取匹配内容的结束位置
		span()    获取匹配内容的起止位置
		groupdict()  获取捕获组组名和对应内容的字典
		groups()   获取子组对应内容

		group() 
		功能: 获取match对象对应内容
		参数: 默认得到全部匹配内容
		      组序号或者组名，则得到对应组内容