python正则表达式re模块

Biegral 2019/3/5 0:32:15 1071

1 正则表达式（regular expression ,RE）

概念：正则表达式（通项公式）是用来简洁表达一组字符串的表达式。优势是简洁，一行胜千言。

应用：字符串匹配。

 

1.1 正则表达式的语法

正则表达式语法由字符和操作符组成。

表1：正则表达式的常用操作符

 

操作符

说明

实例

.

表示任何单个字符

 

[  ]

字符集，对单个字符给出取值范围

[ab]表示a、b，[a-z]表示a到z单个字符

[^  ]

非字符集，对单个字符给出排除范围

[^abc]表示非a或b或c的单个字符

*

前一个字符0次或无限次扩展

abc* 表示ab、abc、abcc、abccc等

+

前一个字符1次或无限次扩展

abc+ 表示abc、abcc、abccc等

?

前一个字符0次或1次扩展

abc? 表示ab、abc

|

左右表达式任意一个

abc|def 表示abc、def

{m}

扩展前一个字符m次

ab{2}c表示abbc

{m,n}

扩展前一个字符m至n次（含n）

ab{1,2}c表示abc、abbc

^

匹配字符串开头

^abc表示abc且在一个字符串的开头

$

匹配字符串结尾

abc$表示abc且在一个字符串的结尾

( )

分组标记，内部只能使用| 操作符

(abc)表示abc，(abc|def)表示abc、def

\d

数字，等价于[0‐9]

 

\w

单词字符，等价于[A‐Za‐z0‐9_]

 

1.2 正则表达式实例

 


 

  1. 正则表达式 对应字符串

  2. P(Y|YT|YTH|YTHO)?N 'PN'、'PYN'、'PYTN'、'PYTHN'、'PYTHON'

  3. PYTHON+ 'PYTHON'、'PYTHONN'、'PYTHONNN' …

  4. PY[TH]ON 'PYTON'、'PYHON'

  5. PY[^TH]?ON 'PYON'、'PYaON'、'PYbON'、'PYcON'…

  6. PY{:3}N 'PN'、'PYN'、'PYYN'、'PYYYN'

 

经典正则表达式实例


 

  1. ^[A-Za-z]+$ #由26个字母组成的字符串

  2. ^[A-Za-z0-9]+$ #由26个字母和数字组成的字符串

  3. ^-?\d+$ #整数形式的字符串

  4. ^[0-9]*[1-9][0-9]*$ #正整数形式的字符串

  5. [1-9]\d{5} #中国境内邮政编码，6位

  6. [\u4e00-\u9fa5] #匹配中文字符

  7. \d{3}‐\d{8}|\d{4}‐\d{7} #国内电话号码，010-68913536

  8.  

 

实例：匹配IP地址的正则表达式

IP地址字符串形式的正则表达式（IP地址分4段，每段0‐255）

 

\d+.\d+.\d+.\d+ 或\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}

精确写法0‐99： [1‐9]?\d
100‐199: 1\d{2}
200‐249: 2[0‐4]\d
250‐255: 25[0‐5]

(([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5]).){3}([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5])

2 Re库的基本使用

Re库是Python的标准库，主要用于字符串匹配。

调用方式：import re

re库采用raw string类型表示正则表达式，表示为：r'text'

例如：r'[1‐9]\d{5}'
    r'\d{3}‐\d{8}|\d{4}‐\d{7}'

raw string是不包含对转义符再次转义的字符串。

 

2.1 Re库主要功能函数

表2：Re库主要功能函数

 

函数

说明

re.search()

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

re.match()

从一个字符串的开始位置起匹配正则表达式，返回match对象

re.findall()

搜索字符串，以列表类型返回全部能匹配的子串

re.split()

将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

re.finditer()

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

re.sub()

在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串


re.search(pattern, string, flags=0)

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ flags : 正则表达式使用时的控制标记

常用标记 说明

re.I re.IGNORECASE 忽略正则表达式的大小写，[A‐Z]能够匹配小写字符

re.M re.MULTILINE 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始

re.S re.DOTALL 正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

re.sub(pattern, repl, string, count=0, flags=0)

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ repl : 替换匹配字符串的字符串

∙ string : 待匹配字符串

∙ count : 匹配的最大替换次数

∙ flags : 正则表达式使用时的控制标记

其他函数参数的含义基本相同，此处不再详细介绍。

 

2.2 Re库的两种用法

2.2.1 函数式用法：一次性操作

rst = re.search(r'[1‐9]\d{5}', 'BIT 100081')

2.2.2 面向对象用法：编译后的多次操作

编译：将符合正则表达式语法的字符串转换成正则表达式特征。

pat = re.compile(r'[1‐9]\d{5}')

rst = pat.search('BIT 100081')

面向对象用法：编译后的多次操作

两种用法等价

 

2.3 Re库的Match对象

Match对象是一次匹配的结果，包含匹配的很多信息。

Match对象的属性和方法

 

属性

说明

方法

说明

.string

待匹配的文本

.group(0)

获得匹配后的字符串

.re

匹配时使用的patter对象（正则表达式）

.start()

匹配字符串在原始字符串的开始位置

.pos

正则表达式搜索文本的开始位置

.end()

匹配字符串在原始字符串的结束位置

.endpos

正则表达式搜索文本的结束位置

.span()

返回(.start(), .end())

 

2.4 Re库的贪婪匹配和最小匹配

2.4.1 贪婪匹配

实例：

>>> match = re.search(r'PY.*N', 'PYANBNCNDN')

>>> match.group(0)

'PYANBNCNDN'

Re库默认采用贪婪匹配，即输出匹配最长的子串。

2.4.2 最小匹配

实例：

>>> match = re.search(r'PY.*?N', 'PYANBNCNDN')

>>> match.group(0)

'PYAN'

只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配。

其他操作符还包括：*?、+?、??、{m,n}?

 

实例：淘宝商品比价定向爬虫

目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格

理解：
     淘宝的搜索接口
翻页的处理

 

搜索接口和翻页的URL对应属性


步骤1：提交商品搜索请求，循环获取页面

 

步骤2：对于每个页面，提取商品名称和价格信息

步骤3：将信息输出到屏幕上

源代码如下所示：

import requests
import re
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
        
def parsePage(ilt, html):
    try:
        #以列表类型返回全部能匹配的子串
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        #正则表达式的最小匹配
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price , title])
    except:
        print("出现异常")
 
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))
         
def main():
    goods = '水杯'
    depth = 3
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
     
main()

 

本文转载:CSDN博客

阅读排行

分类

归档