Python for Informatics 第11章之正则表达式（四）

注：以下文章原文来自于Dr Charles Severance 的 《Python for Informatics》

11.3 组合查询和抽取

　　如果我们想以“X-”字符串开头的行中找到数字，就像下面两行字符串：

X-DSPAM-Confidence: 0.8475
X-DSPAM-Probability: 0.0000

　　但我们不只是要任意行中的任意浮点数，而是具备上面格式的行中的数字。

　　我们可以创建以下正则表达式来选择这样的行：

^X-.*: [0-9.]+

　　这个表达式的含义是以“X-”两个字符开头，后面跟了任意个字符“.*"，接着是一个冒号":"和空格" "，在空格之后呢是一个及以上的数字或小数点“[0-9.]+”。大家要注意的是方括号中的"[.]"不是匹配任何字符，而是匹配真正的"."，这与方括号外的"."要予以区分。

　　这是一个非常紧凑的表达式，它将非常匹配我们感兴趣的行：

import re
hand = open('mobx-short.txt')
for line in hand:
line = line.rstrip()
if re.search('^X-.*: [0-9.]+', line)
print(line)

　　当我们运行这个程序，我们可以看到我们想要的数据被完美的过滤显示。

X-DSPAM-Confidence: 0.8475
X-DSPAM-Probability: 0.0000
X-DSPAM-Confidence: 0.6178
X-DSPAM-Probability: 0.0000

　　但是我们必须使用split解决提取数字的问题。然而当这个问题简单到能用split解决时，我们可以使用正则表达式的另一特点，一步达到查找和解析功能。

　　圆括号()是正则表达式中的另一特殊字符。当我们添加圆括号至表达式中，在字符串的匹配过程中它们将被忽略，但是当你使用findall()时，圆括号表示你想整个正则表达式被匹配，但是你只抽取位于圆括号内你感兴趣的那部分字符串。

　　所以我们对程序修改如下：

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('^X-.*: ([0-9.]+)', line)
if len(x) > 0 :
print(x)

　　我们在正则表达式中对匹配浮点数字部分添加圆括号，并且用findall()代替search()，返回我们想要的浮点数字部分。这个程序的输出如下：

['0.8475']
['0.0000']
['0.6178']
['0.0000']
['0.6961']
['0.0000']
..

　　虽然这些在列表中的数字还需要从字符串转换为浮点数，但是我们应用正则表达式的能力同时查找和抽取了我们感兴趣的的信息。

　　下面是使用这个技巧的另一个案例。如果你查看文件，你会发现有许多行是这样的格式：

Details: http://source.sakaiproject.org/viewsvn/?view=rev&rev=39772

　　如果我们想用同样的技巧抽取所有修订号（行末尾的整数），我们可以这样编写代码：

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('^Details:.*rev=([0-9]+)', line)
if len(x) > 0 :
print(x)

　　我们的正则表达式的是这样的，以"Details:"开头，之后可以是任意字符”.*"，然后是"rev="，最后是一个以上的数字。我们希望行是匹配整个正则表达式，但我们只需要圆括号中"[0-9]+"的数字。当我们运行程序时，将得到以下输出：

['39772']
['39771']
['39770']
['39769']
...

　　记住，"[0-9]+"是贪婪的，它将尝试抽取任何可能的数字，所以我们得到的每个字符串都有五个数字。正则表达式库在行的开头和结尾两个方向进行扩展，只到它数到一个非数字的字符。

　　我们可以用正则表达式重做本书先前的一个练习。在这个练习中我们对每个邮件的时间感兴趣，我们寻找的行的格式如下：

From stephen.marquard@uct.ac.za Sat Jan 5 09:14:16 2008

　　并且我们想抽取每一行中日期中的小时信息。先前我们通过两次调用split实现。第一次我们将行分离成单词，然后我们对第五个单词基于冒号再次分离，拉出我们感兴趣的两个字符。

　　假定要查找的行是良好格式化的，那么只要想到少的代码就可以实现。但是当你为确保程序中碰到不具备这样格式而失效，而添加必要的错误检验（或者一个try/except块）时，这个代码将会膨胀到10-15行，并且难以读懂。

　　我们可以用下面的正则表达式使工作更简单：

^From .* [0-9][0-9]：

　　这个表达式的含义是以"From "开头（注意空格），然后跟着任意个字符".*"，接着又是一个空格，然后是两个数字"[0-9][0-9]"，再接着是一个冒号。我们要找的就是具备这样格式的行。

　　为了在findall中只抽出表示小时的两位数字，我们将表达式修改如下：

^From .* ([0-9][0-9])：

　最后这个程序是这样的：

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('ˆFrom .* ([0-9][0-9]):', line)
if len(x) > 0 :
print(x)

　　程序运行结果如下：

['09']
['18']
['16']
['15']
...

相关阅读：

Python for Informatics 第11章 正则表达式(一)

Python for Informatics 第11章之正则表达式（二）

关于Python for Informatics 第11章之正则表达式（四）就给大家介绍到这里，希望对大家有所帮助。后续还会持续更新，更多精彩内容敬请关注！

赞 (0)

相关推荐

  • Python for Informatics 第11章之正则表达式（二）

    注:以下文章原文来自于Dr Charles Severance 的 <Python for Informatics> 11.1 正则表达式的字符匹配 我们可以用许多其它的特殊字符创建更加强大的正则表达式.最常用的特殊符号是可匹配任何字符的句号(".").在以下的示例中,正则表达式"F..m:"将匹配"From:","Fxxm:","F12m:",或者"F!@m:"等类似字符串

  • Python中正则表达式的详细教程

    Python中正则表达式的详细教程

    1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成一个"规则字符串",这个"规则字符串"用来表达对字符串的一种过滤逻辑. 正则表达式是用来匹配字符串非常强大的工具,在其他编程语言中同样有正则表达式的概念,Python同样不例外,利用了正则表达式,我们想要从返回的页面内容提取出我们想要的内容就易如反掌了. 正则表达式的大致匹配过程是:     1.依次拿出表达式和文本中的字符比较,     2.如果每

  • Python利用正则表达式匹配并截取指定子串及去重的方法

    本文实例讲述了Python利用正则表达式匹配并截取指定子串及去重的方法.分享给大家供大家参考.具体如下: import re pattern=re.compile(r'\| (\d+) \| (\d+) \|') numset=set() all=''' | 29266795 | 533 | | 29370116 | 533 | | 29467495 | 533 | | 29500404 | 533 | | 29500622 | 533 | | 29515964 | 530 | | 295160

  • Python for Informatics 第11章 正则表达式(一)

    正则表达式,又称正规表示法.常规表示法(英语:Regular Expression,在代码中常简写为regex.regexp或RE),计算机科学的一个概念.正则表达式使用单个字符串来描述.匹配一系列符合某个句法规则的字符串.在很多文本编辑器里,正则表达式通常被用来检索.替换那些符合某个模式的文本. 注:以下文章原文来自于Dr Charles Severance 的 <Python for Informatics> 目前为止,我们一直在通读文件,查找模式和抽取字里行间我们感兴趣的各种信息.我们一

  • Python通过正则表达式选取callback的方法

    本文实例讲述了Python通过正则表达式选取callback的方法.分享给大家供大家参考.具体如下: 最近在瞎想怎么通过xpath去精确抓取文章的正文,跟parselets类似的想法,只不过更简单. 代码设计上采用正则表达式匹配URL,再选择callback handler的方式,主要参考web.py的分发器(Dispatcher). 当然,这个实现比较老土一些,全部用function的方式回调,没有用类. #!/bin/env python import re, sys # Define pa

  • 在Python中使用正则表达式的方法

    正则表达式(regular expression)是一种用形式化语法描述的文本匹配模式.在需要处理大量文本处理的应用中有广泛的使用,我没使用的编辑器,IDE中的搜索常用正则表达式作为搜索模式.玩过*nix系统的都知道如sed,grep,awk这类的命令,他们是非常强大的文本处理工具.几乎所有的语言都有对正则表达式的支持,有的直接在语法中支持,有的使用扩展库的形式.python使用的就是扩展库re.     re.search(pattern,string,flag=0) 搜索文本中的匹配的模式是

  • python使用正则表达式提取网页URL的方法

    本文实例讲述了python使用正则表达式提取网页URL的方法.分享给大家供大家参考.具体实现方法如下: import re import urllib url="http://www.jb51.net" s=urllib.urlopen(url).read() ss=s.replace(" ","") urls=re.findall(r"<a.*?href=.*?<\/a>",ss,re.I) for i i

  • Python中正则表达式match()、search()函数及match()和search()的区别详解

    Python中正则表达式match()、search()函数及match()和search()的区别详解

    match()和search()都是python中的正则匹配函数,那这两个函数有何区别呢? match()函数只检测RE是不是在string的开始位置匹配, search()会扫描整个string查找匹配, 也就是说match()只有在0位置匹配成功的话才有返回,如果不是开始位置匹配成功的话,match()就返回none 例如: #! /usr/bin/env python # -*- coding=utf-8 -*- import re text = 'pythontab' m = re.ma

  • Python for Informatics 第11章之正则表达式（四）

    注:以下文章原文来自于Dr Charles Severance 的 <Python for Informatics> 11.3 组合查询和抽取 如果我们想以"X-"字符串开头的行中找到数字,就像下面两行字符串: X-DSPAM-Confidence: 0.8475 X-DSPAM-Probability: 0.0000 但我们不只是要任意行中的任意浮点数,而是具备上面格式的行中的数字. 我们可以创建以下正则表达式来选择这样的行: ^X-.*: [0-9.]+ 这个表达式的含

  • Python机器学习入门(一)序章

    Python机器学习入门(一)序章

    目录 前言 写在前面 1.什么是机器学习? 1.1 监督学习 1.2无监督学习 2.Python中的机器学习 3.必须环境安装 Anacodna安装 总结 前言 每一次变革都由技术驱动.纵观人类历史,上古时代,人类从采集狩猎社会,进化为农业社会:由农业社会进入到工业社会:从工业社会到现在信息社会.每一次变革,都由新技术引导. 在历次的技术革命中,一个人.一家企业,甚至一个国家,可以选择的道路只有两条:要么加入时代的变革,勇立潮头:要么徘徊观望,抱憾终生. 要想成为时代弄潮儿,就要积极拥抱这次智能

  • Python获取当前页面内所有链接的四种方法对比分析

    本文实例讲述了Python获取当前页面内所有链接的四种方法.分享给大家供大家参考,具体如下: ''' 得到当前页面所有连接 ''' import requests import re from bs4 import BeautifulSoup from lxml import etree from selenium import webdriver url = 'http://www.testweb.com' r = requests.get(url) r.encoding = 'gb2312'

  • Python爬虫的两套解析方法和四种爬虫实现过程

    对于大多数朋友而言,爬虫绝对是学习 python 的最好的起手和入门方式.因为爬虫思维模式固定,编程模式也相对简单,一般在细节处理上积累一些经验都可以成功入门.本文想针对某一网页对  python 基础爬虫的两大解析库(  BeautifulSoup 和  lxml )和几种信息提取实现方法进行分析,以开  python 爬虫之初见. 基础爬虫的固定模式 笔者这里所谈的基础爬虫,指的是不需要处理像异步加载.验证码.代理等高阶爬虫技术的爬虫方法.一般而言,基础爬虫的两大请求库 urllib 和 

  • Python中字典（dict）合并的四种方法总结

    Python中字典（dict）合并的四种方法总结

    本文主要给大家介绍了关于Python中字典(dict)合并的四种方法,分享出来供大家参考学习,话不多说了,来一起看看详细的介绍: 字典是Python语言中唯一的映射类型. 映射类型对象里哈希值(键,key)和指向的对象(值,value)是一对多的的关系,通常被认为是可变的哈希表. 字典对象是可变的,它是一个容器类型,能存储任意个数的Python对象,其中也可包括其他容器类型. 字典类型与序列类型的区别: 1. 存取和访问数据的方式不同. 2. 序列类型只用数字类型的键(从序列的开始按数值顺序索引

  • Python 实现劳拉游戏的实例代码（四连环、重力四子棋）

    Python 实现劳拉游戏的实例代码（四连环、重力四子棋）

    游戏规则:双方轮流选择棋盘的列号放进自己的棋子, 若棋盘上有四颗相同型号的棋子在一行.一列或一条斜线上连接起来, 则使用该型号棋子的玩家就赢了! 程序实现游戏,并将每局的数据保存到本地的文件中 首先我们要创建一个空白的棋盘 def into():#初始空白棋盘 for i in range(6): list_width=[] for j in range(8): list_width.append(' '+'|') screen.append(list_width) 然后呢 我们再写一个输赢判断

  • Python字典删除键值对和元素的四种方法(小结)

    目录 1.del删除字典本身 2.pop()删除字典键值对  3.popitem()删除字典键值对 4.clear()删除字典键值对:清空字典中的所有内容,但是不删除字典本身,del删除字典本身 在删除每个字典的时候有些方法和删除其他拥有独立内存的数据使用的方法是一样的,比如del,直接清空内存,clear()是值清除变量值.字典的删除我们从字典对象本身和字典中的键值对两个方面出发,来学习一下. 1.del删除字典本身 del就是从内存级别删除字典本身,让这个字典对象彻底消失.同时也可以删除字典

  • c++11中regex正则表达式示例简述

    regex库中涉及到的主要类型有: 以std::string为代表的处理字符串的类型(我们知道还有存储wchar_t的wstring类.原生c式字符串const char*等等,为了简化处理仅介绍std::string类型相关的操作,当你把握住了regex的主脉络之后,想使用其他的版本只要类比就可以) std::regex类,该类型需要一个代表正则表达式的字符串和一个文法选项作为输入,当文法选项不提供时默认为ECMAScript. std::match_results类,该类用来记录匹配的结果,

随机推荐