告别正则表达式,这个Python库可以快M倍
FlashText 算法是由 Vikash Singh 于2017年发表的大规模关键词替换算法,这个算法的时间复杂度仅由文本长度(N)决定,算法时间复杂度为O(N)。
而对于正则表达式的替换,算法时间复杂度还需要考虑被替换的关键词数量(M),因此时间复杂度为O(MxN)。
简而言之, 基于FlashText算法的字符串替换比正则表达式替换快M倍以上,这个M是需要替换的关键词数量,关键词越多,FlashText算法的优势就越明显 。
下面就给大家介绍如何在 Python 中基于 flashtext 模块使用 FlashText 算法进行字符串查找和替换,如果觉得对你的项目团队很有帮助,请记得帮作者转发一下哦。
1.准备
开始之前,你要确保Python和pip已经成功安装在电脑上,如果没有,可以访问这篇文章:超详细Python安装指南 进行安装。
(可选1) 如果你用Python的目的是数据分析,可以直接安装Anaconda:Python数据分析与挖掘好帮手—Anaconda,它内置了Python和pip.
(可选2) 此外,推荐大家用VSCode编辑器,它有许多的优点:Python 编程的最好搭档—VSCode 详细指南。
请选择以下任一种方式输入命令安装依赖 :
1. Windows 环境 打开 Cmd (开始-运行-CMD)。
2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。
3. 如果你用的是 VSCode编辑器 或 Pycharm,可以直接使用界面下方的Terminal.
pip install flashtext
2.基本使用
提取关键词
一个最基本的提取关键词的例子如下:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 添加关键词
keyword_processor.add_keyword( 'Big Apple' , 'New York' )
keyword_processor.add_keyword( 'Bay Area' )
# 3. 处理目标句子并提取相应关键词
keywords_found = keyword_processor.extract_keywords( 'I love Big Apple and Bay Area.' )
# 4. 结果
print(keywords_found)
# ['New York', 'Bay Area']
其中 add_keyword 的第一个参数代表需要被查找的关键词,第二个参数是给这个关键词一个别名,如果找到了则以别名显示。
替换关键词
如果你想要替换关键词,只需要调用处理器的 replace_keywords 函数:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 添加关键词
keyword_processor.add_keyword( 'New Delhi' , 'NCR region' )
# 3. 替换关键词
new_sentence = keyword_processor.replace_keywords( 'I love Big Apple and new delhi.' )
# 4. 结果
print(new_sentence)
# 'I love New York and NCR region.'
关键词大小写敏感
如果你需要精确提取,识别大小写字母,那么你可以在处理器初始化的时候设定 sensitive 参数:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器, 注意设置大小写敏感(case_sensitive)为TRUE
keyword_processor = KeywordProcessor(case_sensitive= True )
# 2. 添加关键词
keyword_processor.add_keyword( 'Big Apple' , 'New York' )
keyword_processor.add_keyword( 'Bay Area' )
# 3. 处理目标句子并提取相应关键词
keywords_found = keyword_processor.extract_keywords( 'I love big Apple and Bay Area.' )
# 4. 结果
print(keywords_found)
# ['Bay Area']
标记关键词位置
如果你需要获取关键词在句子中的位置,在 extract_keywords 的时候添加 span_info=True 参数即可:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 添加关键词
keyword_processor.add_keyword( 'Big Apple' , 'New York' )
keyword_processor.add_keyword( 'Bay Area' )
# 3. 处理目标句子并提取相应关键词, 并标记关键词的起始、终止位置
keywords_found = keyword_processor.extract_keywords( 'I love big Apple and Bay Area.' , span_info= True )
# 4. 结果
print(keywords_found)
# [('New York', 7, 16), ('Bay Area', 21, 29)]
获取目前所有的关键词
如果你需要获取当前已经添加的所有关键词,只需要调用处理器的 get_all_keywords 函数:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 添加关键词
keyword_processor.add_keyword( 'j2ee' , 'Java' )
keyword_processor.add_keyword( 'colour' , 'color' )
# 3. 获取所有关键词
keyword_processor.get_all_keywords()
# output: {'colour': 'color', 'j2ee': 'Java'}
批量添加关键词
批量添加关键词有两种方法,一种是通过词典,一种是通过数组:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. (第一种)通过字典批量添加关键词
keyword_dict = {
"java" : [ "java_2e" , "java programing" ],
"product management" : [ "PM" , "product manager" ]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 2. (第二种)通过数组批量添加关键词
keyword_processor.add_keywords_from_list([ "java" , "python" ])
# 3. 第一种的提取效果如下
keyword_processor.extract_keywords( 'I am a product manager for a java_2e platform' )
# output ['product management', 'java']
单一或批量删除关键词
删除关键词也非常简单,和添加类似:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 通过字典批量添加关键词
keyword_dict = {
"java" : [ "java_2e" , "java programing" ],
"product management" : [ "PM" , "product manager" ]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 3. 提取效果如下
print(keyword_processor.extract_keywords( 'I am a product manager for a java_2e platform' ))
# ['product management', 'java']
# 4. 单个删除关键词
keyword_processor.remove_keyword( 'java_2e' )
# 5. 批量删除关键词,也是可以通过词典或者数组的形式
keyword_processor.remove_keywords_from_dict({ "product management" : [ "PM" ]})
keyword_processor.remove_keywords_from_list([ "java programing" ])
# 6. 删除了java programing关键词后的效果如下
keyword_processor.extract_keywords( 'I am a product manager for a java_2e platform' )
# ['product management']
3.高级使用
支持额外信息
前面提到在添加关键词的时候第二个参数为其别名,其实你不仅可以指示别名,还可以将额外信息放到第二个参数中:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
kp = KeywordProcessor()
# 2. 添加关键词并附带额外信息
kp.add_keyword( 'Taj Mahal' , ( 'Monument' , 'Taj Mahal' ))
kp.add_keyword( 'Delhi' , ( 'Location' , 'Delhi' ))
# 3. 效果如下
kp.extract_keywords( 'Taj Mahal is in Delhi.' )
# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]
这样,在提取关键词的时候,你还能拿到其他一些你想要在得到此关键词时输出的信息。
支持特殊单词边界
Flashtext 检测的单词边界一般局限于 w [A-Za-z0-9_] 外的任意字符,但是如果你想添加某些特殊字符作为单词的一部分也是可以实现的:
from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 添加关键词
keyword_processor.add_keyword( 'Big Apple' )
# 3. 正常效果
print(keyword_processor.extract_keywords( 'I love Big Apple/Bay Area.' ))
# ['Big Apple']
# 4. 将 '/' 作为单词一部分
keyword_processor.add_non_word_boundary( '/' )
# 5. 优化后的效果
print(keyword_processor.extract_keywords( 'I love Big Apple/Bay Area.' ))
# []
4.结尾
个人认为这个模块已经满足我们的基本使用了,如果你有一些该模块提供的功能之外的使用需求,可以给 flashtext 贡献代码:
https://github.com/vi3k6i5/flashtext
附 FlashText 与正则相比 查询关键词 所花费的时间之比:
附 FlashText 与正则相比 替换关键词 所花费的时间之比:
这篇文章如果对你有帮助的话,记得转发一下哦。
什么是正则表达式
正则表达式,又称规则表达式。是计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。许多程序设计语言都支持利用正则表达式进行字符串操作。例如,在Perl中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由Unix中的工具软件(例如sed和grep)普及开的。正则...
正则表达式与正则表达式+的区别是什么?
一、表达式含义不同:1、[0-9a-zA-Z]表示匹配1个数字或1个字母,其中,数字为0到9中的数字,字母为a-z的小写字母或A到Z的大写字母中的一个。2、[0-9a-zA-Z]+表示匹配至少1个数字或字母。,其中,数字为0到9中的数字,字母为a-z的小写字母或A到Z的大写字母中的一个。二、匹配次数不同...
正则表达式中【】、()、{}号的区别
在常用的正则表达式中,方括号[]更是不可或缺,例如 '[a-zA-Z0-9]',它能匹配所有英文字母和数字,而 '[^a-zA-Z0-9]' 则用于匹配任何非字母数字字符,展现了其在字符过滤和替换操作中的强大威力。大括号{}:大括号则负责数量控制,它与正则表达式中的特定模式结合,用来指定某个模式出现的次数...
这个正则表达式什么意思\/^(-?\\d+)(\\.\\d+)?$\/ ?
^(\\d)$就是0-9的任意一个数字;^表示以...开头,\\d表示0-9的数字,$表示以...结尾;所以这个就是表示单个数字了。正则表达式,又称规则表达式。(英语:Regular Expression,在代码中常简写为regex、regexp或RE),计算机科学的一个概念。正则表通常被用来检索、替换那些符合某个模式(规则)的文本。
两个正则表达式区别是什么?
正则表达式,又称规则表达式,是计算机科学的一个概念,这个概念最初是由Unix中的工具软件普及开的。正则表通常被用来检索、替换那些符合某个模式(规则)的文本。正则引擎主要分为DFA、NFA两大类。许多程序设计语言都支持利用正则表达式进行字符串操作。在最近的六十年中,正则表达式逐渐从模糊而深奥的数学概念...
正则表达式:如何匹配反斜杠 "\/"
回答:正则表达式使用 Python 的 raw 字符串表示;在字符串前加个 "r" 反斜杠就不会被任何特殊方式处理,所以 r"\\n" 就是包含"\\" 和 "n" 的两个字符,而 "\\n" 则是一个字符,表示一个换行。正则表达式通常在 Python 代码中都是用这种 raw 字符串表示。 正则表达式,又称正规表示法、常规表示法...
求一个正则表达式
value1分组匹配到value1 key2分组匹配到key2 value2分组匹配到value2 此外,你还可以使用该正则表达式匹配空字符串,例如:匹配字符串'',所有命名分组均不匹配 匹配字符串key1 = 'value1',key1分组匹配到key1,value1分组匹配到value1,其他命名分组均不匹配 希望这个正则表达式能帮助你解决问题。
正则表达式的.*和.*?有什么区别?
表达式 .* 就是单个字符匹配任意次,即贪婪匹配。 表达式 .*? 是满足条件的情况只匹配一次,即最小匹配.举例介绍:如: 懒惰模式正则:src=".*?"结果:src="test.jpg"
在正则表达式中“\/”和“\\”符号的区别!
接下来在PHP中具体演示一下:1,正则表达式是以\/作为开始和结束的标记,表达式语法在两个\/中间包裹,如下图所示 2,接着演示一下\\,像下面的表达式匹配的是n 3,但是如果在n前面加上\\匹配的就是换行符号了,如下图所示 4,可以用\\进行转义的字符主要有以下几种 ...
正则表达式中的.*和.*?的区别是什么?
区别如下:表达式 .* 就是单个字符匹配任意次,即贪婪匹配。表达式 .*? 是满足条件的情况只匹配一次,即最小匹配。\\s 匹配任何空白非打印字符,包括空格、制表符、换页符等等。等价于 [ \\f\\n\\r\\t\\v]。注意 Unicode 正则表达式会匹配全角空格符。\\S 匹配任何非空白非打印字符。等价于 [^ ...
塞雅力斯: 正则表达式并不是Python的一部分.正则表达式是用于处理字符串的强大工具,拥有自己独特的语法以及一个独立的处理引擎,效率上可能不如str自带的方法,但功能十分强大.得益于这一点,在提供了正则表达式的语言里,正则表达式的语法...
衡南县14788785849: 学python 爬虫是不是一定要学会正则表达式 - ?
塞雅力斯: 会的话,更好,有时候会达到事半功倍的效果.比如有些网站,比如58,它的帖子页面地址是58.com/zhaopin/1234x.shtml,1234代表帖子id,zhaopin代表类目.如果你想取得帖子id.那如果你不用正则呢,你可能需要用到python中关于字符串的一些操作,比如先按照/分割一下,然后查找x.shtml,再截取....那正则表达式就是.*(\d+)x.shtml,直接就可以取出id.而且正则并不难,你用到的时候,去查一下就好了.
衡南县14788785849: python正则表达式是什么意思 - ?
塞雅力斯: 表示任意字符,*表示重复0至多次,.*表示任意字符出现0到多次
衡南县14788785849: python 判断正则表达式 - ?
塞雅力斯: 看了你的提问,你的要求是:输入格式:输入包含两行:1. 待匹配字符串2. 正则表达式 输出格式:若正则表达式能够匹配第一行字符串则输出True,否则,输出False 以下是我依据你的功能需求,个人简单写的一些代码,供你参考:import re flg...
衡南县14788785849: python 正则表达式 - ?
塞雅力斯: [A-Za-z]\w+ :由开头的1个大写或者小写的字母加上至少1个 字符来匹配 比如 Aaa,Aa4xZ匹配不到,xZ4可以匹配.
衡南县14788785849: python 正则表达式替换的问题 re.sub - ?
塞雅力斯: 你的正则没有错...但这属于 Dynamic Regex Replacement 了 python 我是不太会,但你要用正则在查询替代的同时执行code,这个恐怕只有 perl 能够做到... 1. perl -le '$ARGV[0]=~s/(?
衡南县14788785849: 求问python中这个正则表达式是什么意思 - ?
塞雅力斯: ?<=表示匹配之前的内容,比如你的例子中表示匹配“ . ”之前的itemName:"?=表示匹配之后的内容,比如你例子中表示匹配“ ? ”之后的",ID “ . ”就是匹配任意一个字符
衡南县14788785849: python正则表达式,如何去掉前面多余的结果 - ?
塞雅力斯: re.findall("abc(?:.(?!abc))*?123", "abc xx abc yy abc zz 123 abc oo 123")
衡南县14788785849: python正则表达式 去掉括号及其里面的内容 - ?
塞雅力斯: python正则表达式 (.*?版) 替换为空 注意小括号是中文小括号 完整的Python程序如下 #!/usr/bin/env python #encoding: utf-8 import re str = '多摩君1(英文版)\n多摩君2(四川话版) \n多摩君3(东北版)\n多摩君4(上部) ' out = re.sub('(.*?版)', '', str) print out输出 多摩君1 多摩君2 多摩君3 多摩君4 (上部)
衡南县14788785849: python中的正则表达式findall - ?
塞雅力斯: re.findall(r"^(?:027)?\d{8}$","02712345678") --需要使用(?:),否则只会打印分组(027)