服务器之家

服务器之家 > 正文

Python与sed,grep文本查找效率对比小测

时间:2019-11-27 19:27     来源/作者:脚本之家

Gnu awk作者在FreeBSD邮件列表中回答”GNU grep为什么比BSD grep要快“,提到了用到了Boyer-Moore算法,虽然不知道是什么,但感觉很厉害的样子~我猜想grep有多快呢? 

所以想比较下下python,sed与grep: 

测试文本:20w行,21M大 

python普通正则匹配: 
 

复制代码

代码如下:


#!/usr/bin/python3 
import re 
f=open('/tmp/test.txt') 
for line in f: 
match=re.findall('^This.*want',line) 
if match != []: 
print(match)



结果:

Python与sed,grep文本查找效率对比小测

试下编译的正则试试: 
 

复制代码

代码如下:


#!/usr/bin/python3 
import re 
f=open('/tmp/test.txt') 
re_obj=re.compile('^This.*want') 
for line in f: 
match=re_obj.findall(line) 
if match != []: 
print(match) 



结果快了1倍:

Python与sed,grep文本查找效率对比小测


试试sed:

Python与sed,grep文本查找效率对比小测

快了1个数量级! 

最后试试grep:

Python与sed,grep文本查找效率对比小测


果然grep是查找最专业的!

标签:

相关文章

热门资讯

玄元剑仙肉身有什么用 玄元剑仙肉身境界等级划分
玄元剑仙肉身有什么用 玄元剑仙肉身境界等级划分 2019-06-21
男生常说24816是什么意思?女生说13579是什么意思?
男生常说24816是什么意思?女生说13579是什么意思? 2019-09-17
配置IIS网站web服务器的安全策略配置解决方案
配置IIS网站web服务器的安全策略配置解决方案 2019-05-23
Nginx服务器究竟是怎么执行PHP项目
Nginx服务器究竟是怎么执行PHP项目 2019-05-24
华为nova5pro和p30pro哪个好 华为nova5pro和华为p30pro对比详情
华为nova5pro和p30pro哪个好 华为nova5pro和华为p30pro对比详情 2019-06-22
返回顶部