分享一些提升Python编程效率的轮子

这里从字母 A 到 Z 的顺序进行，有些属于标准库，可以直接导入使用，有些属于第三方库，需要 pip install 后使用。

1、all or any

 

为什么 Python 如此流行，一个重要的原因就是 Python 的代码是人类可读的，生动形象的，比如 all or any 这个用法：

1. x = [True, True, False] 
2. if any(x): 
3.     print("At least one True") 
4. if all(x): 
5.     print("Not one False") 
6. if any(x) and not all(x): 
7.     print("At least one True and one False") 

上面的代码，我相信完全不用注释，你都能看懂，后续编程时不要忘了用。

2、bashplotlib[1]

 

正如的它的名字一样，可以在 bash 控制台下面画图，举个：现在我们有一个文本文件，里面一列数字，如何快速进行统计呢，直接使用 plot_hist

1. In [17]: !head -n 5 data/exp.txt 
2. 1.12578195876 
3. 0.16026238021 
4. 0.0392117875843 
5. 0.968428864579 
6. 0.334430039433 
7.  
8. In [18]: from bashplotlib.histogram import plot_hist 
9.     ...: 
10.  
11. In [19]: plot_hist(f="data/exp.txt",showSummary=True) 
12.  
13.  451|  o 
14.  427|  o 
15.  403|  o 
16.  380|  o 
17.  356|  o 
18.  332|  o 
19.  309|  o 
20.  285|  o 
21.  261|  oo 
22.  238|  oo 
23.  214|  oo 
24.  190|  oo 
25.  166|  oo 
26.  143|  oo 
27.  119|  ooo 
28.   95|  ooo 
29.   72|  oooo 
30.   48|  oooo 
31.   24|  ooooo 
32.    1| ooooooooooo 
33.      ----------- 
34.  
35. ----------------------------------- 
36. |             Summary             | 
37. ----------------------------------- 
38. |        observations: 1000       | 
39. |       min value: 0.001718       | 
40. |         mean : 0.988786         | 
41. |       max value: 6.552654       | 
42. ----------------------------------- 
43.  
44. In [20]: 

也可以直接使用命令行：

1. (py38env) ➜  examples hist --file data/exp.txt 
2.  
3.  451|  o 
4.  427|  o 
5.  403|  o 
6.  380|  o 
7.  356|  o 
8.  332|  o 
9.  309|  o 
10.  285|  o 
11.  261|  oo 
12.  238|  oo 
13.  214|  oo 
14.  190|  oo 
15.  166|  oo 
16.  143|  oo 
17.  119|  ooo 
18.   95|  ooo 
19.   72|  oooo 
20.   48|  oooo 
21.   24|  ooooo 
22.    1| ooooooooooo 
23.      ----------- 
24.  
25. ----------------------------------- 
26. |             Summary             | 
27. ----------------------------------- 
28. |        observations: 1000       | 
29. |       min value: 0.001718       | 
30. |         mean : 0.988786         | 
31. |       max value: 6.552654       | 
32. ----------------------------------- 
33. (py38env) ➜  examples 

还可以使用 scatter 绘制 x、y 坐标，详情请访问 bashplotlib 文档[2]

3、collections

 

Python 的基本数据类型很好用，但有时无法按照我们希望的那样快速初始化。比如说我希望有一个字典，它的值是一个列表，定义好之后想直接插入数据，怎么办?

通常会这样：

1. my_dict = {} 
2.  
3. if 'key' in  my_dict: 
4.     my_dict['key'].append('something') 
5. else: 
6.     my_dict['key'] = ['something'] 

有了 collections 可以简化成这样：

1. from collections import defaultdict 
2. my_dict = defaultdict(list) 
3. my_dict['key'].append('something') 

还有很多实用的类，比如：

详细教程访问 Python 官方文档[3]。

4、dir

 

这是非常好用的内省函数。如果你想看一个 Python 类的内部属性，可别忘了 dir 函数，比如说我想知道字符串都有哪些内置的函数，可以这样：

1. >>> dir("hello") 
2. ['__add__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getnewargs__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mod__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__rmod__', '__rmul__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'capitalize', 'casefold', 'center', 'count', 'encode', 'endswith', 'expandtabs', 'find', 'format', 'format_map', 'index', 'isalnum', 'isalpha', 'isascii', 'isdecimal', 'isdigit', 'isidentifier', 'islower', 'isnumeric', 'isprintable', 'isspace', 'istitle', 'isupper', 'join', 'ljust', 'lower', 'lstrip', 'maketrans', 'partition', 'replace', 'rfind', 'rindex', 'rjust', 'rpartition', 'rsplit', 'rstrip', 'split', 'splitlines', 'startswith', 'strip', 'swapcase', 'title', 'translate', 'upper', 'zfill'] 

5、emoji

 

如果想用 Python 在字符界面下打印出一个表情包，别忘了这个：

1. pip install emoji 

6、from __future__ import

 

想使用未来的功能，可以的，举个例子，你现在用的是 Python2，但是想用 Python3 的 print 函数，可以!

1. from __future__ import print_function 
2. print("Hello World!") 

7、geopy

 

假如要处理地理位置信息，可以使用这个，这是 google 的 api 接口，需要先申请 app key。

1. pip install geopy 

1. from geopy import GoogleV3 
2. place = "suzhou" 
3. location = GoogleV3().geocode(place) 
4. print(location.address) 
5. print(location.location) 

8、howdoi

 

你在终端编程，此时想查看下如何使用 git 的 undo commits，不想离开终端，可以直接在终端里面查询 StackOverflow:

1. $ pip install howdoi 
2. $ howdoi undo commits in git 

howdoi 会爬取 StackOverflow 置顶的答案，偶尔也许不是最好的，但这已经足以让你保持专注了，记得用英语关键字去检索。

9、inspect

 

Python 的 inspect 模块非常适合了解代码背后发生的事情。你甚至可以 inspect 自己检查自己!

下面的代码示例使用 inspect.getsource()打印自己的源代码。它还使用 inspect.getmodule()打印在其中定义了该模块的模块。代码的最后一行打印出自己的行号。

10、map

 

简单来说，map 函数的任务就是分发任务。

1. x = [1, 2, 3] 
2. y = map(lambda x : x + 1 , x) 
3. # prints out [2,3,4] 
4. print(list(y)) 

11、newspaper3k

 

如果你需要获取新闻、文章、文本的元数据(metadata)做自然语言训练，用这个就对了，可以大大提升你爬取网页的效率。

1. $ pip install newspaper3k 

1. >>> from newspaper import Article 
2. >>> url = 'http://www.bbc.co.uk/zhongwen/simp/chinese_news/2012/12/121210_hongkong_politics.shtml' 
3.  
4. >>> a = Article(url, language='zh') # Chinese 
5.  
6. >>> a.download() 
7. >>> a.parse() 
8.  
9. >>> print(a.text[:150]) 
10. 香港行政长官梁振英在各方压力下就其大宅的违章建 
11. 筑（僭建）问题到立法会接受质询，并向香港民众道歉。 
12. 梁振英在星期二（12月10日）的答问大会开始之际 
13. 在其演说中道歉，但强调他在违章建筑问题上没有隐瞒的 
14. 意图和动机。 一些亲北京阵营议员欢迎梁振英道歉， 
15. 且认为应能获得香港民众接受，但这些议员也质问梁振英有 
16.  
17. >>> print(a.title) 
18. 港特首梁振英就住宅违建事件道歉 

更多用法参考newspaper3k 文档[4]。

12、pprint

 

全名叫 pretty print，意思就是漂亮的打印。比如说，对于一个复杂的字典，print 的效果是这样的一坨：

1. In [16]: print(users) 
2. {'results': [{'gender': 'male', 'name': {'title': 'Mr', 'first': 'Fred', 'last': 'Cooper'}, 'location': {'street': {'number': 681, 'name': 'Victoria Street'}, 'city': 'Salisbury', 'state': 'Greater Manchester', 'country': 'United Kingdom', 'postcode': 'P1I 3XR', 'coordinates': {'latitude': '5.9123', 'longitude': '-22.2206'}, 'timezone': {'offset': '-2:00', 'description': 'Mid-Atlantic'}}, 'email': 'fred.cooper@example.com', 'login': {'uuid': '5261fb69-bc91-46ed-9e66-a4f6f51ff2ff', 'username': 'greenkoala692', 'password': 'teaser', 'salt': 'SVMfx7Z1', 'md5': 'e1d344cd5998cce8affbbdbeec358052', 'sha1': '083f8b9fb7e3271293af8d058fdf919fe690fb1a', 'sha256': '112e2d6838871ae2ca8aefb90c33f4850a537ee4d0d36c6f66bbcb5ed17b5da7'}, 'dob': {'date': '1959-12-04T14:20:29.781Z', 'age': 62}, 'registered': {'date': '2019-09-06T13:18:11.009Z', 'age': 2}, 'phone': '016977 6452', 'cell': '0794-684-745', 'id': {'name': 'NINO', 'value': 'NC 88 63 68 Q'}, 'picture': {'large': 'https://randomuser.me/api/portraits/men/40.jpg', 'medium': 'https://randomuser.me/api/portraits/med/men/40.jpg', 'thumbnail': 'https://randomuser.me/api/portraits/thumb/men/40.jpg'}, 'nat': 'GB'}], 'info': {'seed': '48254d6ef48036b0', 'results': 1, 'page': 1, 'version': '1.3'}} 

而 pprint 的效果是有层次感的：

1. In [19]: from pprint import pprint 
2.  
3. In [20]: pprint(users) 
4. {'info': {'page': 1, 
5.           'results': 1, 
6.           'seed': '48254d6ef48036b0', 
7.           'version': '1.3'}, 
8.  'results': [{'cell': '0794-684-745', 
9.               'dob': {'age': 62, 'date': '1959-12-04T14:20:29.781Z'}, 
10.               'email': 'fred.cooper@example.com', 
11.               'gender': 'male', 
12.               'id': {'name': 'NINO', 'value': 'NC 88 63 68 Q'}, 
13.               'location': {'city': 'Salisbury', 
14.                            'coordinates': {'latitude': '5.9123', 
15.                                            'longitude': '-22.2206'}, 
16.                            'country': 'United Kingdom', 
17.                            'postcode': 'P1I 3XR', 
18.                            'state': 'Greater Manchester', 
19.                            'street': {'name': 'Victoria Street', 'number': 681}, 
20.                            'timezone': {'description': 'Mid-Atlantic', 
21.                                         'offset': '-2:00'}}, 
22.               'login': {'md5': 'e1d344cd5998cce8affbbdbeec358052', 
23.                         'password': 'teaser', 
24.                         'salt': 'SVMfx7Z1', 
25.                         'sha1': '083f8b9fb7e3271293af8d058fdf919fe690fb1a', 
26.                         'sha256': '112e2d6838871ae2ca8aefb90c33f4850a537ee4d0d36c6f66bbcb5ed17b5da7', 
27.                         'username': 'greenkoala692', 
28.                         'uuid': '5261fb69-bc91-46ed-9e66-a4f6f51ff2ff'}, 
29.               'name': {'first': 'Fred', 'last': 'Cooper', 'title': 'Mr'}, 
30.               'nat': 'GB', 
31.               'phone': '016977 6452', 
32.               'picture': {'large': 'https://randomuser.me/api/portraits/men/40.jpg', 
33.                           'medium': 'https://randomuser.me/api/portraits/med/men/40.jpg', 
34.                           'thumbnail': 'https://randomuser.me/api/portraits/thumb/men/40.jpg'}, 
35.               'registered': {'age': 2, 'date': '2019-09-06T13:18:11.009Z'}}]} 
36.  
37. In [21]: 

是不是清爽了许多?

13、queue

 

queue 模块是标准库实现的一个同步的队列类，实现了多生产者、多消费者队列。这特别适用于多线程间安全的交互消息。内部有三个非常常用的队列：Queue、LifoQueue、PriorityQueue。这些类在编程中有多重要就不多说了，做一做 leetCode 你就知道了。这里[5]有一些如何使用的例子。

14、sh

 

Python 是一种很棒的脚本语言，有时使用 os 和 subprocess 可能会让人有些头疼。sh 库提供了一种巧妙的选择，可以像调用普通程序一样调用任何程序，这对从 Python 内部进行自动化任务很有用。

1. pip install sh 

1. import sh 
2. sh.pwd() 
3. sh.mkdir('new_folder') 
4. sh.touch('new_file.txt') 
5. sh.whoami() 
6. sh.echo('This is great!') 

15、uuid

 

UUID 的全称：Universally Unique Identifier，即通用唯一识别码，通常作为数据库的一个主键。

1. In [26]: import uuid 
2.     ...: user_id = uuid.uuid4() 
3.     ...: print(user_id) 
4. 12d0957b-18e5-4a4a-b5ee-d38e5f2789ce 

上述代码会随机产生 128 位的二进制位，基本上不可能出现重复，完全可以放心使用，即使重复，再生成一个就是了。

16、venv

 

Python 3 自带的创建虚拟环境的模块，不需要再单独安装 virtualenv。

1. python -m venv my-project 
2. source my-project/bin/activate 
3. pip install all-the-modules  

17、YAML

 

YAML 的全称是"YAML Ain't Markup Language"，意思就是 YAML 不是标记语言。它是一种数据格式语言，并且是JSON的超集。

与 JSON 不同，它可以存储更复杂的对象并引用其自己的元素，还可以编写注释，使其特别适合编写配置文件。

PyYAML 模块使您可以将 YAML 与 Python 一起使用。

安装方式：

1. pip install pyyaml 

比如说，我们有一段 yaml 格式的文本，可以快速转换为 Python 对象：

1. In [23]: import yaml 
2.  
3. In [24]: document = """ 
4.     ...:   a: 1 
5.     ...:   b: 
6.     ...:     c: 3 
7.     ...:     d: 4 
8.     ...: """ 
9.  
10. In [25]: yaml.load(document,Loader=yaml.FullLoader) 
11. Out[25]: {'a': 1, 'b': {'c': 3, 'd': 4}} 
12.  
13. In [26]: 

最后的话

 

以上就是 17 个 Python 非常实用的模块或库，可以大大提升你后续编程的效率。当然 Python 的类库众多，你也会有一些自己压箱底的工具库，请在下面留言，分享你自己喜欢的 Python 库或者你需要的工具库，一起讨论，一起学习。

原文地址：https://mp.weixin.qq.com/s?__biz=MzU0OTg3NzU2NA==&mid=2247486917&idx=1&sn=258591da133be2ca37c3d98dd999e87a&chksm=fba86f96ccdfe680f03c3a2a940367078630c307b4e0fd56cb2207197891267422f397c9e58c&mpshare=1&