简单的基于python2.7版本的多进程下开发多线程的示例，供大家参考，具体内容如下
可以使得程序执行效率至少提升10倍
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
|
#!/usr/bin/env python# -*- coding: utf-8 -*-""" @time : 2018/10/24 @author : liuxuewen @site : @file : transfer.py @software: pycharm @description: """import osimport tracebackimport threadingfrom multiprocessing import poolfrom multiprocessing.dummy import pool as threadpool# 兼容python2.7上多线程的bug，不加上下面的反代理程序不能正常执行def proxy(cls_instance, i): return cls_instance.multiprocess_thread(i)def proxy2(cls_instance, i): return cls_instance.file_operation(i)class file2transfer(): # 多进程执行程序 def multiprocessingtransferfiles(self): try: # 创建进程池 p = pool() //参数末尾必须加上逗号 p.apply_async(proxy, args=(self, self.root_path,)) p.close() p.join() except exception as e: print(e) # 每个进程下的多线程执行，线程数等于当前机器的核数 def multiprocess_thread(self, root_path): try: # 创建线程锁 lock = threading.rlock() lock.acquire() # 获取每个文件 for pfile in os.listdir(root_path): # 获取文件的完整路径 full_file_path = os.path.join(root_path, pfile) # 多线程读写文件 p = threadpool() # 执行线程 p.apply_async(proxy2, args=(self, full_file_path,)) p.close() p.join() except exception as e: print(e) finally: # 释放线程锁 lock.release() # 对每个文件夹下的每个文件进行操作 def file_operation(self, full_file_path): try: // todo 真正需要单独执行的操作 pass except exception as e: print(e) |
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/carolcoral/article/details/83379762
