使用python进行拆分大文件的方法_Python

python按指定行数把大文件进行拆分

如图大文件有7000多万行，大小为16g

使用python进行拆分大文件的方法

需要拆分成多个200万行的小文件

代码如下：

				?

									# -*- coding:utf-8 -*-

									from datetime import datetime

									def main():

									 source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt'

									 target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'

									 # 计数器

									 flag = 0

									 # 文件名

									 name = 1

									 # 存放数据

									 datalist = []

									 print("开始。。。。。")

									 print(datetime.now().strftime('%y-%m-%d %h:%m:%s'))

									 with open(source_dir,'r') as f_source:

									  for line in f_source:

									   flag+=1

									   datalist.append(line)

									   if flag == 2000000:

									    with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:

									     for data in datalist:

									      f_target.write(data)

									    name+=1

									    flag = 0

									    datalist = []

									 # 处理最后一批行数少于200万行的

									 with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:

									  for data in datalist:

									   f_target.write(data)

									 print("完成。。。。。")

									 print(datetime.now().strftime('%y-%m-%d %h:%m:%s'))

									if __name__ == "__main__":

									 main()