如下所示：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打开含有中文的地址 data = pd.read_csv(inputfile, iterator=true) loop = true chunksize = 1000 #一千行一块 chunks = [] while loop: try: chunk = dcs.get_chunk(chunksize) chunks.append(chunk) except stopiteration: loop = false print("iteration is stopped.") data = pd.concat(chunks, ignore_index=true) #print(train.head()) return data |
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/Tony_Stark_Wang/article/details/81367837
