如下所示：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
|
# -*-coding:utf-8-*-from pandas import DataFrameimport pandas as pdimport numpy as np""" 获取行列数据"""df = DataFrame(np.random.rand(4, 5), columns=['A', 'B', 'C', 'D', 'E'])print dfprintdf['col_sum'] = df.apply(lambda x: x.sum(), axis=1) # 横向求和，axis=1表示横向df.loc['row_sum'] = df.apply(lambda x: x.sum()) # loc获取一整列的数据，对一列数据进行求和print dfprintdd = pd.DataFrame(np.arange(0, 60, 2).reshape(10, 3), columns=list('abc'))# loc获取一整列的数据print ddprintprint dd.loc[0:len(dd), 'a']printprint dd.loc[0:3, ['a', 'b']]printprint dd.loc[[1, 5], ['b', 'c']]print '--------------------------------------'# iloc获取某个位置的元素，或者某个区域的元素print dd.iloc[1, 1]print dd.iloc[0:3, [0, 1]]print dd.iloc[[0, 3, 5], 0:2]print '--------------------------------------'""" 去重函数 drop_duplicates()"""from pandas import Series, DataFramedata = DataFrame({'k': [1, 1, 2, 2]})print dataprint type(data) # <class 'pandas.core.frame.DataFrame'>printisduplicates = data.duplicated() # duplicated()判断是否是重复的项print isduplicatesprint type(isduplicates) # <class 'pandas.core.series.Series'>printdata = data.drop_duplicates() # drop_duplicates()移除重复的项print dataprint type(data) # <class 'pandas.core.frame.DataFrame'>print '-------------------------------------------------'""" Pandas.DataFrame 读取、合并、修改列数据、新增列、分组、分组数据计算"""import numpy as npimport pandas as pdfrom pandas import Series, DataFramefrom datetime import timedelta, datetimefrom dateutil.parser import parse""" 读写csv文件"""# 读取csv文件df = pd.read_csv('data_english.csv', encoding='gbk')# print dfprint type(df) # <class 'pandas.core.frame.DataFrame'>print df.columns # 所有列的标签print df.index # 所有行的标签print df.book_id # 选择某一列，可以使用df.book_id ，也可以使用df['book_id']print type(df.book_id) # <class 'pandas.core.series.Series'>print np.array(df.book_id) # 将Series转换为numpy的darray格式print '---------------------------------------------------------'# 写入csv文件# df.to_csv('dat.csv', index=False, encoding='gbk') # index=False表示不把index写入文件""" 行列的选取"""print df.read_name # 选择一列print df[:3] # 选择前3行print df.loc[:, ('read_num', 'read_name')] # df.loc[行标签，列标签]print df.iloc[2, 4] # df.iloc[行位置，列位置]print df.ix[2, 4] # df.ix[行位置或行标签，列位置或列标签]# bool判断print df[df.read_name == u'山问萍'].head() # 获取符合条件的行列print df[(df.read_name == u'山问萍') & (df.book == u'植物生理学实验教程')] # 多个条件print '----------------------------------------------'""" 两个df相merge"""# pd.concat([df1, df2]) # 两个df的column都一样，index不重复（增加列）# pd.concat([df1, df2], axis=1) # 两个df的index都一样，column不重复（增加行）""" 增加列，删除列，重命名某一列"""# df['new_col'] = xxx # 直接增加一列，加到最后一列# df.insert[1, 'new_col'] # 使用df.insert 插入一列，可以设置这一列的位置# del df['one_col'] # 直接使用del进行删除，删除某一列# df = df.rename(columns={'old_name': 'new_name'}) # 重命名某一列# df = df.rename(columns={'old_name': 'new_name'}, inplace=True)# print '--------------------------------------------------------'""" apply(): 对dataframe的内容进行批量处理，比循环更快 map(), agg()：对分组的结果再分别进行不同的操作"""""" 数据合并"""import numpy as npimport pandas as pddata1 = pd.DataFrame({'level': ['a', 'b', 'c', 'd'], 'number': [1, 3, 5, 7]})data2 = pd.DataFrame({'level': ['a', 'b', 'c', 'e'], 'number': [2, 3, 4, 5]})print data1print data2print pd.merge(data1, data2, on='level') # 合并，内连接data3 = pd.DataFrame({'level1': ['a', 'b', 'c', 'd'], 'number': [1, 3, 5, 7]})data4 = pd.DataFrame({'level2': ['a', 'b', 'c', 'e'], 'number': [2, 3, 4, 5]})print pd.merge(data3, data4, left_on='level1', right_on='level2')print pd.merge(data3, data4, left_on='level1', right_on='level2', how='left')print '----------------------------------------'""" merge参数说明： left和right:两个不同的DataFrame how:合并的方式-->inner内连接，right右连接，left左连接，outer外连接，默认为inner on:用于连接的列索引名称，必须存在于两个DataFrame对象中 left_on: right_on: left_index: right_index: sort:默认为True,将合并的数据进行排序 suffixes:当列名相同时，合并后，自动添加后缀名称，默认为(_x, _y) copy:默认为True，复制数据结构 indicator:"""""" 重叠数据合并"""data3 = pd.DataFrame({'level': ['a', 'b', 'c', 'd'], 'number1': [1, 3, 5, np.nan]})data4 = pd.DataFrame({'level': ['a', 'b', 'c', 'e'], 'number2': [2, np.nan, 4, 5]})print data3.combine_first(data4) # 相同标签下的内容优先显示data3的内容，如果某个数据缺失，就用另外一个数据补上""" 数据重塑和轴向旋转 数据重塑：reshape() 轴向旋转：unstack(),stack()"""data = pd.DataFrame(np.arange(12).reshape(3, 4), columns=['a', 'b', 'c', 'd'], index=['wang', 'li', 'zhang'])print dataprint data.unstack() # 轴向旋转print '---------------------------------'""" 数据转换"""data = pd.DataFrame({'a': [1, 3, 3, 4], 'b': [1, 3, 3, 5]})print dataprint data.duplicated() # 判断是否重复行print data.drop_duplicates() # 去除重复行""" 替换值"""data = pd.DataFrame({'a': [1, 3, 3, 4], 'b': [1, 3, 3, 5]})print data.replace(1, 2) # 凡是数据1，全部替换成数据2print data.replace([1, 4], np.nan) # 凡是数据1，4，全部替换成np.nan""" 数据分段"""data = [11, 15, 18, 20, 25, 26, 27, 24]bins = [15, 20, 25]print dataprint pd.cut(data, bins) |
以上这篇Pandas 数据处理,数据清洗详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/kevinelstri/article/details/56683220
