服务器之家

服务器之家 > 正文

Pandas剔除混合数据中非数字的数据操作

时间:2021-09-28 08:32     来源/作者:zheng_weibin

我们日常拿到的数据,指标字段有时会混入非数字的数据,这时候会影响我们的操作

name height
Hang 180
Ben 145
Cho notknow
XIn 189

比如read_csv读入时,该列会以object形式读入,也不能直接进行计算,不然会出现如unsupported operand type(s) for +: 'float' and 'str'的错误

这时候就需要进行数据预处理,清除掉指标值中非数字的数据,这里我以2012_FederalElectionCommission_Database数据为例。

首先读入数据,可以发现提示:Columns (6) have mixed types,这里Columns (6)是指标值混有字符串格式数据

  1. fec = pd.read_csv('P00000001-ALL.csv')
  2. D:\SOFTWARE\Anaconda\lib\site-packages\IPython\core\interactiveshell.py:2717: DtypeWarning: Columns (6) have mixed types. Specify dtype option on import or set low_memory=False.
  3. interactivity=interactivity, compiler=compiler, result=result)
  1. #先使用str打开数据
  2. fec = pd.read_csv('P00000001-ALL.csv',dtype={'contbr_zip':str})
  3.  
  4. #然后使用str函数isdigit()判断单元格是否全为数字
  5.  
  6. fec_isnum=fec.iloc[:,6].str.isdigit()
  7.  
  8. #得到使用bool索引把全为数字的表格cleaned
  9.  
  10. cleaned = fec[fec_isnum].copy()

补充:pandas如何去掉、过滤数据集中的某些值或者某些行?

在进行数据分析与清理中,我们可能常常需要在数据集中去掉某些异常值。具体来说,看看下面的例子。

Pandas剔除混合数据中非数字的数据操作

0.导入我们需要使用的包

  1. import pandas as pd

pandas是很常用的数据分析,数据处理的包。anaconda已经有这个包了,纯净版python的可以自行pip安装。

1.去掉某些具体值

数据集df中,对于属性appPlatform(最后一列),我们想删除掉取值为2的那些样本。

如何做?非常简单。

  1. import pandas as pd
  2. df[(True-df['appPlatform'].isin([2]))]

Pandas剔除混合数据中非数字的数据操作

当然,有时候我们需要去掉不止一个值,这个时候只需要在isin([])的列表中添加。更具体来说,例如,对于appID这个属性,我们想去掉appID=278和appID=382的样本。

  1. df[(True-df['appID'].isin([278,382]))]

Pandas剔除混合数据中非数字的数据操作

另外,我们有时候并不只是考虑某一列,还需要考虑另外若干列的情况。例如,我们需要过滤掉appPlatform=2而且appID=278和appID=382的样本呢?非常简单。

  1. df[(True-df['appID'].isin([278,382]))&(True-df['appPlatform'].isin([2]))]

其实,在这里我们看到,就是由两部分组成的,第一部分就是appID中等于278和382的,另外一部分就是appPlatform中等于2的。两者取逻辑关系 与(&)

Pandas剔除混合数据中非数字的数据操作

2.过滤掉某个范围的值

上面我们是了解了如何取掉某个具体值,下面,我们要看看如何过滤掉某个范围的值。

对于数据集df,我们想过滤掉creativeID(第一列)中ID值大于10000的样本。

  1. df[df['creativeID']<=10000]

Pandas剔除混合数据中非数字的数据操作

另外,如果要考虑多列的话,其实和上面一样,将两种情况做逻辑与(&)就可以,不过值得注意的是,每个条件要用括号()括起来。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

原文链接:https://blog.csdn.net/zheng_weibin/article/details/79375420

标签:

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021年耽改剧名单 2021要播出的59部耽改剧列表
2021年耽改剧名单 2021要播出的59部耽改剧列表 2021-03-05
返回顶部