服务器之家

服务器之家 > 正文

好习惯!pandas 8 个常用的 index 设置

时间:2021-09-03 00:51     来源/作者:菜鸟学Python

 好习惯!pandas 8 个常用的 index 设置

在数据处理时,经常会因为index报错而发愁。不要紧,本次来和大家聊聊pandas中处理索引的几种常用方法。

1.读取时指定索引列

很多情况下,我们的数据源是 CSV 文件。假设有一个名为的文件data.csv,包含以下数据。

  1. date,temperature,humidity  
  2. 07/01/21,95,50  
  3. 07/02/21,94,55  
  4. 07/03/21,94,56 

默认情况下,pandas将会创建一个从0开始的索引行,如下:

  1. >>> pd.read_csv("data.csv", parse_dates=["date"])  
  2.         date  temperature  humidity  
  3. 0 2021-07-01           95        50  
  4. 1 2021-07-02           94        55  
  5. 2 2021-07-03           94        56 

但是,我们可以在导入过程中通过将index_col参数设置为某一列可以直接指定索引列。

  1. >>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date" 
  2.             temperature  humidity  
  3. date                               
  4. 2021-07-01           95        50  
  5. 2021-07-02           94        55  
  6. 2021-07-03           94        56 

2. 使用现有的 DataFrame 设置索引

当然,如果已经读取数据或做完一些数据处理步骤后,我们可以通过set_index手动设置索引。

  1. >>> df = pd.read_csv("data.csv", parse_dates=["date"])  
  2. >>> df.set_index("date")  
  3.             temperature  humidity  
  4. date                               
  5. 2021-07-01           95        50  
  6. 2021-07-02           94        55  
  7. 2021-07-03           94        56 

这里有两点需要注意下。

 1.   set_index方法默认将创建一个新的 DataFrame。如果要就地更改df的索引,需要设置inplace=True。

  1. df.set_index(“date”, inplace=True

 2.   如果要保留将要被设置为索引的列,可以设置drop=False。

  1. df.set_index(“date”, drop=False

3. 一些操作后重置索引

在处理 DataFrame 时,某些操作(例如删除行、索引选择等)将会生成原始索引的子集,这样默认的数字索引排序就乱了。如要重新生成连续索引,可以使用reset_index方法。

  1. >>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))  
  2. >>> df0  
  3.           A         B         C  
  4. 0  0.548012  0.288583  0.734276  
  5. 1  0.342895  0.207917  0.995485  
  6. 2  0.378794  0.160913  0.971951  
  7. 3  0.039738  0.008414  0.226510  
  8. 4  0.581093  0.750331  0.133022  
  9. >>> df1 = df0[df0.index % 2 == 0]  
  10. >>> df1  
  11.           A         B         C  
  12. 0  0.548012  0.288583  0.734276  
  13. 2  0.378794  0.160913  0.971951  
  14. 4  0.581093  0.750331  0.133022  
  15. >>> df1.reset_index(drop=True 
  16.           A         B         C  
  17. 0  0.548012  0.288583  0.734276  
  18. 1  0.378794  0.160913  0.971951  
  19. 2  0.581093  0.750331  0.133022 

通常,我们是不需要保留旧索引的,因此可将drop参数设置为True。同样,如果要就地重置索引,可设置inplace参数为True,否则将创建一个新的 DataFrame。

4. 将索引从 groupby 操作转换为列

groupby分组方法是经常用的。比如下面通过添加一个分组列team来进行分组。

  1. >>> df0["team"] = ["X", "X", "Y", "Y", "Y"]  
  2. >>> df0  
  3.           A         B         C team  
  4. 0  0.548012  0.288583  0.734276    X  
  5. 1  0.342895  0.207917  0.995485    X  
  6. 2  0.378794  0.160913  0.971951    Y  
  7. 3  0.039738  0.008414  0.226510    Y  
  8. 4  0.581093  0.750331  0.133022    Y  
  9. >>> df0.groupby("team").mean()  
  10.              A         B         C  
  11. team                                
  12. X     0.445453  0.248250  0.864881  
  13. Y     0.333208  0.306553  0.443828 

默认情况下,分组会将分组列编程index索引。但是很多情况下,我们不希望分组列变成索引,因为可能有些计算或者判断逻辑还是需要用到该列的。因此,我们需要设置一下让分组列不成为索引,同时也能完成分组的功能。

有两种方法可以完成所需的操作,第一种是用reset_index,第二种是在groupby方法里设置as_index=False。个人更喜欢第二种方法,它只涉及两个步骤,更简洁。

  1. >>> df0.groupby("team").mean().reset_index()  
  2.   team         A         B         C  
  3. 0    X  0.445453  0.248250  0.864881  
  4. 1    Y  0.333208  0.306553  0.443828  
  5. >>> df0.groupby("team", as_index=False).mean()  
  6.   team         A         B         C  
  7. 0    X  0.445453  0.248250  0.864881  
  8. 1    Y  0.333208  0.306553  0.443828 

5.排序后重置索引

当用sort_value排序方法时也会遇到这个问题,因为默认情况下,索引index跟着排序顺序而变动,所以是乱雪。如果我们希望索引不跟着排序变动,同样需要在sort_values方法中设置一下参数ignore_index即可。

  1. >>> df0.sort_values("A")  
  2.           A         B         C team  
  3. 3  0.039738  0.008414  0.226510    Y  
  4. 1  0.342895  0.207917  0.995485    X  
  5. 2  0.378794  0.160913  0.971951    Y  
  6. 0  0.548012  0.288583  0.734276    X  
  7. 4  0.581093  0.750331  0.133022    Y  
  8. >>> df0.sort_values("A", ignore_index=True 
  9.           A         B         C team  
  10. 0  0.039738  0.008414  0.226510    Y  
  11. 1  0.342895  0.207917  0.995485    X  
  12. 2  0.378794  0.160913  0.971951    Y  
  13. 3  0.548012  0.288583  0.734276    X  
  14. 4  0.581093  0.750331  0.133022    Y 

6.删除重复后重置索引

删除重复项和排序一样,默认执行后也会打乱排序顺序。同理,可以在drop_duplicates方法中设置ignore_index参数True即可。

  1. >>> df0  
  2.           A         B         C team  
  3. 0  0.548012  0.288583  0.734276    X  
  4. 1  0.342895  0.207917  0.995485    X  
  5. 2  0.378794  0.160913  0.971951    Y  
  6. 3  0.039738  0.008414  0.226510    Y  
  7. 4  0.581093  0.750331  0.133022    Y  
  8. >>> df0.drop_duplicates("team", ignore_index=True 
  9.           A         B         C team  
  10. 0  0.548012  0.288583  0.734276    X  
  11. 1  0.378794  0.160913  0.971951    Y 

7. 索引的直接赋值

当我们有了一个 DataFrame 时,想要使用不同的数据源或单独的操作来分配索引。在这种情况下,可以直接将索引分配给现有的 df.index。

  1. >>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]  
  2. >>> df0.index = better_index  
  3. >>> df0  
  4.            A         B         C team  
  5. X1  0.548012  0.288583  0.734276    X  
  6. X2  0.342895  0.207917  0.995485    X  
  7. Y1  0.378794  0.160913  0.971951    Y  
  8. Y2  0.039738  0.008414  0.226510    Y  
  9. Y3  0.581093  0.750331  0.133022    Y 

8.写入CSV文件时忽略索引

数据导出到 CSV 文件时,默认 DataFrame 具有从 0 开始的索引。如果我们不想在导出的 CSV 文件中包含它,可以在to_csv方法中设置index参数。

  1. >>> df0.to_csv("exported_file.csv", index=False

如下所示,导出的 CSV 文件中,索引列未包含在文件中。

好习惯!pandas 8 个常用的 index 设置

其实,很多方法中都有关于索引的设置,只不过大家一般比较关心数据,而经常忽略了索引,才导致继续运行时可能会报错。以上几个高频的操作都是有索引设置的,建议大家平时用的时候养成设置索引的习惯,这样会节省不少时间。

原文地址:https://mp.weixin.qq.com/s/n7n9mrkLL9LjPXOFDrwprg

标签:

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021年耽改剧名单 2021要播出的59部耽改剧列表
2021年耽改剧名单 2021要播出的59部耽改剧列表 2021-03-05
返回顶部