首页 / PYTHON / python – Pandas – 删除除了另一列中值最高的行之外的重复行

python – Pandas – 删除除了另一列中值最高的行之外的重复行

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Pandas – 删除除了另一列中值最高的行之外的重复行，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3209字，纯文字阅读大概需要5分钟。

内容图文

我有一个大型数据框(超过100列,数十万行),其中包含多个包含重复数据的行.我试图删除重复的行,保持不同列中具有最大值的行.

基本上,我正在根据时间段将数据分类到单个容器中,因此在不同时期,人们可能会发现大量重复,因为大多数实体都存在于所有时间段.然而,不能允许的是同一实体在给定时间段内出现不止一次.

我在python pandas: Remove duplicates by columns A, keeping the row with the highest value in column B中尝试了一种数据子集的方法,并计划与原始数据帧df重新组合.

示例数据子集：

              unique_id   period_id   liq
index                                   
19            CAN00CE0     199001  0.017610
1903          **USA07WG0** 199001  1.726374
12404         **USA07WG0** 199001  0.090525
13330         USA08DE0     199001  1.397143
14090         USA04U80     199001  2.000716
12404         USA07WG0     199002  0.090525
13330         USA08DE0     199002  1.397143
14090         USA04U80     199002  2.000716

在上面的例子中,我想保留第一个实例(因为liq高于1.72)并丢弃第二个实例(liq较低,为0.09).请注意,给定的period_id中可以有两个以上的重复项.

我试过这个但是对我来说非常慢(我在超过5分钟后停止了它)：

def h(x):
    x = x.dropna() #idmax fails on nas, and happy to throw out where liq is na.
    return x.ix[x.liq.idmax()]

df.groupby([‘holt_unique_id’, ‘period_id’], group_keys = False).apply(lambda x: h(x))

我最终做了下面的事情,这更加冗长和丑陋,并且除了一个重复之外简单地抛弃了,但这也很慢！考虑到类似复杂性的其他操作的速度,我想我会在这里要求更好的解决方案.

所以我的请求是真的修复上面的代码,以便快速,下面给出了作为指导,如果在下面的静脉中,也许我也可以放弃基于索引的重复项,而不是reset_index / set_index我采用的方法：

def do_remove_duplicates(df):
    sub_df = df[['period_id', 'unique_id']] 
    grp = sub_df.groupby(['period_id', 'unique_id'], as_index = False)
    cln = grp.apply(lambda x: x.drop_duplicates(cols = 'unique_id'))   #apply drop_duplicates.  This line is the slow bit!
    cln = cln.reset_index()   #remove the index stuff that has been added
    del(cln['level_0'])   #remove the index stuff that has been added
    cln.set_index('level_1', inplace = True)   #set the index back to the original (same as df).
    df_cln = cln.join(df, how = 'left', rsuffix = '_right')   # join the cleaned dataframe with the original, discarding the duplicate rows using a left join.
    return df_cln

解决方法:

怎么样：

>使用最大数据更新所有列.
>选择一行(说第一行).

这应该快得多,因为它是矢量化的.

In [11]: g = df.groupby(["unique_id", "period_id"], as_index=False)

In [12]: g.transform("max")
Out[12]:
            liq
index
19     0.017610
1903   1.726374
12404  1.726374
13330  1.397143
14090  2.000716
12404  0.090525
13330  1.397143
14090  2.000716

In [13]: df.update(g.transform("max"))

In [14]: g.nth(0)
Out[14]:
          unique_id  period_id       liq
index
19         CAN00CE0     199001  0.017610
1903   **USA07WG0**     199001  1.726374
13330      USA08DE0     199001  1.397143
14090      USA04U80     199001  2.000716
12404      USA07WG0     199002  0.090525
13330      USA08DE0     199002  1.397143
14090      USA04U80     199002  2.000716

注意：我想首先使用groupby或者在这里使用groupby但是我认为有一个错误,他们扔掉你的旧索引,我不认为他们应该…然而,nth是工作.

另一种方法是首先切出不等于liq max的那些：

(df[df["liq"] == g["liq"].transform("max")]  #  keep only max liq rows
 .groupby(["unique_id", "period_id"])
 .nth(0)

内容总结

以上是互联网集市为您收集整理的python – Pandas – 删除除了另一列中值最高的行之外的重复行全部内容，希望文章能够帮你解决python – Pandas – 删除除了另一列中值最高的行之外的重复行所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/795009.html

来源：【匿名】