删除异常值(/ – 3 std)并用Python / pandas中的np.nan替换

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了删除异常值(/ – 3 std)并用Python / pandas中的np.nan替换，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1462字，纯文字阅读大概需要3分钟。

内容图文

我已经看到了几个解决我的问题的解决方案

link1
link2

但到目前为止他们还没有帮助我成功.

我相信以下解决方案是我需要的,但继续得到错误(我没有声誉点评论/问题)：link

(我得到以下错误,但我不明白.copy()的位置,或者在管理以下命令时添加“inplace = True”df2 = df.groupby(‘install_site’).transform(replace)：

SettingWithCopyWarning：
尝试在DataFrame的切片副本上设置值.
尝试使用.loc [row_indexer,col_indexer] = value

请参阅文档中的警告：link

所以,我试图提出自己的版本,但我一直陷入困境.开始.

我有一个按时间索引的数据框,其中包含站点列(许多不同站点的字符串值)和浮点值.

time_index            site       val

我想通过按站点分组的’val’列,并用NaN(每组)替换任何异常值(那些/ – 与平均值的3个标准偏差).

当我使用以下函数时,我无法用我的True / Falses向量索引数据框：

def replace_outliers_with_nan(df, stdvs):
    dfnew=pd.DataFrame()
    for i, col in enumerate(df.sites.unique()):
        dftmp = pd.DataFrame(df[df.sites==col])
        idx = [np.abs(dftmp-dftmp.mean())<=(stdvs*dftmp.std())] #boolean vector of T/F's
        dftmp[idx==False]=np.nan  #this is where the problem lies, I believe
        dfnew[col] = dftmp
    return dfnew

另外,我担心上面的函数需要花费很长时间才能生成700万行,这就是我希望使用groupby函数选项的原因.

解决方法:

如果我理解正确,则无需迭代列.该解决方案替换了与NaN偏离三个以上组标准偏差的所有值.

def replace(group, stds):
    group[np.abs(group - group.mean()) > stds * group.std()] = np.nan
    return group

# df is your DataFrame
df.loc[:, df.columns != group_column] = df.groupby(group_column).transform(lambda g: replace(g, 3))

内容总结

以上是互联网集市为您收集整理的删除异常值(/ – 3 std)并用Python / pandas中的np.nan替换全部内容，希望文章能够帮你解决删除异常值(/ – 3 std)并用Python / pandas中的np.nan替换所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端