python – 如何使用melt()将pandas DataFrame重新整形为列表,从交叉表列创建索引并在其位置创建新变量？
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 如何使用melt()将pandas DataFrame重新整形为列表,从交叉表列创建索引并在其位置创建新变量？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5742字，纯文字阅读大概需要9分钟。
内容图文
我有一个数据矩阵29523行x 503 cols,其中3 cols是索引(下面是例如子集).
IDX1| IDX2 | IDX3 | 1983 Q4 | X | Y | Z |1984 Q1 | X | Y | Z
---------------------------------------------------------------------------
A | A1 | Q | 10 | A | F | NaN | 110 | A | F | NaN
A | A2 | Q | 20 | B | C | 40 | 120 | B | C | 240
A | A3 | Q | 30 | A | F | NaN | 130 | A | F | NaN
A | A4 | Q | 40 | B | C | 80 | 140 | B | C | 280
A | A5 | Q | 50 | A | F | NaN | 150 | A | F | NaN
A | A6 | Q | 60 | B | F | 120 | 160 | B | F | 320
我将其读入DataFrame,其中包含：
>>> df = pd.read_csv(C:\filename.csv, low_memory=False, mangle_dupe_cols=False)
然后使用pandas.melt()来旋转数据：
df1 = pd.melt(df, id_vars=['IDX1', 'IDX2', 'IDX3'], var_name='ValueType',
value_name = 'Value')
我也尝试过stack()但是这里说得更好().
IDX1 | IDX2 | IDX3 | ValueType | Value
---------------------------------------------------------------
A | A1 | Q | 1983 Q4 | 10
A | A1 | Q | X | A
A | A1 | Q | Y | F
A | A1 | Q | Z | NaN
A | A1 | Q | 1984 Q1 | 110
A | A1 | Q | X | A
A | A1 | Q | Y | F
A | A1 | Q | Z | NaN
A | A2 | Q | 1983 Q4 | 20
A | A2 | Q | X | B
A | A2 | Q | Y | C
A | A2 | Q | Z | 40
read_csv上的选项mangle_dupe_cols如果为True,则会对所有重复的ValueType放置.int后缀.这并不理想,但如果没有它,就无法将变量的值链接到正确的时间段.
我更愿意做的是将Period(1984 Q1)作为ValueType,给Periods对应的Value赋一个变量’W’,并让每个句点构成IDX的一部分,如下所示：
IDX1 | IDX2 | IDX3 | IDX4 | ValueType | Value
---------------------------------------------------------------
A | A1 | Q | 1983 Q4| W | 10
A | A1 | Q | 1983 Q4| X | A
A | A1 | Q | 1983 Q4| Y | F
A | A1 | Q | 1983 Q4| Z | NaN
A | A1 | Q | 1984 Q1| W | 110
A | A1 | Q | 1984 Q1| X | A
A | A1 | Q | 1984 Q1| Y | F
A | A1 | Q | 1984 Q1| Z | NaN
A | A2 | Q | 1983 Q4| W | 20
A | A2 | Q | 1983 Q4| X | B
A | A2 | Q | 1983 Q4| Y | C
A | A2 | Q | 1983 Q4| Z | 40
以上是否可能与熊猫或numpy？
我的最终DataFrame将是14,761,500行x 6 cols.
解决方法:
特定
In [189]: df
Out[189]:
IDX1 IDX2 IDX3 1983 Q4 X Y Z 1984 Q1 X.1 Y.1 Z.1
0 A A1 Q 10 A F NaN 110 A F NaN
1 A A2 Q 20 B C 40 120 B C 240
2 A A3 Q 30 A F NaN 130 A F NaN
3 A A4 Q 40 B C 80 140 B C 280
4 A A5 Q 50 A F NaN 150 A F NaN
5 A A6 Q 60 B F 120 160 B F 320
我们先设置[‘IDX1′,’IDX2′,’IDX3’]作为索引.
df = df.set_index(['IDX1', 'IDX2', 'IDX3'])
其他列具有周期性质量;我们想要每4个处理一次
列作为一个组.这种“作为一个群体处理”的想法自然会导致
为列索引分配新的索引级别;一些值是相同的
每4列.这将是理想的：
1983 Q4 1984 Q1
W X Y Z W X Y Z
IDX1 IDX2 IDX3
A A1 Q 10 A F NaN 110 A F NaN
A2 Q 20 B C 240 120 B C 240
A3 Q 30 A F NaN 130 A F NaN
A4 Q 40 B C 280 140 B C 280
A5 Q 50 A F NaN 150 A F NaN
A6 Q 60 B F 320 160 B F 320
我们可以通过构建MultiIndex并将其分配给df.columns来实现：
columns = [col for col in df.columns if col[0] not in set(list('XYZ'))]
df.columns = pd.MultiIndex.from_product([columns, list('WXYZ')])
现在可以通过调用df.stack来获得所需的长格式DataFrame
将列级别移动到行索引中：
df.columns.names = ['IDX4', 'ValueType']
series = df.stack(['IDX4', 'ValueType'], dropna=False)
另请注意,当mangle_dupe_cols = False时,重复列X,Y,
Z,被覆盖.所以你使用mangle_dupe_cols = False丢失了数据.对于
例如,当你使用mangle_dupe_cols = False时,最后一行的Z值得到
无论周期如何,都会分配给每个Z列.
所以我们必须使用mangle_dupe_cols = True,(或者只是将它留出来,因为那是
默认)并相应地调整代码.幸运的是,这并不难
因为我们无论如何都要将df.columns重新分配给自定义构建的MultiIndex.
把它们放在一起：
import numpy as np
import pandas as pd
df = pd.read_table('data', sep=r'\s*[|]\s*')
df = df.set_index(['IDX1', 'IDX2', 'IDX3'])
columns = [col for col in df.columns if col[0] not in set(list('XYZ'))]
df.columns = pd.MultiIndex.from_product([columns, list('WXYZ')])
df.columns.names = ['IDX4', 'ValueType']
series = df.stack(['IDX4', 'ValueType'], dropna=False)
print(series.head())
产量
IDX1 IDX2 IDX3 IDX4 ValueType
A A1 Q 1983 Q4 W 10
X A
Y F
Z NaN
1984 Q1 W 110
dtype: object
请注意,由于我们删除了所有列级别,因此结果是一个系列.
如果您想要一个包含6列的DataFrame,那么我们应该跟进：
series.name = 'Value'
df = series.reset_index()
print(df.head())
产量
IDX1 IDX2 IDX3 IDX4 ValueType Value
0 A A1 Q 1983 Q4 W 10
1 A A1 Q 1983 Q4 X A
2 A A1 Q 1983 Q4 Y F
3 A A1 Q 1983 Q4 Z NaN
4 A A1 Q 1984 Q1 W 110
...
内容总结
以上是互联网集市为您收集整理的python – 如何使用melt()将pandas DataFrame重新整形为列表,从交叉表列创建索引并在其位置创建新变量？全部内容，希望文章能够帮你解决python – 如何使用melt()将pandas DataFrame重新整形为列表,从交叉表列创建索引并在其位置创建新变量？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。