我有一个pandas数据框,看起来像：d = {'some_col' : ['A', 'B', 'C', 'D', 'E'],'alert_status' : [1, 2, 0, 0, 5]} df = pd.DataFrame(d)我工作中的很多任务需要在熊猫中完成相同的任务.我开始编写标准化函数,将数据帧作为参数并返回一些东西.这是一个简单的：def alert_read_text(df, alert_status=None):if (alert_status is None):print 'Warning: A column name with the alerts must be specified'alert_read_criteria = df[...
我终于想出了如何使用DataFrame中的_metadata,一切正常,除了我无法坚持它,如hdf5或json.我知道它有效,因为我复制框架和_metadata属性复制“非_metadata”属性不. 例df = pandas.DataFrame #make up a frame to your liking pandas.DataFrame._metadata = ["testmeta"] df.testmeta = "testmetaval" df.badmeta = "badmetaval" newframe = df.copy() newframe.testmeta -->outputs "testmetaval" newframe.badmeta ---> raises attr...
这可能是一个两部分问题,但我正在寻找对其二级索引标识的记录子集进行重新缩放(或执行任何操作)的最佳方法. 例如 – 说我有以下数据框：>>> df=pd.DataFrame(data=[[1,2,3],[.4,.5,.6],[7,8,9],[.10,.11,.12]], index=pd.MultiIndex.from_tuples([(1,'a'), (1,'b'), (2,'a'), (2,'b')]), columns=['Var1','Var2','Var3']) >>> df.index.names=['Number','Letter'] >>> print dfVar1 Var2 Var3 Number Letter 1...
我正在尝试使用scikit-learn DecisionTree和Pandas Dataframe对文本进行分类：首先,我构建了一个如下所示的数据框：cat1 cat2 corpus title 0 0 1 Test Test Test erster titel 1 1 0 Test Super Super zweiter titel 2 0 1 Test Test Test dritter titel 3 0 1 Te...
我试图将一个数据帧从键,值的行转换为一个表,其中键作为列,值作为单元格.例如： 使用键输入数据帧,值：>>>df = pd.DataFrame([['TIME', 'VAL1', 'VAL2', 'VAL3', 'TIME', 'VAL1', 'VAL2', 'VAL3'],["00:00:01",1,2,3,"00:00:02", 1,2,3]]).T0 1 0 TIME 00:00:01 1 VAL1 1 2 VAL2 2 3 VAL3 3 4 TIME 00:00:02 5 VAL1 1 6 VAL2 2 7 VAL3 3我希望它看起来像：TIME VAL1 VAL2 VAL3...
我有一个DataFrame df,其索引包含1997年到2011年1月份每天的日期时间：In [164]: df Out[164]: Tavg 1997-01-01 20.48 1997-01-02 37.49 ... ... 1997-01-31 37.49 1998-01-01 52.07 ... ... 2011-01-30 35.51 2011-01-31 29.03从另一个DataFrame,我想在每年对应于上一年12月31日的df中插入行;即具有索引的行In [166]: prev_dates = pd.date_range('1996-12-31', '2010-12-31', freq=pd.DateOffset(year...
好吧,我真正的问题比这更大,但我有一个简单的工作示例.>>> import pandas as pd >>> import numpy as np >>> a = pd.DataFrame(np.array([[2, 1990], [4,1991], [5,1992]]), ... index=[1,2,3], columns=['var', 'yr']) >>> avar yr 1 2 1990 2 4 1991 3 5 1992 >>> b = pd.DataFrame(index=a.index, columns=['new_var']) >>> bnew_var 1 NaN 2 NaN 3 NaN >>> b[a.yr<1992].loc[:, '...
我有一个带有null / empty值的数据帧.通过执行以下操作,我可以轻松获取空值的每一行的计数：df['NULL_COUNT'] = len(df[fields] - df.count(axis=1)这将在字段NULL_COUNT中放置NULL的列数. 有没有办法将列标题以相同的方式写入另一个字段,如果它为null？df['NULL_FIELD_NAMES'] = "<some query expression>"例：df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)], columns=['A', 'B', 'C'])在上面...
我们公司需要加密S3中静止的所有数据.通常当我们上传s3对象时,我们会执行以下操作：aws s3 cp a.txt s3://b/test --sse我正在使用dask.dataframe,并希望将我的一个数据集导出到存储在S3中的镶木地板,但找不到任何打开加密的选项.知道如何使用dask.dataframe应用加密吗？解决方法:目前还没有在s3fs中实现这一点,dask使用后端写入S3.通过在S3FileSystem的构造函数中包含(某些)以下参数,并将它们包含在boto3 s3client上的少量调用中,并...
我有一个大约9k行和57列的数据帧,这是’df’. 我需要一个新的数据帧：’df_final’ – 对于’df’的每一行,我必须复制每一行’x’次,并逐行增加每一行的日期,也是’x’次.虽然我可以做几次迭代,但是当我为’df”len(df)’的全长做这个循环时,它需要很长时间(> 3小时),我实际上必须取消它.我从未见过它的结束.这是当前的代码：df.shape output: (9454, 57)df_int = df[0:0] df_final = df_int[0:0] range_df = len(df) for x in ran...
我有一个非常奇怪的格式的Dataframe：id Code Week1 Week2 week3 sunday nan nan nan nan id Code Week1 Week2 week31 100 y y n2 200 n y n3 300 n n y Monday nan nan nan nan id Code Week1 Week2 week31 500 n y y2 600 y y y Tuesday nan nan nan nan...
假设我们有以下dict：things = {'George':['cat','kitty'], 'Stackoverflow':['questions','answers'], 'hungry':['im','always']}可以轻松地将其转换为包含[[key1,value1] … [keyX,valueX]]的列表,并将其转换为显示为的数据框:(此处忽略索引和列名称)George cat George kitty Stackoverflow questions Stackoverflow answers hungry im hungry always但是,这可能是直接来自字典吗？解...
我很难重新组织这个数据帧.我想我应该使用pd.pivot_table或pd.crosstab,但我不知道如何完成工作. 这是我的DataFrame： vicro = pd.read_csv(vicroURL) vicro_subset = vicro.ix[:,['P1', 'P10', 'P30', 'P71', 'P82', 'P90']]In [6]: vicro vicro vicroURL vicro_subset In [6]: vicro_subset.head() Out[6]: P1 P10 P30 P71 P82 P90 0 - I - - - M 1 - I - V T M 2 - I - V A M 3...
我有一个包含两列的Dataframe,一列中包含字符串,另一列中包含列表,如下所示：RSD_TYPE FILTER LIST0 AQ500 [N/A, Z mean, SNR mean, Dir mean]1 Triton [wipe mean, Z mean, Avail mean, Dir mean]2 Windcube [N/A, W mean, Q mean, Dir mean]3 Zephir [Rain mean, W mean, Packets, dir mean]我想基于与RSD_TYPE列的元素的部分字符串匹配返回一个列表.例如.搜...
我想基于第一组列中的值(具体地,第一列中的一列为空白),同时将多列的值替换为其他列中的对应值.这是我正在尝试做的一个例子：import pandas as pddf = pd.DataFrame({'a1':['m', 'n', 'o', 'p'],'a2':['q', 'r', 's', 't'],'b1':['', '', 'a', '' ],'b2':['', '', 'b', '']})df# a1 a2 b1 b2 # 0 m q # 1 n r # 2 o s a b # 3 p t我想将b1和b2中的”值替换为a1和a2中的相应值,其中b1为空：# a1 a2 b1 b2 # 0 m...