人生苦短，我用 Python前文传送门： 小白学 Python 数据分析（1）：数据分析基础 小白学 Python 数据分析（2）：Pandas （一）概述 小白学 Python 数据分析（3）：Pandas （二）数据结构 Series 小白学 Python 数据分析（4）：Pandas （三）数据结构 DataFrame 小白学 Python 数据分析（5）：Pandas （四）基础操作（1）查看数据 小白学 Python 数据分析（6）：Pandas （五）基础操作（2）数据选择 小白学 Python 数据分析（7）：P...
我们在处理数据的时候，经常需要检查数据的质量，也需要知道出问题的数据在哪个位置。我找了很久，也尝试了很多办法，都没能找到一种非常直接的函数，本文所要介绍的是一种我认为比较方便的方法：np.where（）我举个例子 import pandas as pd import numpy as npdf = pd.DataFrame(np.arange(12).reshape(4,3), index=list('abcd'), columns=list('xyz'))In [14]:df Out[14]: x y z a 0 1 2 b 3 4 5 c 6 7 8 d ...
目录??下面介绍pandas常见的基本功能，和python的基本数据类型进行比较可以看到pandas在操作大型数据集中的优势。 1.重建索引 (1)函数：reindex (2)作用：创建一个符合新索引的新对象。 (3)内容： ??Series调用reindex方法时，会将数组按照新的索引进行排列，如果之前并不存在，则会引入缺失值NaN。 ??DataFrame调用reindex方法时，会改变行和列索引。只传入一个序列时，行会重建索引；传入columns关键字参数时，列会重建索引。...
1.代码1：import matplotlib.pyplot as plt import numpy as npn = 50 # 随机产生50个0~2之间的x,y坐标 x = np.random.rand(n)*2 y = np.random.rand(n)*2 colors = np.random.rand(n) # 随机产生50个0~1之间的颜色值 area = np.pi * (10 * np.random.rand(n))**2 # 点的半径范围:0~10 # 画散点图 plt.scatter(x, y, s=area, c=colors, alpha=0.5, marker=(9, 3, 30)) plt.show() 2.图13.且报错：MatplotlibDeprecationWarning: S...
本文内容： 1 标准化 & 归一化 2 离散化 / 分箱 / 分桶 3 二值化 —————————【 正文 】—————————— 1 标准化 & 归一化导包和数据import numpy as np from sklearn import preprocessingdata = np.loadtxt(data.txt, delimiter=\t) 1.1 标准化 （Z-Score）x=(x-mean)/std 原转换的数据为x，新数据为x′，mean和std为x所在列的均值和标准差标准化之后的数据是以0为均值，方差为1的正态分布。但是Z-Score方法是一种...
人生苦短，我用 Python前文传送门： 小白学 Python 数据分析（1）：数据分析基础 小白学 Python 数据分析（2）：Pandas （一）概述 小白学 Python 数据分析（3）：Pandas （二）数据结构 Series 小白学 Python 数据分析（4）：Pandas （三）数据结构 DataFrame 小白学 Python 数据分析（5）：Pandas （四）基础操作（1）查看数据 小白学 Python 数据分析（6）：Pandas （五）基础操作（2）数据选择 小白学 Python 数据分析（7）：P...
前言背景 这几天的疫情，学校要求每个同学都要填写问卷。 于是我简单地创建了一个腾讯问卷。 今天辅导员让我统计下哪几位同学没有填写，并且告知以后每天都要统计。 我们班大约有40人， 每天填写问卷的人大约30多人， 如果靠肉眼的传统方法，把填写问卷的名单和大名单一一比对， 找出未填写的人，岂不是眼都要看花了。 更何况想起辅导员说接下来每天都要如此， 简直是费时费力。 我始终信奉一个真理：所有重复性工作都应由程序完成...
在使用pandas读入相关的excel后，若是表格中有空值的列，要如何清洗呢 在查阅了网上的相关的资料后，得到了办法 pandas.dropna(axis=1,how=‘any’) axis=0指行，若是参数中不写，则是默认为axis=0， axis=1则是指列 how=‘any’则是指只要列中含有一个空值，就删除该列 how=all’则是代表只有一整列为空值，才删除该列 需要注意的是在python3.7的版本里 使用pandas.dropna需要有一个变量来接收返回值 否则在运行程序的时候 不会报...
''' 生成抽样数据 ''' import pandas as pd import numpy as np df=pd.DataFrame(np.arange(600).reshape(100,6), #100行6列columns=['A','B','C','D','E','F']) print(df)#设置随机种子 np.random.seed(10) #若不设置随机种子，则每次抽样的结果都不一样 #按个数抽样，不放回 df.sample(n=10)#抽取10个数据，这10个数据肯定不一样，因为是不放回抽样#按个数抽样，有放回抽样 df.sample(n=20,replace=True)#抽取20个数据，这20个...
昨天，学习了python遍历目录，今天就开始合并多个excel表格了。我将对昨天的函数加以改造以实现目标。 如下图所示：如上图所示，总共有三张表，目标是合并成如下的excel表。如代码所示： import os import pandas as pd# 输入参数为excel表格所在目录 def to_one_excel(dir):dfs = []# 遍历文件目录，将所有表格表示为pandas中的DataFrame对象for root_dir, sub_dir, files in os.walk(r'' + dir):for file in files:if file.endsw...
目录 一：pandas数据结构介绍 ??python是数据分析的主要工具，它包含的数据结构和数据处理工具的设计让python在数据分析领域变得十分快捷。它以NumPy为基础，并对于需要类似 for循环 的大量数据处理的问题有非常快捷的数组处理函数。 ??但是pandas最擅长的领域还是在处理表格型二维以上不同数据类型数据。 ??基本导入语法： import pandas as pd ?? pandas标记缺失值或NA值为NaN。 ??有关python语法，数据分析简介，ipython，ju...
1.例一 图1代码1 #第1步：导出模块 import numpy as np import matplotlib.pyplot as plt from matplotlib import font_manager # 中文字体设置第1步，导出模块#中文字体设置第2步：引出字体模块和位置 my_font = font_manager.FontProperties(fname="/usr/share/fonts/truetype/noto/simsun.ttf")#数据来源，单独设定，非文件来源 #dataLenth = 8 #数据个数，8组数据 #标签 labels = np.array([3℃,5℃,6℃,3℃,1℃,3℃,3℃,2℃]...
介绍 Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。同样，Pandas 已经被证明为是非常强大的用于处理时间序列数据的工具。本节将介绍所有 Pandas 在时间序列数据上的处理方法。 知识点创建时间对象 时间索引对象 时间算术方法创建时间对象 在 Pandas 中关于时间序列的常见对象有 6 种，分别是 Timestamp（时间戳）、DatetimeIndex（时间戳索引）、Period（时间段）、...
学习内容 pandas分组计算 Tips：分组求和步骤 1）分组 2）应用 3）合并 重点 1.一般分组 import pandas as pd import numpy as npdf = pd.DataFrame(np.random.randint(10, 20, (4, 2)),index=['a', 'b', 'c', 'd'],columns=["one", "two"]) print(df) print(df["one"].groupby(df['two']))#这个关键字分组只能按列分组one two a 11 12 b 16 14 c 15 16 d 12 13 <pandas.core.groupby.generic.SeriesGroupBy obje...
两种数据类型的比较 参考：https://blog.csdn.net/LZH_12345/article/details/79798787 总结：两种数据的横向属性是index，而只有DataFrame的columns属性指的是纵向属性 Series的数据只是有index和index.name属性，没有columns属性，而DataFrame数据有columns属性 其中，series的数据更像是字典的数据，包含索引和数据；而另一种形式的数据则可以使用多个属性 通过下面程序的显示，比较两种数据的不同 import pandas as pddef feng...