1 重新生成索引 如果某个索引值不存在就引入缺失值1from pandas import Series,DataFrame 2 import pandas as pd 3 import numpy as np 4 obj=Series([4.5,7.2,-5.3,3.6],index=[‘d‘,‘b‘,‘a‘,‘c‘]) 5obj 67#重新生成索引 8 obj2=obj.reindex([‘a‘,‘b‘,‘c‘,‘d‘,‘e‘]) 9 obj2 a使用method的ffill可以实现前向值填充，效果如下1#前向填充 2 obj3=Series([‘blue‘,‘purple‘,‘yellow‘],index=[0,2,4]) 3 obj3.r...
数据分析处理库（Pandas） pandas是数据处理及分析的，底层计算由Numpy来完成，将复杂的操作封装起来，使其用起来十分高效、简洁。 import pandas as pd数据预处理df = pd.read_csv(‘../data/Titanic-dataset-master/df.csv‘) df.head () df.tail() df.info() df是Pandas工具包中最常见的基础结构 df.index //索引 df.columns ...
0 数据分析之前奏课程主要内容：常用IDE：本课程主要使用：AnacondaAnaconda：一个集合，包括conda、某版本Python、一批第三方库等 -支持近800个第三方库 -适合科学计算领域 -包含多个主流工具 -开源免费 -跨平台本身不是个ide 是将多个工具集成在一起的conda -一个工具，用于包管理和环境管理 -包管理与pip类似，管理Python第三方库 -环境管理能够允许用户使用不同版本的Python，并能灵活切换conda将工具、第三方库、Pyth...
第一章 Python基础第三节 列表简介列表是是处理一组有序项目的数据结构，即可以在一个列表中存储一个序列的项目。列表中的元素包括在方括号（[]）中，每个元素之间用逗号分割。列表是可变的数据类型，可以添加、删除或是搜索列表中的元素。列表可以理解为你用铅笔在笔记本里记录内容， 内容可以修改，每一行用逗号隔开。 3.1访问元素 访问列表元素可以通过索引方括号的形式，记住，索引从0而不是1开始！代码：1 shoplist = [‘appl...
from pandas import Series,DataFrameimport pandas as pdimport matplotlib.pyplot as pltimport numpy as npdf = DataFrame({‘key1‘ : [‘a‘, ‘a‘, ‘b‘, ‘b‘, ‘a‘],‘key2‘ : [‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘], ‘data1‘ : np.random.randn(5),‘data2‘ : np.random.randn(5)})grouped=df[‘data1‘].groupby(df[‘key1‘])grouped.mean()means = df[‘data1‘].groupby([df[‘key1‘], df[‘key2‘...
1、数据集红葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv白葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv红葡萄酒文件中包含1599条观测，白葡萄酒文件包含4898条观测。输入变量是葡萄酒的物理化学成分和特性，包括非挥发性酸、挥发性酸、柠檬酸、残余糖分、氯化物、游离二氧化硫、总二氧化硫、密度、...
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值，字符串，布尔型）。DateFrame既有行索引也有列索引，可以被看作为由Series组成的字典。构建DataFrame：1.1、直接传入一个由等长列表或numpy数组组成的字典‘‘‘ Created on 2016-8-10 @author: xuzhengzhu ‘‘‘from pandas import *data={‘state‘:[‘ohio‘,‘ohio‘,‘ohio‘,‘nevada‘,‘nevada‘],‘year‘:[2000,2001,2002,2001,20...
1、安装Python与环境配置①② 安装pip以及利用pip安装Python库 2、Anaconda安装 conda list 要在root环境下3、常用数据分析库① Numpy安装：conda install numpy （conda在Anaconda上安装，pip则是在本地上安装）提供常用的数值、数组、矩阵函数。基于“向量化”的运算，进行数值运算时比list高。② Scipy安装：conda install scipy是一种使用NumPy来做高等数学、信号处理、优化、统计的扩展包③ Pandas安装：conda install panda...
1、线性代数矩阵乘法 dot 函数x= np.array([[1,2,3],[4,5,6]])y=np.array([[6,23],[-1,7],[8,9]])x Out[16]: array([[1, 2, 3],[4, 5, 6]])y Out[17]: array([[ 6, 23],[-1, 7],[ 8, 9]])x.dot(y) Out[18]: array([[ 28, 64],[ 67, 181]])一个二维数组跟一个大小合适的一维数组的矩阵点积运算之后将会得到一个一维数组。np.dot(x,np.ones(3)) Out[19]: array([ 6., 15.]) numpy.linalgfrom numpy.linalg import inv,qr x ...
1. 数据科学领域中常用的python库Numpy库：数据运算的基础库，运行效率高(底层C语言，高效index)Scipy库：实现了常用的科学计算方法(线性代数，傅里叶变换，信号和图像处理)Pandas库：分析数据的利器，高级数据结构(Series，DataFrame)Matplotlib库：绘图功能(散点，曲线，柱形)2. Anaconda的使用说明介绍：著名的python数据科学平台，开源，跨平台。包含有流行的python和R的包。下载地址：https://www.anaconda.com/download/Jupy...
为了简单。安装 anaconda3 就好啦。因为安装原版python3，用pip安装matplotlib之类的包，很容易出错，并且网速很慢。所以找 anaconda3就好了。 国外官网，下载速度慢。可以去国内的镜像站。https://mirrors.tuna.tsinghua.edu.cn/ 点击 "anaconda" 那行后面的问号"?"，查看说明。 查看Anaconda3-2019.07-Windows-x86_64.exe (2019-09-27更新)的下载地址。exe安装包490MB，装完占用硬盘约2.2GB. 缺点就是挺大的。优点就是包挺全的。...
Flask：Python系的轻量级Web框架。 1. 网页爬虫工具集Scrapy 推荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》Beautiful Soup客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。Python-Goose Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依赖了Beautiful Soup。前段时间用过，感觉很不错，给定一个文章的URL,...
import pandas food_info = pandas.read_csv("food_info.csv") print(type(food_info)) print (food_info.dtypes)<class 'pandas.core.frame.DataFrame'> NDB_No int64 Shrt_Desc object Water_(g) float64 Energ_Kcal int64 Protein_(g) float64 Lipid_Tot_(g) float64 Ash_(g) float64 Carbohydrt_(g) float64 Fiber_TD_(g) float64 Sugar_Tot_(g)...
DataFrame.hist(data, column=None, by=None, grid=True, xlabelsize=None, xrot=None, ylabelsize=None, yrot=None,ax=None, sharex=False, sharey=False, figsize=None, layout=None, bins=10, **kwds)data : DataFramecolumn : string or sequence 字符串或序列by : object, optionalIf passed, then used to form histograms（直方图） for separate groupsgrid : boolean, default True 网格线，默认为使用xlabelsize : int, ...
一、pandas简单介绍 1、pandas是一个强大的Python数据分析的工具包。2、pandas是基于NumPy构建的。3、pandas的主要功能 --具备对其功能的数据结构DataFrame、Series --集成时间序列功能 --提供丰富的数学运算和操作 --灵活处理缺失数据4、安装方法：pip install pandas5、引用方法：import pandas as pd二、Series Series是一种类似于一位数组的对象，由一组数据和一组与之相关的数据标签（索引）组成。创建方式：...