以下操作都需要导入numpy模块（没有该模块的需要安装）from numpy import *创建数组：创建一维数组：>>>a=arange(5) 此时a就是一维数组。创建多维数组：>>>a=array([[1,2,3],[4,5,6]]) 此时a就是二维数组获取数组的数据类型：Numpy数组一般是同质的，即数组中所有元素类型必须是一致的。>>>a.dtypedtype(int32)确定数组的维数：>>>aarray(0,1,2,3,4)>>>a.shape(5,)shape返回一个元组，元组的元素即为numpy数组中每一个维度上的大...
python3 利用xlrd,xlwt编写一个简单的数据分析程序：简单需求根据“待分析文件"中第一个sheet中的id值集合过滤第二个sheet中的对应列id的单元格值 相等的行， 并且将这些行输出到“分析结果文件”待分析文件-sheet1id
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
待分析文件-sheet2id name other
1 xxxx 3
2 xxxx 4
3 xxxx 5
4 xxxx 6
5 xxxx 7
6 xxxx 8
7 xxxx 9
8 xxxx 10
9 xxxx 11
10 x...
日期：2020.01.27博客期：135星期一 【本博客的代码如若要使用，请在下方评论区留言，之后再用（就是跟我说一声）】 今天问了一下老师，信息领域热词从哪里爬，老师说是IT方面的新闻，嗯~有点儿意思了！ 我找到了好多IT网站，但是大多数广告又多，名词也不专一针对信息领域，所以啊我就暂且用例一个相对还好的例子： 数据来源网址：https://news.51cto.com/（最终不一定使用此网站的爬取数据） 网站的相关热词来源...
1 重新生成索引 如果某个索引值不存在就引入缺失值1from pandas import Series,DataFrame
2 import pandas as pd
3 import numpy as np
4 obj=Series([4.5,7.2,-5.3,3.6],index=[‘d‘,‘b‘,‘a‘,‘c‘])
5obj
67#重新生成索引
8 obj2=obj.reindex([‘a‘,‘b‘,‘c‘,‘d‘,‘e‘])
9 obj2 a使用method的ffill可以实现前向值填充，效果如下1#前向填充
2 obj3=Series([‘blue‘,‘purple‘,‘yellow‘],index=[0,2,4])
3 obj3.r...
数据分析处理库（Pandas） pandas是数据处理及分析的，底层计算由Numpy来完成，将复杂的操作封装起来，使其用起来十分高效、简洁。 import pandas as pd数据预处理df = pd.read_csv(‘../data/Titanic-dataset-master/df.csv‘) df.head () df.tail() df.info() df是Pandas工具包中最常见的基础结构 df.index //索引 df.columns ...
0 数据分析之前奏课程主要内容：常用IDE：本课程主要使用：AnacondaAnaconda：一个集合，包括conda、某版本Python、一批第三方库等 -支持近800个第三方库 -适合科学计算领域 -包含多个主流工具 -开源免费 -跨平台本身不是个ide 是将多个工具集成在一起的conda -一个工具，用于包管理和环境管理 -包管理与pip类似，管理Python第三方库 -环境管理能够允许用户使用不同版本的Python，并能灵活切换conda将工具、第三方库、Pyth...
第一章 Python基础第三节 列表简介列表是是处理一组有序项目的数据结构，即可以在一个列表中存储一个序列的项目。列表中的元素包括在方括号（[]）中，每个元素之间用逗号分割。列表是可变的数据类型，可以添加、删除或是搜索列表中的元素。列表可以理解为你用铅笔在笔记本里记录内容， 内容可以修改，每一行用逗号隔开。 3.1访问元素 访问列表元素可以通过索引方括号的形式，记住，索引从0而不是1开始！代码：1 shoplist = [‘appl...
from pandas import Series,DataFrameimport pandas as pdimport matplotlib.pyplot as pltimport numpy as npdf = DataFrame({‘key1‘ : [‘a‘, ‘a‘, ‘b‘, ‘b‘, ‘a‘],‘key2‘ : [‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘], ‘data1‘ : np.random.randn(5),‘data2‘ : np.random.randn(5)})grouped=df[‘data1‘].groupby(df[‘key1‘])grouped.mean()means = df[‘data1‘].groupby([df[‘key1‘], df[‘key2‘...
1、数据集红葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv白葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv红葡萄酒文件中包含1599条观测，白葡萄酒文件包含4898条观测。输入变量是葡萄酒的物理化学成分和特性，包括非挥发性酸、挥发性酸、柠檬酸、残余糖分、氯化物、游离二氧化硫、总二氧化硫、密度、...
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值，字符串，布尔型）。DateFrame既有行索引也有列索引，可以被看作为由Series组成的字典。构建DataFrame：1.1、直接传入一个由等长列表或numpy数组组成的字典‘‘‘
Created on 2016-8-10
@author: xuzhengzhu
‘‘‘from pandas import *data={‘state‘:[‘ohio‘,‘ohio‘,‘ohio‘,‘nevada‘,‘nevada‘],‘year‘:[2000,2001,2002,2001,20...
1、安装Python与环境配置①② 安装pip以及利用pip安装Python库 2、Anaconda安装 conda list 要在root环境下3、常用数据分析库① Numpy安装：conda install numpy （conda在Anaconda上安装，pip则是在本地上安装）提供常用的数值、数组、矩阵函数。基于“向量化”的运算，进行数值运算时比list高。② Scipy安装：conda install scipy是一种使用NumPy来做高等数学、信号处理、优化、统计的扩展包③ Pandas安装：conda install panda...
1、线性代数矩阵乘法 dot 函数x= np.array([[1,2,3],[4,5,6]])y=np.array([[6,23],[-1,7],[8,9]])x
Out[16]:
array([[1, 2, 3],[4, 5, 6]])y
Out[17]:
array([[ 6, 23],[-1, 7],[ 8, 9]])x.dot(y)
Out[18]:
array([[ 28, 64],[ 67, 181]])一个二维数组跟一个大小合适的一维数组的矩阵点积运算之后将会得到一个一维数组。np.dot(x,np.ones(3))
Out[19]: array([ 6., 15.]) numpy.linalgfrom numpy.linalg import inv,qr
x ...
1. 数据科学领域中常用的python库Numpy库：数据运算的基础库，运行效率高(底层C语言，高效index)Scipy库：实现了常用的科学计算方法(线性代数，傅里叶变换，信号和图像处理)Pandas库：分析数据的利器，高级数据结构(Series，DataFrame)Matplotlib库：绘图功能(散点，曲线，柱形)2. Anaconda的使用说明介绍：著名的python数据科学平台，开源，跨平台。包含有流行的python和R的包。下载地址：https://www.anaconda.com/download/Jupy...
为了简单。安装 anaconda3 就好啦。因为安装原版python3，用pip安装matplotlib之类的包，很容易出错，并且网速很慢。所以找 anaconda3就好了。
国外官网，下载速度慢。可以去国内的镜像站。https://mirrors.tuna.tsinghua.edu.cn/
点击 "anaconda" 那行后面的问号"?"，查看说明。
查看Anaconda3-2019.07-Windows-x86_64.exe (2019-09-27更新)的下载地址。exe安装包490MB，装完占用硬盘约2.2GB. 缺点就是挺大的。优点就是包挺全的。...
Flask：Python系的轻量级Web框架。 1. 网页爬虫工具集Scrapy 推荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》Beautiful Soup客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。Python-Goose Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依赖了Beautiful Soup。前段时间用过，感觉很不错，给定一个文章的URL,...
