目录波士顿房价预测导入模块获取数据打印数据特征选择散点图矩阵关联矩阵训练模型可视化波士顿房价预测导入模块import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from matplotlib.font_manager import FontProperties from sklearn.linear_model import LinearRegression %matplotlib inline font = FontProperties(fname='/Library/Fonts/Heiti.ttc')获取数据??housing-data.txt文...
Flask：Python系的轻量级Web框架。 1. 网页爬虫工具集Scrapy 推荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》Beautiful Soup客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。Python-Goose Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依赖了Beautiful Soup。前段时间用过，感觉很不错，给定一个文章的URL,...
import pandas food_info = pandas.read_csv("food_info.csv") print(type(food_info)) print (food_info.dtypes)<class 'pandas.core.frame.DataFrame'> NDB_No int64 Shrt_Desc object Water_(g) float64 Energ_Kcal int64 Protein_(g) float64 Lipid_Tot_(g) float64 Ash_(g) float64 Carbohydrt_(g) float64 Fiber_TD_(g) float64 Sugar_Tot_(g)...
git: https://github.com/linyi0604/MachineLearning词向量技术 Word2Vec 每个连续词汇片段都会对后面有一定制约 称为上下文context找到句子之间语义层面的联系 1from sklearn.datasets import fetch_20newsgroups2from bs4 import BeautifulSoup3import nltk, re4from gensim.models import word2vec5 6# nltk.download(‘punkt‘) 7 8 9‘‘‘10词向量技术 Word2Vec 11 每个连续词汇片段都会对后面有一定制约 称为上下文con...
K-Means算法 K-Means 算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means 算法有大量的变体，本文就从最传统的K-Means算法学起，在其基础上学习K-Means的优化变体方法。包括初始化优化K-Means++， 距离计算优化 elkan K-Means 算法和大数据情况下的优化 Mini Batch K-Means算法。 聚类问题的一些概念：无监督问题：我们的手里没有标签了聚类：就是将相似的东西分到一组聚类问题的难点：...
git: https://github.com/linyi0604/MachineLearning数据集被我下载到本地，可以去我的git上拿数据集XGBoost提升分类器 属于集成学习模型 把成百上千个分类准确率较低的树模型组合起来 不断迭代,每次迭代生成一颗新的树下面 对泰坦尼克遇难预测使用XGBoost模型 和 其他分类器性能进行比较 1import pandas as pd2from sklearn.cross_validation import train_test_split3from sklearn.feature_extraction import DictVect...
#单行注释‘‘‘ 多行注释 多行注释 多行注释 ‘‘‘#a.ndim 输出数组的维数； #a.shape 输出数组的形式（几行，几列） #copy() 复制数组 #a*2 数组中每个元素乘以2 #[1,2]*2 数组将变成4个 #a**2 a的平方 #[1,2]**2 unsuported operand type #数组访问。修建异常值。处理不存在的值。 #clip() 超出某区间边界的部分修剪掉 #mean() 均值 #处理不存在的值import numpy as np a = np.array([0,...
图像处理和分析通常被看作是对二维值数组的操作。然而，在一些领域中，必须对高维数的图像进行处理分析，例如，医学成像和生物成像。由于对多维特性的良好支持，numpy非常适合这种类型的应用程序。scipy.ndimage包提供了许多通用的图像处理和分析功能，这些功能支持操作任意维度的数组。scipy.ndimage中提供了图像矩阵变换、图像滤波、图像卷积等功能。旋转图片旋转图片，可以使用ndimage.rotate函数。测试图片下载: face.png示例加...
import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression,Ridge,Lasso from sklearn.neighbors import KNeighborsRegressor from sklearn.ensemble import ExtraTreesRegressor from sklearn.datasets import fetch_olivetti_facesfaces=fetch_olivetti_faces() data=faces[‘data‘] target=faces[‘target‘] #data.shape#人脸补全 #人脸数据一分为二,上半部分作为数据,下半部分...
首先需要调整数据集的形状，让其包含图像的位深信息。打印原始数据集的形状：>>> print (X_train.shape) (60000, 28, 28)可以看到并没有包含图像的位深信息。MNIST是灰度图像，位深为1，我们将数据集从形状(n，宽度，高度)转换为(n，位深，宽度，高度)。if K.image_data_format() == ‘channels_first‘:X_train = X_train.reshape(X_train.shape[0], 1, 28, 28)X_test = X_test.reshape(X_test.shape[0], 1, 28, 28)input_shape =...
我们经常使用决策树处理分类问题’近来的调查表明决策树也是最经常使用的数据挖掘算法。它之所以如此流行，一个很重要的原因就是使用者基本上不用了解机器学习算法，也不用深究它 是如何工作的。 K-近邻算法可以完成很多分类任务，但是它最大的缺点就是无法给出数据的内 在含义，决策树的主要优势就在于数据形式非常容易理解。决策树很多任务都 是为了数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一...
Matplotlib 柱状图柱状图/条形图是常见的图形类型，可使用bar()方法绘制。示例# 导入numpy库与matplotlib.pyplot库import numpy as np import matplotlib.pyplot as plt# 柱状图条目 divisions = ["Div-A", "Div-B", "Div-C", "Div-D", "Div-E"] # 柱状图条目的值 divisions_average_marks = [70, 82, 73, 65, 68]# 绘制图形 plt.bar(divisions, divisions_average_marks, color="green")# 设置标题 plt.title("Bar Graph") # 设置...
Matplotlib介绍：Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形 。 通过 Matplotlib，开发者可以仅需要几行代码，便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等。Matplotlib基础知识：Matplotlib中的基本图表包括的元素 x轴和y轴 水平和垂直的轴线 x轴和y轴刻度 刻度标示坐标轴的分隔，包括最小刻度和最大刻度 ...
python数据分析个人学习读书笔记-目录索引 19章卷积神经网络 本章介绍现阶段神经网络中非常火的模型——卷积神经网络，它在计算机视觉中有着非常不错的效果。不仅如此，卷积神经网络在非图像数据中也有着不错的表现，各项任务都有用武之地，可谓在机器学习领域遍地开花。那么什么是卷积呢？网络的核心就在于此，本章将带大家一步步揭开卷积神经网络的奥秘。 19.1卷积操作原理 卷积神经网络也是神经网络的一种，本质上来说都...
4.1 机器学习的四个分支 4.1.1 监督学习 含义：给定一组样本，它可以学会将输入数据映射到已知目标。 常见监督学习有：分类、回归、序列生成、语法树预测、目标检测、图像分割。 4.1.2 无监督学习 含义：是指在没有i目标的情况下寻找输入数据的有趣变换，其目的在于数据可视化、数据压缩、数据去噪或更好地理解数据中的相关性。 常见无监督学习有：降维、聚类。 4.1.3 自监督学习 含义：是没有人工标注的标签的监督学习，可以看...