原文链接：https://blog.csdn.net/lc574260570/article/details/818794081）特征选择理论 一份数据有很多属性，但有些属性可能很关键，另一些没有用。从给定特征集中选择出相关特征子集的过程称为特征选择。特征选择是一个重要的数据预处理过程。一般在正式的数据处理之前进行。 特征选择是一个重要的数据预处理过程，他不仅可以降低数据维数，以节省时间，简化分析，规避“维度灾难”，更可以去除无关特征，抓住主要矛盾，使分析...
k-近邻算法(KNN)定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 来源：KNN算法最早由Cover和Hart提出的一种分类算法。计算距离公式两个样本的距离可以通过如下公式计算，又称为欧式距离，比如说，a(a1,a2,a3),b(b1,b2,b3)k-近邻算法需要标准化sklearn k-近邻算法APIsklearn.neighbors.KNeightborsClassifier(n_neighbors=5,algorithm='auto') n_neighbo...
原文链接：https://www.cnblogs.com/pinard/p/6047802.html 在学习机器学习算法的过程中，我们经常需要数据来验证算法，调试参数。但是找到一组十分合适某种特定算法类型的数据样本却不那么容易。还好numpy, scikit-learn都提供了随机数据生成的功能，我们可以自己生成适合某一种模型的数据，用随机数据来做清洗，归一化，转换，然后选择模型与算法做拟合和预测。下面对scikit-learn和numpy生成数据样本的方法做一个总结。完...
100天搞定机器学习（Day1-34）100天搞定机器学习|Day35 深度学习之神经网络的结构100天搞定机器学习|Day36?深度学习之梯度下降算法 本篇为100天搞定机器学习之第37天，亦为3Blue1Brown《深度学习之反向传播算法》学习笔记。 上集提到我们要找到特定权重和偏置，从而使代价函数最小化，我们需要求得代价函数的负梯度，它告诉我们如何改变连线上的权重偏置，才能让代价下降的最快。反向传播算法是用来求这个复杂到爆的梯度的。 上一集...
支持向量机 适用问题：二分类问题 模型类型：判别模型 模型特点：分离超平面、核技巧 学习策略：极小化正则化合页损失、软件额最大化 学习算法：概率计算公式、EM算法定义： 支持向量机（Support Vector Machine, SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数（hinge loss）计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具...
朴素贝叶斯 适用问题：多类分类 模型类型：生成模型 模型特点：特征与类别的联合概率分布，条件独立假设。 学习策略：极大似然估计，极大后验概率估计或者损失函数为目标函数的最小化 学习的试试函数：对数似然损失 学习算法：概率计算公式，EM算法原理：朴素贝叶斯分类（NBC）是以贝叶斯定理为基础并且假设特征条件之间相互独立的方法，先通过已给定的训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基...
** Regression Algorithms ** 1.Linear Regression: from sklearn.linear_model import LinearRgression LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False) Parameters: normalize布尔型，默认为false.说明：是否对数据进行标准化处理 copy_X 布尔型，默认为true.说明：是否对X复制，如果选择false，则直接对原数据进行覆盖。（即经过中心化，标准化后，是否把新数据覆盖到原数据上）。 2.Ridge Re...
1基于CF的推荐算法 1.1算法简介 CF（协同过滤）简单来形容就是利用兴趣相投的原理进行推荐，协同过滤主要分两类，一类是基于物品的协同过滤算法，另一种是基于用户的协同过滤算法，这里主要介绍基于物品的协同过滤算法。 给定一批用户，及一批物品，记Vi表示不同用户对物品的评分向量，那么物品i与物品j的相关性为： 上述公式是利用余弦公式计算相关系数，相关系数的计算还有：杰卡德相关系数、皮尔逊相关系数等。 计...
算法是核心，数据和计算是基础数据类型1、离散数据类型2、连续数据类型 机器学习算法分类 监督学习：特征值+目标值无监督学习：只有特征值，无目标值分类：目标值离散型回归：目标值连续型 分类算法k-近邻算法：根据你的邻居来判断你的类别 k-近邻算法的计算公式： 注意：k-近邻算法，需要做标准化处理sklearn k-近邻算法API k-近邻算法的例子：from sklearn.neighbors import KNeighborsClassifier from sklea...
面试职位：机器学习/数据挖掘算法工程师 在网上得到很多宝贵的面试经验 现我也来开帖，分享一下到目前为止的面试经验~~~ 本人会一直写到秋招结束，记录下参加的每场面试 如果回答上有什么错误，请不吝赐教哈！！！ 谢谢~~~~ 目前内推面了：阿里（一面跪）、京东（offer）、拼多多（offer）、美丽联合（一面跪）、链家（offer）、美团点评（三面跪） 目前校招面了：360（一面跪）、百度（一面跪）、三星研究所（offer） 据说可以攒人...
机器学习分类： 监督学习 非监督学习 离散 分类 聚类 连续 回归 降维 （一）有监督的机器学习 1.KNN（k-近邻算法）————分类 （1）三要素：距离度量、k值的选择、分类决策规则 （2）算法思想：给定测试实例，基于某种距离度量找出训练集中与其最靠近的k个实例点，然后基于这k个最近邻的信息来进行预测。 2.决策树 ————分类 （1）策略：自上而下 （2）算法思想：步骤1...
背景：线性回归需要拟合所有的数据才能生成模型，但是，当数据拥有众多的特征以及特征之间的关系十分复杂时，这种方法显得太难了。除此之外，实际生活中很多数据都是非线性的，不能使用全局线性模型进行拟合。因此提出树结构与回归法。 CART算法使用二元切分来处理连续性变量，ID3算法使用香农熵来度量集合的无组织程度，如果采用其他的度量就可以采用树构建算法完成回归树。回归树与分类树的思路类似，不过分类树的叶节点是离散型...
机器学习——集成算法（一）集成算法原理1.1 Bagging模型1.2 Boosting模型1.3 Stacking模型（二）集成算法实验分析2.1 构建实验数据集2.2 硬投票和软投票效果2.3 Bagging策略效果2.4 集成效果展示分析2.5 OOB袋外数据的作用2.6 特征重要性2.7 Boosting-提升策略2.8 GBDT 提升算法流程2.9 集成参数对比分析2.10 模型提前停止策略2.11 Stacking堆叠模型 （一）集成算法原理 集成算法： 构建多个学习器，然后通过一定策略结合把它们来...
样本： 代码：有几处与教程不同，自行修改import pandas as pd import numpy as np from sklearn import svm from sklearn import model_selection #此处与教程不同，模块更改#1.读取数据，此处不添加 index_col=0 因为会没有最左边的0，1，2，3那一列，导致后续ix换col索引出现问题 data = pd.read_csv(D:\python_source\Machine_study\mooc_data\classification\stock/000777.csv, encoding=gbk, parse_dates=[0]) data.sort_in...
一、机器学习的过程 机器学习的过程：从本质上来说，就是通过一堆的训练数据找到一个与理想函数（f）相接近的函数。 在理想情况下，对于任何适合使用机器学习的问题，在理论上都是会存在一个最优的函数让每个参数都有一个最合适的权重值，但在现实应用中不一定能这么准确得找到这个函数。所以，我们要去找与这个理想函数相接近的函数。只要是能够满足我们的使用的函数，我们就认为是一个好的函数。 这个训练数据的过程通常也被解释...