K-近邻算法一、算法概述（1）采用测量不同特征值之间的距离方法进行分类优点： 精度高、对异常值不敏感、无数据输入假定。缺点： 计算复杂度高、空间复杂度高。（2）KNN模型的三个要素kNN算法模型实际上就是对特征空间的的划分。模型有三个基本要素：距离度量、K值的选择和分类决策规则的决定。距离度量距离定义为：\[L_p(x_i,x_j)=\left( \sum^n_{l=1} |x_i^{(l)} - x_j^{(l)}|^p \right) ^{\frac{1}{p}}\] 一般使用欧式距离：p =...
决策树是一种基本的分类和回归模型，也就是说既可以用于分类也可以用于回归。这里以分类为例。 决策树模型一种描述对实例依据特征进行分类的树形结构，它包含一个根节点，若干个内部节点和若干个叶节点。其中叶节点对应的是决策结果，也可以说是一个类，内部节点表示的是一个属性和特征。 决策树的学习算法包含三个步骤：特征选择，决策树的生成，决策树的剪枝特征选择特征选择在于选取对训练数据具有较好分类能力的特征，如果选取...
一、理论准备1.1、图像分割图像分割是图像处理中的一种方法，图像分割是指将一幅图像分解成若干互不相交区域的集合，其实质可以看成是一种像素的聚类过程。通常使用到的图像分割的方法可以分为：基于边缘的技术基于区域的技术基于聚类算法的图像分割属于基于区域的技术。1.2、K-Means算法K-Means算法是基于距离相似性的聚类算法，通过比较样本之间的相似性，将形式的样本划分到同一个类别中，K-Means算法的基本过程为：初始化常数 ...
一、损失函数：机器学习主要工作是模型评估，而损失函数定义了模型的评估指标!! 常见的损失函数有mean_squared_error mean_absolute_error mean_absolute_percentage_error mean_squared_logarithmic_error squared_hinge hinge categorical_hinge logcosh categorical_crossentropy sparse_categorical_crossentropy binary_crossentropy（二元交叉熵） kullback_leibler_divergence poisson cosine_proximity二、机器学习经典优化...
序 声明：以下是博主精心整理的机器学习和AI系列文章，博主后续会不断更新该领域的知识： 人工智能AI实战系列代码全解析 手把手教你ML机器学习算法源码全解析 有需要的小伙伴赶紧订阅吧。 人工智能的浪潮正在席卷全球，诸多词汇时刻萦绕在我们耳边：人工智能（Artificial Intelligence）、机器学习（Machine Learning）、深度学习（Deep Learning）。不少人对这些高频词汇的含义及其背后的关系总是似懂非懂、一知半解。 人工智能的...
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工...
任务简介：学习花书5.1-5.4，观看讲解视频(1.机器学习算法 2.过拟合与欠拟合超参数验证集) 任务详解：理解机器学习的基本概念，两类任务分类和回归，以及性能度量 过拟合与欠拟合的概念 超参数，交叉验证，训练集，交叉验证集，测试集上边的例子出现了过拟合，在训练集上拟合的曲线并不适用测试集，误差很大。 造成过拟合的原因：模型参数过多。一般情况下，过拟合时，参数会异常大。泛化误差：在测试集上得到的误差。点赞 收藏分...
回归技术 回归算法是用于预测连续数值的机器学习技术。他们是有监督的学习任务，这意味着他们需要标记的训练示例。 案例： 根据尺寸，品牌和位置预测产品的适当价格根据商店位置，公共假日，星期几和最接近的竞争对手来预测每天的销售数量 以下是最常用的预测数值的算法的介绍：线性回归，决策树，神经网络和K最近邻 线性回归 线性回归尝试将直的超平面拟合到最接近所有数据点的数据集中。当数据集中的变量之间存在线性关系时，这是...
在学习了机器学习的相关知识以后，我们知道其中的算法有很多种，比如回归算法、K近邻算法等等，这些都是需要大家掌握的算法，而神经网络算法是一个十分实用的算法，在这篇文章中我们就给大家介绍一下机器学习算法中的神经网络算法知识。 那么什么是神经网络算法呢？其实神经网络也称之为人工神经网络，简单就是ANN，而算法是80年代机器学习界非常流行的算法，不过在90年代中途衰落。现在，随着深度学习的发展，神经网络再次出现在大...
1. 关于非线性转化方程(non-linear transformation function) ? ? ?sigmoid函数(S 曲线)用来作为activation function: ? ? ?sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。 在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。具有这种性质的S型函数统称为sigmoid函数。 ? ? ?? ? ? ?1.1 双曲函数(tanh)? ? ? ? 双曲函数（hyperbolic function）可借助...
转自：http://www.ruanyifeng.com/blog/2017/07/neural-network.html 眼下最热门的技术，绝对是人工智能。 人工智能的底层模型是"神经网络"（neural network）。许多复杂的应用（比如模式识别、自动控制）和高级模型（比如深度学习）都基于它。学习人工智能，一定是从它开始。什么是神经网络呢？网上似乎缺乏通俗的解释。 前两天，我读到 Michael Nielsen 的开源教材《神经网络与深度学习》（Neural Networks and Deep Learning）...
bp神经网络 先来了解一下什么是神经网络一个神经网络包含：输入层（输入特征个数）、隐藏层（个数不限制）、输出层（类别）、权重（重要程度）、偏执/阈值（有偏执率）其中还要加上偏执，sgn是激活函数，它是为了防止结果值太大，把结果缩小到一定的范围内。这样得到的结果可能还不太准确，和真实值会有误差，于是我们用最小误差值倒推w，这个思想叫训练也叫bp神经网络BP（Back Propagation）网络是1986年由Rumelhart和McCelland为...
上一篇 ※※※※※※※※ 【回到目录】 ※※※※※※※※ 下一篇10.1 代价函数 首先引入一些便于稍后讨论的新标记方法： 假设神经网络的训练样本有
此算法的实现基于下面理论那里的西瓜书伪代码，读数据部分直接用了大神的一段代码，源地址https://blog.csdn.net/qdbszsj/article/details/79110888 同时给出一些理论：https://blog.csdn.net/aaalswaaa1/article/details/83046813import pandas as pd import numpy as np import random import math# 激活函数 def sigmoid(X, d):if d == 1:for i in range(len(X)):X[i] = 1 / (1 + math.exp(-X[i]))else:for i in range(len(X)):...
【机器学习】算法原理详细推导与实现(一):线性回归 今天我们这里要讲第一个有监督学习算法，他可以用于一个回归任务，这个算法叫做 线性回归 房价预测 假设存在如下 m 组房价数据：面积(m^2) 价格(万元)82.35 19365.00 213114.20 25575.08 12875.84 223... ...通过上面的数据，可以做出如下一个图。横坐标是 面积(m^2)，纵坐标是 价格(万元)：那么问题来了，给你这样一组数据，或者给你这样一个训练数据的集合，能否预测房屋的面积...