??????????? ??????????? ??????????? ?????? ?????? 有没有这种感觉，学习编程的过程就像在挖一口井，而这口井你可以挖成“web”的形状，也可以挖成“app”的形状，还可以挖出“game”的形状。突然有一天，别人说：挖出“artificial intelligence”的形状后的井水才是最甜的。于是，你就开始想办法在已经挖好的井的基础上乱挖试图挖出最甜的井水，然而却挖了许多弯道。。。机器学习的算法是建立在数学理论上的，如果数学学得不好...
机器学习建模介绍：①分类②回归③聚类④时序分析（不常用）1，分类：应用：人脸识别、垃圾邮件检测、信用卡申请人风险评估等原理： 1）将数据映射到预先定义的类 2）把具有某些特征的数据项映射到给定的某个类别上我们需要通过学习出分类的边界如上图，通过机器的学习确定边界，将新事物放在此维度中，来进行预测或者判断2，回归算法：应用：预测公司的业务增长量、预测房价等原理：用属性的历史数据预测未来的趋势； 假...
导读：给各位介绍七个自动机器学习框架，希望有价值。这些年，机器学习（Machine Learning）的使用率越来越高，模型给企业带来一系列机会，也给未来留下更好的畅想。但是，机器学习的建模流程时间长且复杂，人们仍然在寻求部署更多机器学习模型。企业需要预测的特定数据集合时，传统的方法需要执行以下操作：1、处理数据2、定义技术特性3、选择模型4、优化超参数5、对参数的训练没有适用于所有任务的算法，数据分析人员需要为每个特...
邹先生007 freebuf 背景任何智能活动的都可以称为人工智能，而机器学习（Machine Learning）属于人工智能的一个分支，深度学习（Deep Learning）则是机器学习的分支。近年来，随着基础设施的完善，海量大数据的积累，机器学习方法理论越来越成熟，算力的大幅度提升，互联网企业也越来越愿意增大在AI领域的投入，AI的优势在于处理海量数据提取捕获其中有用信息上发挥着非常重要的作用，如OCR领域图片鉴黄、自然语言处理方面的恶意言...
机器学习线性回归笔记，及公式推导
一、基本形式 给定d个属性的描述x = {x1;x2;…xd}，其中xi是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测函数，如下： 一般的向量形式： 二、线性回归 线性回归试图学得： 如何确定w和b，关键在于如何衡量f（x）和 y之间的差别。均方误差是回归任务中最常用的性能度量。我们可以试图让均方误差最小化。即如下： 相当于最小化预测值和真实标签之间差的平方。均方误差有非常好的集合意义，他对应常...
本次笔记绝大部分转自https://www.cnblogs.com/Luv-GEM/p/10674719.htmlsoftmax回归Logistic回归是用来解决二类分类问题的，如果要解决的问题是多分类问题呢？那就要用到softmax回归了，它是Logistic回归在多分类问题上的推广。此处神经网络模型开始乱入，softmax回归一般用于神经网络的输出层，此时输出层叫做softmax层。1、softmax函数首先介绍一下softmax函数，这个函数可以将一个向量(x1,x2,...,xK)映射为一个概率分布(z1,z2,....
在（二）中我们讲到了单变量的线性回归模型，但是在现实生活中会有很多对结果产生影响的因素，所以我们引入了多变量的模型。同样的我们有M个样本，$x_i$表示第$i$个特性，$x_i^{(j)}$表示第$j$个样本的第$j$个特性。假设函数$h_{\theta}=\theta_0+\theta_1x_1+\theta_2x_2$我们假设$x_0=1$， $\theta^{T}=(\theta_1, \theta_2, \cdots)$，$X^{T}=(x_1,x_2, \cdots)$。那么$h_{\theta}=\theta^{T}X$。原文：http://www.cnblogs.com/...
机器学习是计算机科学和统计学的边缘交叉领域，R关于机器学习的包主要包括以下几个方面： 1）神经网络（Neural Networks）： nnet、AMORE以及neuralnet，nnet提供了最常见的前馈反向传播神经网络算法。AMORE包则更进一步提供了更为丰富的控制参数，并可以增加多个隐藏层。neuralnet包的改进在于提供了弹性反向传播算法和更多的激活函数形式。但以上各包均围绕着BP网络，并未涉及到神经网络中的其它拓扑结构和网络模型。而新出炉...
作业一被bubuko抓取了，要是能注明转载就更好了（http://bubuko.com/infodetail-916604.html）作业二关注的题目是需要coding的Q16~Q20Q16理解了一段时间，题目阐述的不够详细。理解了题意之后，发现其实很简单。理解问题的关键是题目中给的‘s‘是啥意思：（1）如果s=1，则意味着x>theta y预测为1，x<theta y预测为-1；（2）如果s=2，则以为着x<theta y预测为1，x<theta y预测为1想明白这个事情之后，直接分theta大于0，小于0讨论，...
对于数据挖掘，数据准备阶段主要就是进行特征工程。 数据和特征决定了模型预测的上限，而算法只是逼近了这个上限。 好的特征要少而精，这会使模型更简单、更精准。 一、特征构造1.’常见提取方式文本数据的特征提取词袋向量的方式：统计频率 图像数据的特征提取像素点RGB用户行为特征提取 特征提取总结：特征设计时需要与目标高度相关： 这个特征对预测目标是否有用 如果有用，这个特征的重要程度如何 这...
要让我的小车能自动去倒一杯咖啡。需要的做的事还有很多，其中一个很难的问题就是自动驾驶，怎么才能让我的小车自动驾驶到咖啡机旁边去呢？1.DeepDriving，网址http://deepdriving.cs.princeton.edu/ ，如图: 这是一个不借助mobileye之类硬件的一个软件技术。直接通过图像识别来判断和控制汽车。 2.comma.ai ,一个便宜的硬件+开源软件 网址:https://comma.ai/ 3. 市面上已经有的产品，如"那狗N2 ADAS"可以看得出，也是个硬件，不过...
梯度下降算法能够帮助我们快速得到代价函数的最小值 算法思路：以某一参数为起始点寻找下一个参数使得代价函数的值减小，直到得到局部最小值梯度下降算法：重复下式直至收敛，其中α为学习速率，表示找到局部最小值的速率并且各参数θ0,...,θn必须同时更新，即所有的θj值全部都计算得到新值之后才将参数值代入到代价函数中数学原理：沿梯度方向，函数变化率/方向导数最大原文：https://www.cnblogs.com/JJJanepp/p/8454599.html
K近邻法K-近邻模型根据一个已经分好类具有具体标签的数据集进行预测分类，不具有显示的训练过程，根据新样本与训练样本中每个样本之间的距离选择最近的K个样本预测，通过多数投票的方式预测该样本的标签。模型由三个基本要素组成：距离度量，K值选择，分类决策规则。该模型距离度量为欧式距离，分类决策规则是多数投票表决。距离度量Lp(x1，x2) = (sum(|x1-x2|p))1/p 当p = 1时，称为曼哈顿距离，L1(x1，x2) = (sum(|x1-x2|)) 各个...
数学解释偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。 机器学习中的偏差和方差 首先，假设你知道训练集和测试集的关系。简单来讲是我们要在训练集上学习一个模型，然后拿到测试集去用，效果好不好要根据测试集的错误率来衡量。但很多时候，我们...