courseraMachineLearningWeek2学习笔记

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了courseraMachineLearningWeek2学习笔记，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2216字，纯文字阅读大概需要4分钟。

内容图文

Part4: Linear Regression with Multiple Variables 进入多变量线性回归~在看视频的时候发现了视频里面的一个错误:在Normal Equation的第8分钟左右,那个x的上下标写反了,应该是上标为1,2,3,4,下标一直为1. 多变量线性回归其实就是在单变量线性回归的基础上进

Part4: Linear Regression with Multiple Variables

进入多变量线性回归~在看视频的时候发现了视频里面的一个错误:在Normal Equation的第8分钟左右,那个x的上下标写反了,应该是上标为1,2,3,4,下标一直为1.

多变量线性回归其实就是在单变量线性回归的基础上进行推广，很多公式都是直接在单变量线性回归的基础上进行矩阵化的改写，下面列出多变量线性回归的公式。

首先是假设函数：

这里第二个公式就是矩阵化的一个写法，θ为一个n+1*1的矩阵，X为一个n+1*m的矩阵（X在原来的基础上在左边加上一列X0=1,另m为元组个数）。

接下来是代价函数，仍然和单变量线性回归一样：

最后是梯度下降法的更新公式，偏导求导之前的公式和单变量线性回归一致：

如果把偏导求解出来的话，

好了，基本上公式没有太大的变化。这部分视频中还讲解了一些其他的部分：

数据缩放：简单的来说就是数据的规范化的一种。如果一个属性中数值的范围是1~2000，另一个属性中数值的范围是1~5，那么可以想象这对于计算的时候肯定非常的不方便，算法的运算效率也会降低，所以需要把一些范围很大的数据进行规范化，课程中介绍的方法是

其实还有很多数据规范化的方法，比如z分数规范化：

其中A为x的均值，σ为x的标准差；

以及小数定标规范化：

其中j是使得max(|x'|)<1的最小整数。

Learning rate的选择：在梯度下降法中，一个合适的Learning Rate应该能够让代价函数不断的减少，如果发现代价函数不降反升，那么很有可能就是Learning rate过大。同时如果Learning rate过小，会导致算法的运行效率缓慢。如何找到一个合适的Learning rate呢？课程中教授的方法是0.001，0.003，0.01，0.03，0.1，0.3，1这样不断的尝试，每次将上次的Learning rate*3。

Normal Equation：使用最小二乘法的方法进行θ的计算，公式为

课程没有给出证明……我尽力尝试下能否给出这个公式的证明。另外Normal Equation的好处就是无需选择Learning rate，无需迭代，一次完成，在维度n较小(课程中给出的阀值为10000)的时候运算速度比较快，但是后面的很多算法无法应用；而梯度下降法则是相反，而且后面的很多算法需要以梯度下降法作为基础。另如果发现矩阵不可转置，一种可能是x的属性中存在重复(同一个量不同单位比如米和英尺)，或者m<n，m为元组个数，n为属性个数。

Part 5:Octave Tutorial

介绍Octave的基本用法，这里就不再阐述。

内容总结

以上是互联网集市为您收集整理的courseraMachineLearningWeek2学习笔记全部内容，希望文章能够帮你解决courseraMachineLearningWeek2学习笔记所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---