首页 / 更多教程 / 《机器学习》第一章至第三章学习笔记
《机器学习》第一章至第三章学习笔记
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了《机器学习》第一章至第三章学习笔记，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3934字，纯文字阅读大概需要6分钟。
内容图文
第一章：机器学习概述
机器学习相关技术属于人工智能的一个分支。其理论主要分为如下三个方面：
-
传统的机器学习：包括线性回归、逻辑回归、决策树、SVM、贝叶斯模型、神经网络等等。
-
深度学习（Deep Learning）：基于对数据进行表征学习的算法。好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
-
强化学习（Reinforcement Learning）：强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。和标准的监督式学习之间的区别在于，它并不需要出现正确的输入/输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。
监督学习：训练数据中有我们想要预测的属性，也就是说对每一组 输入 数据，都有对应的 输出。问题可以分为两类：
- 分类问题：数据属于有限多个类别，希望从已标记数据中学习如何预测未标记数据的类别。
例子：手写数字、字母的识别 - 回归问题：每组数据对应的输出是一个或多个连续变量。
例子：是根据鲑鱼长度作为其年龄和体重。
无监督学习：训练数据无对应的输出值。例子：数据聚类、降维。
特征向量：
数据集一般需要分割为训练集和测试集。划分方法如下
留出法
直接将数据集划分为两个互斥的集合，2/3-4/5。
划分原则：划分过程尽可能保持数据分布的一致性
方法缺陷：训练集过大，更接近整个数据集，但是由于测试集较小，导致评估结果缺乏稳定性；测试集大了，偏离整个数据集，与根据数据集训练出的模型差距较大，缺乏保真性。
交叉验证法
将数据集划分为k个大小相似的互斥子集，每个子集轮流做测试集，其余做训练集，最终返回这k个训练结果的均值。
优点：更稳定，更具准确定；
缺点：时间复杂的较大
第二章：基于距离的分类器
概述
2.1med分类器
med分类器
2.2特征白化
白化的目的：
将原始特征映射到一个新的特征空间，使得在新空间
中特征的协方差矩阵为单位矩阵，从而去除特征变化
的不同及特征之间的相关性。
输入数据集X，经过白化处理后，新的数据X'满足两个性质：
(1)特征之间相关性较低；
(2)所有特征具有相同的方差。
鸢尾花实验的白化使用的是PCA方法，此处不再赘述。
特征解耦
2.4MICD分类器
概念
二分类时当Σ1、Σ2是任意值时，MICD的决策边界是一个超抛物面或者超双曲面
MICD分类器的缺陷是会选择方差较大的类。
半个课程下来，目前还停留在理论阶段，概率论倒是还记得，高数和线代半斤八两，机器学习是门实践和理论结合密切的学科，网上查阅资料文献的时候，看到
对于此前不是机器学习/深度学习这个领域的朋友，不管此前在其他领域有多深的积累，还请以一个敬畏之心来对待。
持续的投入：三天打鱼两天晒网的故事，我们从小便知，不多说了；
系统的学习：一个学科，知识是一个体系，系统的学习才可以避免死角，或者黑洞；
大量的练习：毕竟机器学习/深度学习属于Engineering & Science的范畴，是用来解决实际的问题的。单纯的理论研究，如果没有实际的项目（包括研究项目）经验做支撑，理论可能不会有很大突破。
第三章贝叶斯决策与学习
3.1贝叶斯决策和MAP分类器
后验概率 p(Ci|x) 表达给定模式 x 属于类 Ci 的概率。
模式 x 属于类 Ci 的后验概率计算公式为：
MAP分类器：将测试样本决策分类给后验概率最大的那个类。
对于二分类问题，MAP分类器的决策边界：
单维空间：通常有两条决策边界。
高维空间：复杂的非线性边界。
3.2决策风险和贝叶斯分类器
决策风险的概念：不同的决策错误会产生程度不同的风险。
贝叶斯分类器：
选择决策风险最小的类。
3.4最大似然估计
定义：
-
待学习的概率密度函数记为
p(x | θ)，θ 是待学习的参数。 -
给定的 N 个训练样本都是从
p(x | θ)采样得到的，且满足iid条件，则所有样本的联合概率密度（似然函数）为：
-
因此，学习参数 θ 的目标函数可以设计为：使该似然函数最大。
3.6贝叶斯估计
贝叶斯估计：给定参数 θ 分布的先验概率以及训练样本，估计参数 θ 分布的后验概率。
θ 的后验概率：
3.8KNN估计
给定 N 个训练样本，在特征空间内估计每个任意取值 x 的概率密度，即估计以 x 为中心，在极小的区域 R = (x, x+δx) 内的概率密度 p(x)
其中 k 为落入区域 R 的样本个数，V 为区域 R 的体积。
直方图
直方图也是基于无参数概率估计的基本原理：p ≈ k/(NV)
将特征空间划分为 m 个区域R。
给定任意模式，先判断它属于哪个区域，p(x) = ki/(NV), if x ∈ Ri
优点：
- 固定区域 R：减少由于噪声污染造成的估计偏差。
- 不需要存储训练样本。
缺点：
- 固定区域 R 的位置：如果模式 x 落在相邻格子的交界区域，意味着当前格子不是以模式 x 为中心，导致统计和概率估计不准确。
- 固定区域 R 的大小：缺乏概率估计的自适应能力，导致过于尖锐或平滑。
内容总结
以上是互联网集市为您收集整理的《机器学习》第一章至第三章学习笔记全部内容，希望文章能够帮你解决《机器学习》第一章至第三章学习笔记所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。