SKlearn中的Adaboost使用主要调的参数:第一部分是对我们的Adaboost的框架进行调参, 第二部分是对我们选择的弱分类器进行调参。 使用 Adaboost 进行手写数字识别 导入库,载入数据 import pandas as pd import numpy as np import matplotlib.pyplot as pltfrom sklearn.ensemble import AdaBoostClassifier from sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import accuracy_score from sklearn.model_sele...
朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。对于大多数的分类算法,在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系,要么是决策函数,要么是条件分布。但是朴素贝叶斯却是生成方法,该算法原理简单,也易于实现。 1,基本概念朴素贝叶斯:贝叶斯分类时一类分类算...
# coding=utf-8from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classificatio...
分享链接:https://shimo.im/docs/OcOhHoOUJRwxDHd4/ 希望大家会喜欢我的分享~~
分享链接:https://shimo.im/docs/K0AaRNl86A8657h5/ 希望大家喜欢~~
朴素贝叶斯全概率公式:例子参考这里:https://www.cnblogs.com/panlangen/p/7801054.html 优缺点 优点: (1) 算法逻辑简单,易于实现(算法思路很简单,只要使用贝叶斯公式转化即可!) (2)分类过程中时空开销小(假设特征相互独立,只会涉及到二维存储) 缺点: 朴素贝叶斯假设属性之间相互独立,这种假设在实际过程中往往是不成立的。在属性之间相关性越大,分类误差也就越大。 类型高斯分布型:先验为高斯分布(正态分布)的...
原文地址: https://blog.csdn.net/weixin_40411446/article/details/80398641 作者:诶呀吗_Bug 来源:CSDN ----------------------------------------------------------------------------------------------- 机器学习常见问题 1) 几种模型( SVM,LR,GBDT,EM )的原理以及公式推导; 2) RF,GBDT 的区别; GBDT,XgBoost的区别(烂大街的问题最好从底层原理去分析回答); 3) 决策树处理连续值的方法; 4)...
??????????????????????????? 摘要之前一直对机器学习很感兴趣,一直没时间去研究,今天刚好是周末,有时间去各大技术论坛看看,刚好看到一篇关于机器学习不错的文章,在这里就分享给大家了.机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法,以供您在工作和学习中参考机器学习的算法很多。很多时候困惑人们都是,很多算法是一类算法,...
??????????????????????????? ?????? 安装pip install lightgbm11gitup网址:https://github.com/Microsoft/LightGBM中文教程http://lightgbm.apachecn.org/cn/latest/index.htmllightGBM简介xgboost的出现,让数据民工们告别了传统的机器学习算法们:RF、GBM、SVM、LASSO……..。现在微软推出了一个新的boosting框架,想要挑战xgboost的江湖地位。顾名思义,lightGBM包含两个关键点:light即轻量级,GBM 梯度提升机。LightGBM 是一...
支持向量机优点:泛化错误率底,计算开销不大,结果易解释。缺点:对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二分类问题。适用数据类型:数值型、标称型。1、 基于最大间隔分隔数据如果数据集是N维的,那么需要一个N-1维的对象来对数据进行分隔,该对象被称为超平面,也就是分类的决策边界。间隔:点到分隔面的距离。最优分隔超平面:找到距离分隔面最近的点,确保它们离分隔面的距离尽可能远。(原因是希望分...
第1章 机器学习概述1.1 机器学习是啥?1.2 机器学习能干啥?1.3 机器学习有啥?1.4 机器学习怎么用?第2章 机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章 算法常用指标3.1 精确率和召回率3.2 TPR、FPR & TNR3.3 综合评价指标 F-measure3.4 其他一些评估参数3.5 ROC 曲线、AUC3.5.1为什么引入 ROC 曲线?3.5.2什么是 ROC 曲线?3.5.3什么是 AUC?3.5.4 怎样计算 AUC?3.6 Spark ...
Ridge回归、LASSO回归、Elastic Net弹性网络解决过拟合问题 1.如果仅是在测试集数据集上存在该问题–>过拟合 如果模型在训练集上的效果不错,但是在测试集上的效果非常差,在这种情况下,认为模型存在过拟合。 产生的原因: a.样本少 b.模型的学习能力太强(模型比较复杂) c.做了太多的特征的增维操作 解决方案: a.增加样本的数量 b.换一个算法模型或者在训练过程中,加入正则化项系数,限制模型过拟合,正则化有两个:L1和L2 c....
??????????????? 【机器学习算法实现】系列文章将记录个人阅读机器学习论文、书籍过程中所碰到的算法,每篇文章描述一个具体的算法、算法的编程实现、算法的具体应用实例。争取每个算法都用多种语言编程实现。所有代码共享至github:https://github.com/wepe/MachineLearning-Demo 欢迎交流指正!(2)logistic回归__基于Python和Numpy函数库1、算法简介本文的重点放在算法的工程实现上,关于算法的原理不具体展开,logistic回...
之前在《机器学习---感知机(Machine Learning Perceptron)》一文中介绍了感知机算法的理论知识,现在让我们来实践一下。 有两个数据文件:data1和data2,分别用于PLA和Pocket Algorithm。可在以下地址下载: 先回顾一下感知机算法: 1,初始化w 2,找出一个分类错误点 3,修正错误,假设迭代次数为t次(t=1,2,...),那么修正公式为: 4,直至没有分类错误点,返回最终的w 接下来让我们安照算法步骤,一步一步进行。 首先...
概述: 对于X1,X2特征值作关于Y的拟合曲线 Y=参数0 + X1 * 参数1 + X2 * 参数2