首页 / PYTHON / 交叉验证以及python代码实现
交叉验证以及python代码实现
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了交叉验证以及python代码实现,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2107字,纯文字阅读大概需要4分钟。
内容图文
![交叉验证以及python代码实现](/upload/InfoBanner/zyjiaocheng/430/856d421c6d8546d086c27957d51a6b95.jpg)
模型选择的两种方法:正则化(典型方法)、交叉验证。
这里介绍交叉验证及其python代码实现。
交叉验证
如果给定样本数据充足,进行模型选择的一种简单方法是随机地将数据集切分为3部分,分为训练集、验证集和测试集。
训练集:训练模型
验证集:模型的选择
测试集:最终对模型的评估
在学习到不同复杂度的模型中,选择对验证集有最小预测误差的模型。由于验证集有足够多的数据,用它进行模型选择也是有效的。在许多实际应用中数据不充分的情况下,可以使用交叉验证方法。
基本思路:重复地使用数据,把给定数据进行切分,分为训练集和测试集,在此基础上反复地进行训练、测试以及模型选择。
简单交叉验证:
随机将数据划分为两部分,训练集和测试集。一般 70%的数据为训练集,30%为测试集。
代码(划分训练集,测试集):
from sklearn.cross_validation import train_test_split # data (全部数据) labels(全部目标值) X_train 训练集(全部特征) Y_train 训练集的目标值 X_train, X_test, Y_train, Y_test = train_test_split(data,labels, test_size=0.25, random_state=0) #这里训练集75%:测试集25%
其中的 random_state
源码解释 : int, RandomState instance or None, optional (default=None)
int, RandomState instance or None, optional (default=None)If int, random_state is the seed used by the random number generator;
If RandomState instance, random_state is the random number generator;
If None, the random number generator is the RandomState instance used
by `np.random`.
大意就是:如果设置一个具体值的话,比如random_state=10,则每次划分后的数据都一样,运行多次也一样。如果设为None, 即random_state=None,则每次划分后的数据都不同,每一次运行划分的数据都不同。
代码(划分训练集,验证集,测试集):
from sklearn import cross_validation train_and_valid, test = cross_validation.train_test_split(data, test_size=0.3,random_state=0) # 先分为两部分:训练和验证 , 测试集 train, valid = cross_validation.train_test_split(data, test_size=0.5,random_state=0) # 再把训练和验证分为:训练集 ,验证集
相关推荐:
以上就是交叉验证以及python代码实现的详细内容,更多请关注Gxl网其它相关文章!
内容总结
以上是互联网集市为您收集整理的交叉验证以及python代码实现全部内容,希望文章能够帮你解决交叉验证以及python代码实现所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。