Kaggle入门Titanic——模型建立
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Kaggle入门Titanic——模型建立，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6902字，纯文字阅读大概需要10分钟。
内容图文
0，介绍
通过前面的特征分析，我们已经得到的想要的训练集和测试集，这样我们就可以利用这些训练集训练模型，并通过模型对测试集进行预测。我们得到的训练集和测试集结构如下所示。
print(train.head(5))
print(test.head(5))
Survived Pclass Sex Age Fare Embarked FamilySize IsAlone Title
0 0 3 1 1 0 0 2 0 1
1 1 1 0 2 3 1 2 0 3
2 1 3 0 1 1 0 1 1 2
3 1 1 0 2 3 0 2 0 3
4 0 3 1 2 1 0 1 1 1
Pclass Sex Age Fare Embarked FamilySize IsAlone Title
0 3 1 2 0 2 1 1 1
1 3 0 2 0 0 2 0 3
2 2 1 3 1 2 1 1 1
3 3 1 1 1 0 1 1 1
4 3 0 1 1 0 3 0 3
1，几种基本模型
这里用的是sklearn库和xgboost，结果如下所示，需要注意的是为了防止过拟合，在这里我们对训练集进行划分，每次选择训练集的90%对模型进行训练，然后对测试集进行预测，计算预测的准确率，如此重复十次，将得到的结果进行平均作为我们最后得到的准确率。
mport matplotlib.pyplot as plt
import
xgboost as xgb
from sklearn.model_selection import StratifiedShuffleSplit
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier, GradientBoostingClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis, QuadraticDiscriminantAnalysis
from sklearn.linear_model import LogisticRegression
##所有的分类器模型,采用默认参数
classifiers = [
KNeighborsClassifier(3),
DecisionTreeClassifier(),
RandomForestClassifier(),
SVC(probability=True),
AdaBoostClassifier(),
GradientBoostingClassifier(),
GaussianNB(),
LinearDiscriminantAnalysis(),
QuadraticDiscriminantAnalysis(),
LogisticRegression(),
xgb.XGBClassifier()
]
sss = StratifiedShuffleSplit(n_splits=10, test_size=0.1, random_state=0)#生成十组训练集和测试集，每组测试集为1/10
x = train[:, 1:]
y = train[:, 0]
accuracy = np.zeros(len(classifiers))#每个模型的准确率for train_index, test_index in sss.split(x, y):
x_train, x_test = x[train_index], x[test_index]
y_train, y_test = y[train_index], y[test_index]
clf_num = 0
for clf in classifiers:
clf_name = clf.__class__.__name__
clf.fit(x_train, y_train)
accuracy[clf_num] += (y_test == clf.predict(x_test)).mean()#该模型的准确率，十次平均
clf_num += 1
accuracy = accuracy / 10
plt.bar(np.arange(len(classifiers)), accuracy, width=0.5, color=‘b‘)
plt.xlabel(‘Alog‘)
plt.ylabel(‘Accuracy‘)
plt.xticks(np.arange(len(classifiers)) + 0.25,
(‘KNN‘, ‘DT‘, ‘RF‘, ‘SVC‘, ‘AdaB‘, ‘GBC‘, ‘GNB‘,
‘LDA‘, ‘QDA‘, ‘LR‘, ‘xgb‘))
结果如下所示，各种模型的准确率都在0.8左右，其中GradientBoostingClassifier，SVC和xgBoost的效果比较好。
array([ 0.79444444, 0.82666667, 0.82555556, 0.82888889, 0.82222222, 0.83444444, 0.79222222, 0.79666667, 0.81222222, 0.80777778, 0.82888889])
采用GradientBoostingClassifier模型对测试数据进行预测，并提交结果，得分为0.77033。
gbc = GradientBoostingClassifier().fit(x, y) test_predictions = gbc.predict(test) StackingSubmission = pd.DataFrame({ ‘PassengerId‘: PassengerId, ‘Survived‘: test_predictions.astype(int) }) StackingSubmission.to_csv("gbc.csv", index=False)
2，模型融合
除了基本的模型以外，如果我们对基本模型的基础上对几个模型进行融合能够得到更佳的效果。
（1）我们通过几个基本模型得到了结果之后，可以对这几个模型进行简单的加权投票来得到最终的结果，我们这里采用的是最简单的平均加权。
（2）我们可以在基本模型之上采用第二层模型来进行非线性拟合得到最终结果，我们这里采用xgboos作为第二层模型来进行模型融合。
（3）我们可以对训练集进行处理，每次采用训练集不同部分对同个模型进行训练，也可以得到不同的模型，最后再进行加权投票。前面一步的时候也用到了这个方法。
平均加权。将上述训练得到的模型对测试集进行测试，得到对应结果，可以得到这些模型之间的相关系数图，如图所示。对于模型融合而言，一般要选择相关性小的模型进行融合，这样可以提高模型多样化，使总的模型可以学到更多的信息，提高模型的准确率。
import
matplotlib.pylab as pyl
sss = StratifiedShuffleSplit(n_splits=10, test_size=0.1, random_state=0)#生成十组训练集和测试集，每组测试集为1/10
x = train[:, 1:]
y = train[:, 0]
x1_test = np.zeros((test.shape[0], len(classifiers)))#存储第一层测试集的输出结果
accuracy = np.zeros(len(classifiers))#每个模型的准确率for train_index, test_index in sss.split(x, y):
x_train, x_test = x[train_index], x[test_index]
y_train, y_test = y[train_index], y[test_index]
clf_num = 0
for clf in classifiers:
clf_name = clf.__class__.__name__
clf.fit(x_train, y_train)
x1_test[:, clf_num] += clf.predict(test)#直接对测试集进行预测，总共有十次，进行平均
accuracy[clf_num] += (y_test == clf.predict(x_test)).mean()#该模型的准确率，十次平均
clf_num += 1
x1_test = x1_test / 10
accuracy = accuracy / 10
plt.bar(np.arange(len(classifiers)), accuracy, width=0.5, color=‘b‘)
plt.xlabel(‘Alog‘)
plt.ylabel(‘Accuracy‘)
plt.xticks(np.arange(len(classifiers)) + 0.25,
[‘KNN‘, ‘DT‘, ‘RF‘, ‘SVC‘, ‘AdaB‘, ‘GBC‘, ‘GNB‘,
‘LDA‘, ‘QDA‘, ‘LR‘, ‘xgb‘])
pyl.pcolor(np.corrcoef(x1_test.T), cmap = ‘Blues‘)
pyl.colorbar()
pyl.xticks(np.arange(0.5, 11.5),
[‘KNN‘, ‘DT‘, ‘RF‘, ‘SVC‘, ‘AdaB‘, ‘GBC‘, ‘GNB‘,‘LDA‘, ‘QDA‘, ‘LR‘, ‘xgb‘])
pyl.yticks(np.arange(0.5, 11.5),
[‘KNN‘, ‘DT‘, ‘RF‘, ‘SVC‘, ‘AdaB‘, ‘GBC‘, ‘GNB‘,‘LDA‘, ‘QDA‘, ‘LR‘, ‘xgb‘])
pyl.show()
根据上面的相关系数图，我们选择了KNN，DT，RF，LR和GBC这五个模型得到的结果进行平均投票，得到的分数为0.78947。
index = [0, 1, 2, 5, 9] linear_prediction = x1_test[:, index].mean(axis=1) linear_prediction[linear_prediction >= 0.5] = 1 linear_prediction[linear_prediction < 0.5] = 0 StackingSubmission = pd.DataFrame({ ‘PassengerId‘: PassengerId, ‘Survived‘: linear_prediction.astype(int) }) StackingSubmission.to_csv("linear_prediction.csv", index=False)
非线性融合。在第二层模型中应用xgboost对第一层模型输出的结果进行拟合，提交结果得到的分数是0.76555。在第一层的时候，为了使第一层的输出能够作为第二层的训练集，需要对训练集进行分块，大小为0.1，然后用训练集的0.9对模型进行训练，得到的模型对训练集剩下的0.1进行预测，这样就能将第一层的输出用于第二层的训练集。但是结果并不是很理想，原因可能是第二层输入特征太少，用模型进行拟合效果不佳。
import
xgboost as xgb
from sklearn.model_selection import StratifiedShuffleSplit
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier,GradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
##所有的分类器模型,采用默认参数
classifiers = [
KNeighborsClassifier(3),
DecisionTreeClassifier(),
RandomForestClassifier(),
GradientBoostingClassifier(),
LogisticRegression()
]
sss = StratifiedShuffleSplit(n_splits=10, test_size=0.1, random_state=0)#生成十组训练集和测试集，每组测试集为1/10
x = train[:, 1:]#原始数据，在下面会进行划分，方便线下求准确率，并且是重复十次防止过拟合
y = train[:, 0]
x1_train = np.zeros((x.shape[0], len(classifiers)))#存储第一层训练集的输出结果
x1_test = np.zeros((test.shape[0], len(classifiers)))#存储第一层测试集的输出结果
accuracy = np.zeros(len(classifiers))#每个模型的准确率
#在这里进行模型融合的时候，采用的是在训练集中每次选取一定数目的训练集进行训练，然后对其余的训练集和测试
#集进行预测，输出作为第二层的输入，这样就可以再次进行训练for train_index, test_index in sss.split(x, y):
x_train, x_test = x[train_index], x[test_index]
y_train, y_test = y[train_index], y[test_index]
clf_num = 0
for clf in classifiers:
clf_name = clf.__class__.__name__
clf.fit(x_train, y_train)
x1_train[test_index, clf_num] = clf.predict(x_test)#下层模型的训练集输入是上层模型对于对应测试集的预测输出
x1_test[:, clf_num] += clf.predict(test)#直接对测试集进行预测，总共有十次，进行平均
accuracy[clf_num] += (y_test == x1_train[test_index, clf_num]).mean()#该模型的准确率，十次平均
clf_num += 1
x2_train, x2_test, y2_train, y2_test = train_test_split(x1_train, y, test_size=0.1, random_state=0)
gbm = xgb.XGBClassifier().fit(x2_train, y2_train)
predictions = gbm.predict(x2_test)
print((y2_test == predictions).mean())
test_predictions = gbm.predict(x1_test)
StackingSubmission = pd.DataFrame({ ‘PassengerId‘: PassengerId,
‘Survived‘: test_predictions.astype(int) })
StackingSubmission.to_csv("xgboost_Stacking.csv", index=False)
3，总结
上面只是初步的理解，后续还需要对特征，模型参数，模型融合等方式进行进一步的研究提高得分。
原文：http://www.cnblogs.com/linhao-0204/p/6532882.html
内容总结
以上是互联网集市为您收集整理的Kaggle入门Titanic——模型建立全部内容，希望文章能够帮你解决Kaggle入门Titanic——模型建立所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。