交叉验证是一种用来衡量和评估机器学习模型性能的技术。在培训期间，我们创建了训练集的多个分区，并在这些分区的不同子集上进行训练/测试。

交叉验证经常用于为给定的数据集训练、测量和最终选择机器学习模型，因为它有助于评估模型的结果在实践中如何推广到独立的数据集。最重要的是，交叉验证已经被证明可以产生比其他方法更低的偏差的模型。

本教程将重点介绍交叉验证的一种变体，称为k-fold交叉验证。

在本教程中，我们将介绍以下内容:

• 概述K-Fold交叉验证
• 使用Scikit-Learn和com .ml的示例

K-fold交叉验证

交叉验证是一种重采样技术，用于评估有限数据集上的机器学习模型。

交叉验证的最常见用途是k-fold交叉验证方法。我们的训练集分为K个分区，模型在K-1分区上训练，测试误差在K分区上预测和计算。对每个唯一组重复此操作，并对测试错误进行平均。

步骤描述：

1.将训练集拆分为K（K = 10是常见选项）分区

对于每个分区：

2.设置分区是测试集

3.在其余分区上训练模型

4.测量测试集中的性能。

5.保留性能指标

6.探索不同folds的模型性能

交叉验证通常被使用，因为它易于解释，并且因为它通常导致比其他方法（例如简单的训练/测试拆分）更少偏差。使用交叉验证的最大缺点之一是增加了训练时间，因为我们基本上是训练K次而不是1次。

使用scikit-learn的交叉验证示例

Scikit-learn是一种流行的机器学习库，它还提供了许多用于数据采样，模型评估和训练的工具。我们将使用Kfold该类来生成folds。这是一个基本概述：

from sklearn.model_selection import KFold

X = [...] # My training dataset inputs/features

y = [...] # My training dataset targets

kf = KFold(n_splits=2)

kf.get_n_splits(X)

for train_index, test_index in kf.split(X):

X_train, X_test = X[train_index], X[test_index]

y_train, y_test = y[train_index], y[test_index]

model = train_model(X_train,y_train)

score = eval_model(X_test,y_test)

现在让我们使用scikit-learn和Comet.ml训练一个端到端的例子。

此示例在新闻组数据集上训练文本分类器（http://scikit-learn.org/stable/datasets/twenty_newsgroups.html）。给定一段文本（字符串），模型将其分类为以下类之一：“atheism”,”christian”,”computer graphics”, “medicine”。Python代码如下：

from __future__ import print_function

from comet_ml import Experiment

from sklearn.feature_extraction.text import CountVectorizer

from sklearn.feature_extraction.text import TfidfTransformer

from sklearn.pipeline import Pipeline

from sklearn.datasets import fetch_20newsgroups

from sklearn.linear_model import SGDClassifier

from sklearn.metrics import accuracy_score

from sklearn.model_selection import KFold

import numpy as np

def convert_to_np(dataset):

return np.asarray(dataset.data), dataset.target

experiment = Experiment(api_key="YOUR KEY HERE", project_name="cross-validation")

experiment.set_name("20 newsgroups cross validated")

# Get dataset and put into train,test lists

categories = ['alt.atheism', 'soc.religion.christian',

'comp.graphics', 'sci.med']

x_validation,y_validation =convert_to_np(fetch_20newsgroups(subset='test', categories=categories, shuffle=True, random_state=42))

x_train,y_train = convert_to_np(fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42))

kf = KFold(n_splits=10)

curr_fold = 0

acc_list = []

for train_idx, test_idx in kf.split(x_train):

text_clf = Pipeline([('vect', CountVectorizer()), # Counts occurrences of each word

('tfidf', TfidfTransformer()), # Normalize the counts based on document length

('clf', SGDClassifier(loss='hinge', penalty='l2', # Call classifier with vector

alpha=1e-3, random_state=42,

max_iter=5, tol=None)),

])

text_clf.fit(x_train[train_idx].tolist(), y_train[train_idx])

# Predict unseen test data based on fitted classifer

predicted = text_clf.predict(x_train[test_idx])

# Compute accuracy

acc = accuracy_score(y_train[test_idx].tolist(), predicted)

acc_list.append(acc)

experiment.log_metric("accuracy_fold_%s" % curr_fold, acc)

curr_fold += 1

experiment.log_metric("average accuracy", np.average(acc_list))

在每个fold上，我们向Comet.ml报告准确性，最后我们报告所有folds的平均准确度。实验结束后，我们可以访问Comet.ml并检查我们的模型(https://www.comet.ml/gidim/cross-validation/dd73c9696cbc497cb8274abcb883e03e/chart)：

图表是由Comet.ml自动生成的。最右边的条形(紫色部分)表示folds的平均精度。正如您所看到的，一些folds前置形式明显优于平均值，并显示了k-fold交叉验证的重要性。

您可能已经注意到我们没有计算测试精度。在您完成所有实验之前，不应该以任何方式使用测试集。如果我们根据测试精度改变超参数或模型类型，我们实际上是将超参数过度拟合到测试分布。