《机器学习实战》7.6 示例：在一个难数据集上应用AdaBoost

本节我们将在第4章给出的马疝病数据集上应用AdaBoost分类器。在第4章，我们曾经利用Logistic回归来预测患有疝病的马是否能够存活。而在本节，我们则想要知道如果利用多个单层决策树和AdaBoost能不能预测得更准。

示例：在一个难数据集上的AdaBoost应用

1. 收集数据：提供的文本文件。
2. 准备数据：确保类别标签是+1和-1而非1和0。
3. 分析数据：手工检查数据。
4. 训练算法：在数据上，利用adaBoostTrainDS函数训练出一系列的分类器。
5. 测试算法：我们拥有两个数据集。在不采用随机抽样的方法下，我们就会对AdaBoost和Logistic回归的结果进行完全对等的比较。
6. 使用算法：观察该例子上的错误率。不过，也可以构建一个Web网站，让驯马师输入马的症状然后预测马是否会死去。

在使用上述程序清单中的代码之前，必须要有向文件中加载数据的方法。一个常见的loadDataset的程序如下所示。

程序清单7-4　自适应数据加载函数

def loadDataSet(fileName):    numFeat = len(open(fileName).readline.split(/'t/'))    dataMat = ; labelMat =     fr = open(fileName)    for line in fr.readlines:        lineArr =        curLine = line.strip.split(/'t/')        for i in range(numFeat-1):            lineArr.append(float(curLine[i]))        dataMat.append(lineArr)        labelMat.append(float(curLine[-1]))    return dataMat,labelMat    

之前，读者可能多次见过了上述程序清单中的loadDataSet函数。在这里，并不必指定每个文件中的特征数目，所以这里的函数与前面的稍有不同。该函数能够自动检测出特征的数目。同时，该函数也假定最后一个特征是类别标签。

将上述代码添加到adaboost.py文件中并且将其保存之后，就可以输入如下命令来使用上述函数：

>>> datArr,labelArr = adaboost.loadDataSet(/'horseColicTraining2.txt/')>>> classifierArray = adaboost.adaBoostTrainDS(datArr,labelArr,10)total error: 0.284280936455total error: 0.284280936455                    .                    .total error: 0.230769230769>>> testArr,testLabelArr = adaboost.loadDataSet(/'horseColicTest2.txt/')>>> prediction10 = adaboost.adaClassify(testArr,classifierArray)To get the number of misclassified examples type in:  >>> errArr=mat(ones((67,1)))>>> errArr[prediction10!=mat(testLabelArr).T].sum16.0  

要得到错误率，只需将上述错分样例的个数除以67即可。

将弱分类器的数目设定为1到10 000之间的几个不同数字，并运行上述过程。这时，得到的结果就会如表7-1所示。在该数据集上得到的错误率相当低。如果没忘的话，在第5章中，我们在同一数据集上采用Logistic回归得到的平均错误率为0.35。而采用AdaBoost，得到的错误率就永远不会那么高了。从表中可以看出，我们仅仅使用50个弱分类器，就达到了较高的性能。

表7-1　不同弱分类器数目情况下的AdaBoost测试和分类错误率。该数据集是个难数据集。通常情况下，AdaBoost会达到一个稳定的测试错误率，而并不会随分类器数目的增多而提高

观察表7-1中的测试错误率一栏，就会发现测试错误率在达到了一个最小值之后又开始上升了。这类现象称之为过拟合（overfitting，也称过学习）。有文献声称，对于表现好的数据集，AdaBoost的测试错误率就会达到一个稳定值，并不会随着分类器的增多而上升。或许在本例子中的数据集也称不上“表现好”。该数据集一开始有30%的缺失值，对于Logistic回归而言，这些缺失值的假设就是有效的，而对于决策树却可能并不合适。如果回到数据集，将所有的0值替换成其他值，或者给定类别的平均值，那么能否得到更好的性能？

很多人都认为，AdaBoost和SVM是监督机器学习中最强大的两种方法。实际上，这两者之间拥有不少相似之处。我们可以把弱分类器想象成SVM中的一个核函数，也可以按照最大化某个最小间隔的方式重写AdaBoost算法。而它们的不同就在于其所定义的间隔计算方式有所不同，因此导致的结果也不同。特别是在高维空间下，这两者之间的差异就会更加明显。

在下一节中，我们不再讨论AdaBoost，而是转而关注所有分类器中的一个普遍问题。