SIGAI机器学习第十九集 随机森林

讲授集成学习的概念，Bootstrap抽样，Bagging算法，随机森林的原理，训练算法，包外误差，计算变量的重要性，实际应用

大纲：

集成学习简介

Boostrap抽样

Bagging算法

随机森林的基本原理

训练算法

包外误差

计算变量的重要性

实验环节

实际应用

随机森林是一种集成学习的算法，构建在bootstrap采样基础之上的，bagging算法基于boostrap采样，与之对应的是boosting算法。随机森林是多颗决策树的集成，由于采用了bootstrip采样，在训练时有一部分样本是没有被选中的，这些样本称为包外样本，训练完一个决策树之后可以测试这个样本集的误差，称为包外误差。

集成学习简介：

集成学习（ensemble learning）是机器学习中的一种哲学思想，它通过多个模型的组合形成一个精度更高的模型，参与组合的模型称为弱学习器（weaker learner），组合之后的模型称为强学习器。

在预测时使用这些弱学习器模型联合进行预测。

训练时需要用训练样本依次训练出这些弱学习器，如将训练集D分为D1、D2、...，分别用于训练弱学习器1、弱学习器2、...。

基于Bagging