决策树算法-Python实现

dushine00 2020-06-09

决策树比较常用的算法模型,可以做分类也可以回归

  • 决策树算法重点
  • 对特征的选择,可以使用熵,也可以使用基尼系数,通过信息增益或者信息增益率选择最好的特征
  • 决策树的剪枝,有两种策略,一种是预剪枝,一种是后剪枝,预剪枝可以通过限制树的高度,叶子节点个数,信息增益等进行,使得树边建立边剪枝,后剪枝通过增加损失项,使得树建立后,然后对不符合的叶子节点进行合并。达到减小树的要求,避免过拟合

集成算法

  • Bagging 主要通过并行建立多个决策模型,然后通过投票或者平均输出最后的值
  • Boosting 主要是通过串行的思想,通过弱分类器开始加强,然后通过加权来进行训练,比如先训练一棵树,然后在增加一棵树,达到提高模型的效果
  • Stacking 聚合多个分类或者 回归模型来提高模型的效果、
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.datasets import fetch_california_housing

housing = fetch_california_housing()
# print(housing.DESCR)

print(housing.data.shape)
print(housing.data[0])

from sklearn import tree
dtr = tree.DecisionTreeRegressor(max_depth=2)
dtr.fit(housing.data[:, [6, 7]], housing.target)

# 树模型参数
# 1.criterion gini or entroy
# 2.splitter best or random 前者是在所有特征最终找到最好的切分点,后者实在部分特征中
# 3.max_features  None, log2, sqrt, N特征小于50一般使用所有的
# 4.mini_depth 数据少或者特征少的情况下,可以不管这个值,如果模型数据样本量多或者特征多的情况下,可以尝试限制
# 5.mini_samples_split 如果节点数量少,不用管,如果样本数非常大,则推荐增加这个值
# 6.mini_samples_leaf 限制了叶子节点的样本权重和最小值,如果小于这个值,样本量不大,不需要管这个值,大些如果10w,可以设置5

from sklearn.model_selection import train_test_split
data_train, data_test, target_train, target_test = train_test_split(housing.data, housing.target, test_size=0.1, random_state=42)
# dtr = tree.DecisionTreeRegressor(random_state= 42)
# dtr.fit(data_train, target_train)
#
# print(dtr.score(data_test, target_test))
#
#
from sklearn.ensemble import RandomForestRegressor
#
# rfr = RandomForestRegressor(random_state=42)
# rfr.fit(data_train, target_train)
# print(rfr.score(data_test, target_test))

from sklearn.model_selection import GridSearchCV
tree_param_grid = {‘min_samples_split‘:list((3, 6, 9)), ‘n_estimators‘:list((10, 50, 100))}
grid = GridSearchCV(RandomForestRegressor(), param_grid=tree_param_grid, cv=5)
grid.fit(data_train, target_train)
print(grid.error_score, grid.best_params_, grid.best_score_)

相关推荐