澳门mg电子网投

您现在的位置: 精品资料网 >> 企业管理 >> 决策管理 >> 资料信息

决策树统计学习方法概述(PPT 66页)

所属分类:
决策管理
文件大小:
2802 KB
下载地址:
相关资料:
决策树,统计学,学习方法,方法概述
决策树统计学习方法概述(PPT 66页)内容简介
1.1决策树模型与学习
1.2特征选择
1.3决策树的生成
1.4决策树的剪枝
1.5CART算法
1.1.1决策树模型
1.1.2决策树与if-then规则
1.1.3决策树与条件概率分布
1.1.4决策树学习
决策树
决策树学习算法的特点
决策树学习的主要算法
例1.找对象
1.2特征选择1.2.1特征选择问题
1.2.2信息增益
熵-就分类而言,所有成员都属于一类,熵为零;
不同类别数目相等,则熵等于1,类别数目不等,则熵介于0,1之间。
条件熵
信息增益
信息增益的具体公式
信息增益算法
例1.3对表1.1所给的训练数据集D,根据信息增益准则选择最优特征。
1.2.3信息增益比
1.3决策树的生成1.3.1ID3算法
例1.4对表1.1的训练数据集,利用ID3算法建立决策树
这里生成的决策树只用到两个特征(两个内节点),
ID3算法容易存在过拟合问题。
补充:如何解决决策树的过拟合问题
补充:如何解决决策树的过拟合问题——概念
二.产生过度拟合数据问题的原因有哪些?
三.如何解决过度拟合数据问题?
1.3.2C4.5的生成算法
算法1.4树的剪枝算法
关于剪枝的补充——先剪枝
补充:关于剪枝——先剪枝
关于剪枝的补充——后剪枝
补充:关于剪枝的准则
REP——错误率降低剪枝
PEP——悲观错误剪枝
PEP——小例题
例子
CCP续
1.5CART(分类与回归树)算法
1.5.1CART生成
GINI指数
1.5.2CART剪枝
实验结果
解决决策树过拟合的另一种方法——随机森林
回归问题
投票机制
贝叶斯投票机制
投票机制举例
一种可能的方案
..............................

上一篇:决策的实施与调整培训课件(PPT 48页)

下一篇:尚无数据