欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 新车 > 第四章-决策树

第四章-决策树

2024/10/23 21:24:50 来源:https://blog.csdn.net/qq_27047075/article/details/139468421  浏览:    关键词:第四章-决策树

 代码如下:

import numpy as np
import pandas as pd
data=pd.read_excel("西瓜数据集.xlsx")
D=data
A=D.columns[1:-1]#列标签作为属性集,除去编号,和好瓜(它们不是特征)
class TreeNode:def __init__(self):self.mark=None#如果mark=-1 则该节点是叶子节点,否则是分支决策节点self.decision=None#如果是叶子节点,则是类别(好瓜:是or否),如果是分支决策节点,则是划分的属性self.chids={}#用字典存储分支的孩子{属性值:分支节点}
def Max_class(D):#取D数据集中类别的最多的那个类max_class=D["好瓜"].iloc[0]max_value=0for i in set(D["好瓜"]):#{否,是}count=np.sum(D["好瓜"]==i)#统计类别个数if max_value<count:max_value=countmax_class=ireturn max_class#返回最多的那个类名称def Ent(D):#数据集的熵,当前样本的纯度ent_d=0for i in set(D["好瓜"]):#{是,否}class_num=np.sum(D["好瓜"]==i)#统计某类样本的个数pk=class_num/D.shape[0]#计算该类在数据集中的占比ent_d+=pk*np.log2(pk)#计算某类的熵,并累加return -1*ent_d#返回最终的数据集熵值def Gain(D,a):dv_ent_sum=0for v in set(D[a]):site=np.where(D[a]==v)#得到符合条件样本的下标Dv=D.iloc[site]#通过iloc函数取出对应下标的样本,组成子集DvDv_div_D=Dv.shape[0]/D.shape[0]#计算|Dv|/|D|的值ent_dv=Ent(Dv)#得到某个属性取值Dv子集的信息熵dv_ent_sum+=Dv_div_D*ent_dv#得到a属性总的信息熵return Ent(D)-dv_ent_sumdef AttChoice(D,A):#获得信息增益最大的那个属性max_gain_a=A[0]#假定好的是第0个属性max_gain=0#假定信息增益取值为0for a in A:#循环找到最大信息增益的属性print(a,"的信息增益为:",Gain(D,a))if max_gain<Gain(D,a):max_gain=Gain(D,a)max_gain_a=aprint("当前选择的最优属性决策是:",max_gain_a)return max_gain_a#返回信息增益最大的属性def TreeGenerate(D, A, node):if len(set(D['好瓜'])) == 1:  # 如果类别集合长度==1则说明只有一类print(D)print("样本集合已经非常纯了,全是同类样本!选择最多那个类即可!")node.mark = -1  # 标记为-1 ,是叶子节点node.decision = Max_class(D)  # 把数据集中最多的那个类作为分类结果if node.decision == "是":print("是【好瓜】")else:print("是【坏瓜】")print("==========返回了===========")returnif len(A) == 0 or np.sum(D[A].values[:] == D[A].values[0]) == D[A].shape[0] * D[A].shape[1]:print("没有可以选择的属性来作为决策,需要立即得到分类结果,或者样本的属性取值都一样,无需分类,选择最多的那个类即可!")node.mark = -1  # 标记为-1 ,是叶子节点node.decision = Max_class(D)  # 把数据集中最多的那个类作为分类结果if node.decision == "是":print("是【好瓜】")else:print("是【坏瓜】")print("==========返回了===========")returngood_a = AttChoice(D, A)  # 从A中选择最优划分属性good_afor a_v in set(D[good_a]):print("当前选择的分支属性是:", a_v)node_c = TreeNode()  # 生成分支节点node.chids[a_v] = node_c  # 链接分支Dv = D.iloc[np.where(D[good_a] == a_v)]  # 得到属性good_a 取值为a_v的样本集if Dv.shape[0] == 0:  # 判断Dv是否为空print("当前分支的样本数是0,无法分类,直接选择样本集最多的类作为分类结果。")node_c.mark = -1  # 标记为叶子节点node_c.decision = Max_class(D)print("==========返回了===========")returnelse:node.mark = 1  # 不是分类节点(叶子节点),赋值为非-1的值即可node.decision = good_a  # node节点为分支决策节点,节点的值为最优划分属性即可TreeGenerate(Dv, np.delete(A, np.where(A == good_a)), node_c)  # 递归,下一层,同样是决策树,只是数据集更小,属性越少node = TreeNode()
Root = node
TreeGenerate(D,A,node)
print("測試一下")
for i in range(0,data.shape[0]-1):test_sample=D.iloc[i]print("=============START==================")print("类别应该是:",test_sample["好瓜"])root=Rootwhile(root.mark!=-1):#如果不是叶子节点(需要我们对属性进行决策)a_v=test_sample[root.decision]#利用决策树的decision来获取要决策的属性root=root.chids[a_v]#mark==-1的时候结束,说明可以输出最终的分类了print("分类结果:",root.decision)print("==============END===================")

数据集数据如下:

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com