logo好方法网

一种用于理解深度学习模型决策机制的决策树生成方法


技术摘要:
一种用于理解深度学习模型决策机制的决策树生成方法,它属于深度学习模型的决策机制理解技术领域。本发明解决了在现有基于决策树的深度学习模型决策机制理解方法中需要对深度学习模型进行特殊处理,产生的理解效果有限,且现有方法复杂,对模型决策机制的理解造成影响  全部
背景技术:
深度学习模型的全局可解释性是从整体上理解模型隐含的复杂逻辑和运行机制。 对于模型如何决策,从训练数据集中学到了什么等缺乏认识。通过从已经训练好的深度模 型中提取解释规则的方式,来提供对复杂的深度学习模型整体上的决策逻辑的理解。 使用传统的机器学习模型解释卷积网络模型。Hinton等人提出使用知识蒸馏的方 式,通过训练相对较为简单的网络模型来模拟复杂的深度学习网络模型的预测概率来提取 复杂网络的知识规则。为了更好的提高深度模型的可解释性,Frosst等人在Hinton的基础 上,提出通过利用决策树的方法来模拟复杂的深度神经网络模型的决策。Zhang等人从另外 角度出发,提出了使用决策树来定量的解释网络模型的预测逻辑。该方法是在深度学习模 型中将深层的卷积层中学习到的数据信息的显示表示,同时挖掘隐含层中潜在决策模式。 将决策树由粗到细的方式对这些决策模式进行重组,从而定量地解释深度模型的预测逻 辑。但该方法对于深层卷积层中的知识提取比较复杂,从卷积层提取的语义信息比较困难, 且得到的语义信息并不能完全代表该卷积核的语义信息,而往往深层的卷积层包含了复杂 多样的语义信息,容易忽略其他较为重要的信息。对理解模型并不是较为有效准确的。 以上的方法虽然都是在决策树的方式进行模型的理解研究,将得到的决策树作为 一颗解释树来理解原始模型。但是对于深度模型都进行了一定的特殊处理,产生的效果往 往也是有所改变的,对模型决策机制的理解效果有限,而且方法比较复杂,对模型的理解造 成一定影响。
技术实现要素:
本发明的目的是为解决在现有基于决策树的深度学习模型决策机制理解方法中 需要对深度学习模型进行特殊处理,产生的理解效果有限,且现有方法复杂,对模型决策机 制的理解造成影响的问题,而提出了一种用于理解深度学习模型决策机制的决策树生成方 法。 本发明为解决上述技术问题采取的技术方案是:一种用于理解深度学习模型决策 机制的决策树生成方法,该方法包括以下步骤: 步骤一、将一组样本数据集随机分成数据集M0和数据集M1两部分; 步骤二、将数据集M0中包含的样本数据输入训练好的深度学习模型中,生成贡献 分布矩阵; 步骤三、将贡献分布矩阵作为输入,利用平均贡献值差异作为划分标准,递归地分 区生成深度学习模型的初始决策树; 步骤四、对初始决策树进行剪枝,获得剪枝后的决策树,再利用数据集M1对剪枝后 4 CN 111553389 A 说 明 书 2/10 页 的决策树进行验证,得到最优决策树。 本发明的有益效果是:本发明提出了一种用于理解深度学习模型决策机制的决策 树生成方法,本发明中解释深度学习模型的方法是利用训练好的深度学习模型,通过使用 局部解释的方法来得到输入变量的贡献值,从而最终构建出贡献分布矩阵。将贡献分布矩 阵作为输入,利用平均贡献值差异作为划分标准,递归地分区生成模型的决策树,再对生成 的决策树进行剪枝、验证最终得到最优解释树。 本发明基于贡献值的解释树方法来理解模型,不需要对原始模型做任何的修改, 即不需要对模型进行特殊处理,就可以对模型的决策机制产生很好的理解效果。而且本发 明方法操作简单,从而更好地从整体上解释深度学习模型。将局部解释从全局的角度出发 产生更加统一有效的理解方法。 附图说明 图1是本发明方法的流程图; 图2是构建的初始树T0的示意图; 图中,Split:v1代表以变量v1为结点; 图3是sgn函数图像。
分享到:
收藏