一种基于序列变换的循环神经网络可解释性方法、系统

摘要

本发明实施例提供一种基于序列变换的循环神经网络可解释性方法、系统，包括：获取用户选择的待解释模型和预期输入至待解释模型的原输入、各组件的序列；计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；计算各个组件对应的组件中心重要性；从组件中心重要性数据库中获取与各组件的序列相似的数据；获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，确定原输入中最关键的输入序列；确定待解释模型对于所计算的原输入的结果的解释。本发明可以探索多个输入序列对循环神经网络计算过程的影响，并将模型的计算过程和其训练过程联系起来，获知训练集对计算产生影响的部分。