一种基于参数重要性克服灾难性遗忘的方法

摘要

本发明公开了一种基于参数重要性克服灾难性遗忘的方法，首先训练完第一个任务后，使用第一个任务的测试数据对模型的性能进行测试，然后使用第一个任务的训练数据，利用本发明提出的计算参数重要性的方法计算网络模型中每个参数对于该任务的重要性；然后将本发明提出的方法作为一个正则项添加到模型中的损失函数，训练完成后分别使用当前任务及之前所有任务的测试数据对该模型的性能进行测试；之后再使用新任务的训练数据按照本发明提出的方法计算参数重要性，并与之前计算的参数重要性矩阵进行累加；最后每当进来一个新任务对其进行训练时，重复以上步骤即可。实验证明，本发明提出的方法能够有效减轻深度学习模型中灾难性遗忘的问题。