一种模拟生物学习的忆阻层级记忆神经网络电路

摘要

本发明提供了一种模拟生物学习的忆阻层级记忆神经网络电路，包括：交叉阵列模块、激活函数模块、输出模块和反馈信号模块；交叉阵列模块产生的信号，经由激活函数模块激活后，再经输出模块放大，得到输出信号；激活函数模块的激活信号另一方面反馈至反馈信号模块，形成闭环；其中交叉阵列模块由n组突触模块交叉排列形成；n为预设值；突触模块包括：输入神经元、模式调整单元、记忆选择单元和输出神经元。本发明的有益效果是：可以很好实现并行计算和多值调整；使用忆阻模块实现了突触间多记忆调节，实现了灵活性和复用性。通过交叉阵列完成深度学习的卷积运算，这为深度学习算法硬件实现提供了新的可能。

说明书

技术领域

本发明涉及神经网络电路领域，尤其涉及一种模拟生物学习的忆阻层级记忆神经网络电路。

背景技术

目前关于联想记忆的电路最早由来源于Hopfield网络，而Hopfield网络中又分为离散Hopfield网络和连续Hopfield网络，离散Hopfield网络早期应用于自联想记忆，这里重点叙述离散型。

离散型Hopfield网络任意其他神经元的输出X

离散型Hopfield神经网络中的每个神经元都有相同的功能，每个神经元的输出称之为状态，用X

x

式中，f在神经网络一般称之为激活函数，即阈值函数，通常为符号函数：

一般对于离散型Hopfield神经网络，其权值矩阵是成矩阵，所以一般有W

上述离散型Hopfield神经网络中突触使用的是电阻，由于中间突触部分使用的是电阻，一旦电阻的阻值固定，其功能相对固定，缺乏灵活性和通用性。而且只针对了离散Hopfield激活下的状态研究，而缺乏对其未激活状态下发生的动作。

发明内容

为了解决现有神经网络电路缺乏灵活性、通用性，且无法获取长时记忆的问题，本发明提供了一种模拟生物学习的忆阻层级记忆神经网络电路，具体包括：

交叉阵列模块、激活函数模块、输出模块和反馈信号模块；

交叉阵列模块产生的信号，经由激活函数模块激活后，再经输出模块放大，得到输出信号；

激活函数模块的激活信号另一方面反馈至反馈信号模块，形成闭环；

其中交叉阵列模块由n组突触模块交叉排列形成；n为预设值；

突触模块包括：输入神经元、模式调整单元、记忆选择单元和输出神经元。

进一步地，所述反馈信号模块包括：运算放大器Uf1-Uf2、电容Cf、MOS管Tf、忆阻器Mf、电阻Rf；

其中忆阻器Mf的一端与交叉阵列模块电性连接，另一端与运算放大器Uf1的同相输入端连接；运算放大器Uf1的反相输入端与电阻Rf的一端电性连接；电阻Rf的另一端接地；

运算放大器Uf2的同相输入端与电容Cf的一端、MOS管Tf的漏极电性连接；运算放大器Uf2的反相输入端接地；

MOS管Tf的源极接地；MOS管Tf的栅极一方面与运算放大器Uf1的输出端连接，另一方面通过一个电阻与运算放大器Uf1的反向输入端连接；

运算放大器Uf2的输出端通过忆阻器1-忆阻器n与交叉阵列模块电性连接。

进一步地，所述激活函数模块与交叉阵列模块的n组突触模块相对应，也包括n组，且每组排列连接结构相同；其中第i组激活函数模块包括：运算放大器Ui、电容Ci和电阻Ri；运算放大器Ui的同相输入端与交叉阵列模块电性连接；运算放大器Ui的反相输入端接地；运算放大器Ui的正电源端与电阻Ri的一端、电容Ci的一端电性连接；电阻Ri的另一端、电容Ci的另一端接地；运算放大器Ui的负电源端接地；运算放大器Ui的输出端通过一个绝对值校正ABS模块与输出模块电性连接。

进一步地，电阻R10-R11、运算放大器OP3-OP4、单刀双掷开关S3-S4、忆阻器M7；其中开关S3的输入端通过忆阻器与激活函数模块电性连接；开关S3的输出端，其中一端连接至单刀双掷开关S4的一个输出端，另一端连接至运算放大器OP3的反相输入端、电阻R10的一端；电阻R10的另一端与运算放大器OP3的输出端、忆阻器M7的一端电性连接；忆阻器M7的另一端与电阻R11的一端、运算放大器OP4的同相输入端电性连接；运算放大器OP4的输出端与单刀双掷开关S4的输入端电性连接；单刀双掷开关S4的另一个输出端作为输出模块的输出端。

进一步地，所述输入神经元包括两个类型，分别为外界信号输入神经元Vfeel和神经系统信号输入神经元Vneural；每个类型输入神经元的结构、连接组成相同，其中外界信号输入神经元Vfeel的结构由MOS管Q1-Q7组成；MOS管Q1的漏极作为输入端；MOS管Q1的栅极与MOS管Q3漏极、MOS管Q3的栅极电性连接，并作为外界信号输入神经元Vfeel输出端与模式调整单元电性连接；MOS管Q1的源极与一个电容的一端、MOS管Q2的源极电性连接；MOS管Q2的漏极与MOS管Q3的源极电性连接；MOS管Q2的栅极与MOS管Q2的源极、另一个电容的一端、MOS管Q4的栅极、MOS管Q6的栅极电性连接；另一个电容的另一端作为外界信号输入神经元Vfeel的输出端；MOS管Q4的漏极接地；MOS管Q4的源极与MOS管Q6的漏极电性连接；MOS管Q6的源极接地；MOS管Q5的栅极与MOS管Q7的栅极电性连接；MOS管Q5的漏极接地；MOS管Q5的源极作为外界信号输入神经元Vfeel的输出端，且与MOS管Q7的漏极电性连接；MOS管Q7的源极接地。

进一步地，所述模式调整单元包括：与非门U1、同或门U2、或门U3、非门U4、或门U5、与非门U6、非门U7、与门U8、MOS管T1-T5、运算放大器A8、忆阻器和电容；

与非门U1、同或门U2、或门U3的两个输入端均分别为外界信号输入神经元Vfeel的输出端和神经系统信号输入神经元Vneural输出端；

与非门U1的输出端与非门U4的输入端、或门U5的一个输入端、MOS管T1的栅极电性连接；

同或门U2的输出端与或门U5的另一个输入端、MOS管T2的栅极、与非门U6的一个输入端电性连接；

或门U3的输出端与与非门U6的另一个输入端、非门U7的输入端电性连接；

非门U4的输出端与MOS管T4的栅极电性连接；

或门U5的输出端与与门U8的一个输入端电性连接；

与非门U6的输出端与MOS管T3的栅极电性连接；

非门U7的输出端与与门U8的另一个输入端电性连接；

与门U8的输出端通过第一阈值开关与电压信号Vn电性连接；

MOS管T1的源极通过第一比较器与比较信号Vreaction连接；MOS管T2的源极通过第二比较器与比较信号Vforget连接；第一比较器的输出端与第二比较器的输出端电性连接，并连接至运算放大器A8的输出端；

MOS管T1的漏极与MOS管T3的漏极、忆阻器M1的一端电性连接；忆阻器M1的另一端与MOS管T4的漏极电性连接、MOS管T2的漏极、阈值开关电性连接；MOS管T4的源极与记忆选择单元电性连接；

运算放大器A8的同相输入端与电容C5的一端、MOS管T5的漏极电性连接；MOS管T5的栅极通过电阻R8与记忆选择单元电性连接。

进一步地，所述记忆选择单元包括：运算放大器A1-A7、电阻R1-R7忆阻器M2-M3；运算放大器A1的反相输入端与MOS管T4的源极电性连接；运算放大器A1的输出端与电阻R1的一端、电阻R2的一端电性连接；电阻R1的另一端与运算放大器A1的反相输入端连接；电阻R2的另一端与运算放大器A2的反相输入端、电阻R3的一端电性连接；运算放大器A2的输出端与运算放大器A3的同相输入端、电阻R3的另一端电性连接；运算放大器A3的输出端，一路作为记忆选择单元的一个输出端V1、另一路与忆阻器M2的一端电性连接；忆阻器M2的另一端与运算放大器A4的反相输入端、电阻R4的一端电性连接；电阻R4的另一端与运算放大器A4的输出端、电阻R5的一端电性连接；电阻R5的另一端与运算放大器A5的反相输入端、电阻R6的一端电性连接；电阻R6的另一端与运算放大器A5的输出端、运算放大器A6的同相输入端电性连接；运算放大器A6的输出端通过第二阈值开关与外界信号输入神经元Vfeel的输出端电性连接；

记忆选择单元的另一个输出端V2与忆阻器M3的一端电性连接；忆阻器M3的另一端与运算放大器A7的同相输入端电性连接；运算放大器A7的反相输入端与电阻R7的一端、电阻R8的另一端电性连接；电阻R7的另一端接地。

所述输出神经元包括：单刀双掷开关S1-S2、运算放大器OP1-OP2、忆阻器M4-M6；

记忆选择单元的输出端V1、V2分别通过忆阻器M4、M5后，形成一路信号；该路信号与单刀双掷开关S1的输入端电性连接；单刀双掷开关S1的一个输出端与单刀双掷开关S2的另一个输出端电性连接；单刀双掷开关S1的另一个输出端与运算放大器OP1的反相输入端电性连接；运算放大器OP1的输出端通过忆阻器M6与运算放大器OP2的同相输入端电性连接；运算放大器OP2的输出端与单刀双掷开关S2的输入端电性连接；单刀双掷开关S2的另一个输出端作为输出神经元的输出。

与现有技术相比，本发明的有益效果包括：

1、通过三种记忆也进一步拓展了生物神经系统思考和记忆的方式，并结合忆阻阵列技术，可以很好实现并行计算和多值调整；

2、使用忆阻模块实现了突触间多记忆调节，实现了灵活性和复用性。

3、通过交叉阵列完成深度学习的卷积运算，这为深度学习算法硬件实现提供了新的可能。

附图说明

图1是本发明电路结构示意图；

图2是交叉阵列模块示意图；

图3是反馈信号模块电路原理示意图；

图4是激活函数模块电路原理示意图；

图5是输出模块电路原理示意图；

图6是外界信号输入神经元结构示意图；

图7是模式调整单元的电路原理示意图；

图8是记忆选择单元电路原理图；

图9是将模式调整单元和记忆选择单元连接结合后形成的多记忆模式切换单元整体示意图；

图10是输出神经元电路结构示意图；

图11是本申请整体电路原理示意图；

图12是各种模式状态测试结果；

图13是感觉记忆实验结果；

图14是短时记忆实验结果；

图15是长时记忆实验结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种模拟生物学习的忆阻层级记忆神经网络电路，具体包括：交叉阵列模块、激活函数模块、输出模块和反馈信号模块；

交叉阵列模块产生的信号，经由激活函数模块激活后，再经输出模块放大，得到输出信号；

激活函数模块的激活信号另一方面反馈至反馈信号模块，形成闭环；

请参考图2，图2是交叉阵列模块示意图；其中交叉阵列模块由n组突触模块交叉排列形成；n为预设值；

由于忆阻是两端器件，所以需要给忆阻的两端增加电压，传统的忆阻调整只能给忆阻增加单向电压，这里本专利采用了阵列的方式来给忆阻调整，由于忆阻被集成为阵列，所以能够完成普通串行忆阻无法完成的并行计算等问题。

而本申请忆阻阵列模块主要使用突触模块，将前面的突触模块集成到阵列当中。

突触模块包括：输入神经元、模式调整单元、记忆选择单元和输出神经元。输入神经单元与模式调整单元电性连接；模式调整单元与记忆选择单元电性连接；记忆选择单元与输出神经元电性连接；关于突触模块的具体电路结构，将在后文中进行详细阐述。

整体电路首先由最基本的突触模块接受电信号，然后根据输入的电信号将信号分为感觉记忆信号、短时记忆信号以及长时记忆信号。

然后根据突触模块初步将信号处理得到忆阻记忆信号，这些信号通过交叉阵列模块的调整和组合会得到层级神经网络的信号，经过交叉阵列模块的信号最后会输入到激活函数模块。

激活函数针对阵列处理的信号进行判断，大于激活函数阈值的信号将会输出，而小于激活函数阈值的信号将会被抑制，最后通过反馈电路模块调整层级神经网络的输出强度。

一般来说，生物神经网络经过一系列的信号处理会输出到一个突触前膜进行信号判断，当信号强度大于膜电位的阈值时候就会产生膜电位，使得生物系统能对外界环境进行感知和记忆，当外界感知信息无法使得神经网络产生膜电位，那么这种记忆信号将在神经网络消失，而如果外界感知信号相对强烈，将对神经网路系统产生正反馈，使得神经网络不断去学习，这就是整体电路和生物神经网络的思想。

下面依次阐述本申请电路的各个组成部分。

请参考图3，图3是反馈信号模块电路原理示意图；

所述反馈信号模块包括：运算放大器Uf1-Uf2、电容Cf、MOS管Tf、忆阻器Mf、电阻Rf；

其中忆阻器Mf的一端与交叉阵列模块电性连接，另一端与运算放大器Uf1的同相输入端连接；运算放大器Uf1的反相输入端与电阻Rf的一端电性连接；电阻Rf的另一端接地；

运算放大器Uf2的同相输入端与电容Cf的一端、MOS管Tf的漏极电性连接；运算放大器Uf2的反相输入端接地；

MOS管Tf的源极接地；MOS管Tf的栅极一方面与运算放大器Uf1的输出端连接，另一方面通过一个电阻与运算放大器Uf1的反向输入端连接；

反馈电路模块主要由忆阻以及反馈电路组成，当有反馈信号Vf输入到Mf的信号为正的时候，忆阻Mf电阻开始减小，使得施加给运算放大器Uf1的电压达到设定的阈值开始产生反馈信号，并在电容Cf积累，刚开始Cf电荷量不足以使得Uf2达到阈值，当长时记忆作用的时间足够长，此时能够使得施加给运算放大器Uf2的电压达到设置的阈值，形成反馈信号，这个过程类似于生物神经网络在学习的过程也是一个积累的过程，当积累到熟练的程度就会使得整个神经系统产生反馈信号加速学习过程。

运算放大器Uf2的输出端Vout通过忆阻器1-忆阻器n与交叉阵列模块电性连接。

所述激活函数模块与交叉阵列模块的n组突触模块相对应，也包括n组，且每组排列连接结构相同；

请参考图4，图4是激活函数模块电路原理示意图。其中第i组激活函数模块包括：运算放大器Ui、电容Ci和电阻Ri；运算放大器Ui的同相输入端与交叉阵列模块电性连接；运算放大器Ui的反相输入端接地；运算放大器Ui的正电源端与电阻Ri的一端、电容Ci的一端电性连接；电阻Ri的另一端、电容Ci的另一端接地；运算放大器Ui的负电源端接地；运算放大器Ui的输出端通过一个绝对值校正ABS模块与输出模块电性连接。

本申请中采用的激活函数形式如下：

其中，Vc和Ve分别为运算放大器Ui的正供电电压和负供电电压。

该电路网络中的根据各神经元初始状态自动进行迭代变化。同时对于网络中的每个神经元，根据运算放大器的积分电路可得：

其中G

其中w

请参考图5，图5是输出模块电路原理示意图；

所述输出模块包括：电阻R10-R11、运算放大器OP3-OP4、单刀双掷开关S3-S4、忆阻器M7；其中开关S3的输入端通过忆阻器与激活函数模块电性连接；开关S3的输出端，其中一端连接至单刀双掷开关S4的一个输出端，另一端连接至运算放大器OP3的反相输入端、电阻R10的一端；电阻R10的另一端与运算放大器OP3的输出端、忆阻器M7的一端电性连接；忆阻器M7的另一端与电阻R11的一端、运算放大器OP4的同相输入端电性连接；运算放大器OP4的输出端与单刀双掷开关S4的输入端电性连接；单刀双掷开关S4的另一个输出端作为输出模块的输出端。

需要说明的是，V4-V6是激活函数模块经过ABS后的输出端；这里仅列举了3组，前文交代过，交叉阵列模块有多少组突触，则对应激活函数模块对应有多少组。

当激活函数模块传递过来的信号经过忆阻器，输出传递的神经元突触，当突触前神经元的脉冲释放了电信号，突触输出神经元就在OP3放大器进行累加，而S3是一个单刀双掷开关，正常情况下，处于常闭状态，只有当OP4输出高电平的时候才会断开，OP3经过求和之后和M1影响Vout的输出，当Vout输出大于阈值电压VT2的时候，S4关闭而S3打开，此时神经元不再接受电信号的传入，此时只产生阈值前的求和电压信号，而OP4就是模拟的神经元的电信号大于阈值电压的时候，执行的是输出神经元激活动作，此时就是传递信号给下一个输入神经元。

所述输入神经元包括两个类型，分别为外界信号输入神经元Vfeel和神经系统信号输入神经元Vneural；每个类型输入神经元的结构、连接组成相同。请参考图6，图6是外界信号输入神经元结构示意图。

其中外界信号输入神经元Vfeel的结构由MOS管Q1-Q7组成；MOS管Q1的漏极作为输入端；MOS管Q1的栅极与MOS管Q3漏极、MOS管Q3的栅极电性连接，并作为外界信号输入神经元Vfeel输出端与模式调整单元电性连接；MOS管Q1的源极与一个电容的一端、MOS管Q2的源极电性连接；MOS管Q2的漏极与MOS管Q3的源极电性连接；MOS管Q2的栅极与MOS管Q2的源极、另一个电容的一端、MOS管Q4的栅极、MOS管Q6的栅极电性连接；另一个电容的另一端作为外界信号输入神经元Vfeel的输出端；MOS管Q4的漏极接地；MOS管Q4的源极与MOS管Q6的漏极电性连接；MOS管Q6的源极接地；MOS管Q5的栅极与MOS管Q7的栅极电性连接；MOS管Q5的漏极接地；MOS管Q5的源极作为外界信号输入神经元Vfeel的输出端，且与MOS管Q7的漏极电性连接；MOS管Q7的源极接地。

需要说明的是，神经系统信号输入神经元的结构与上述外界信号输入神经元结构相同，但输出端为Vneural。

输入神经元原理如下：当神经元接受到了电信号Vin，电容C1和C2作为膜电容将电流进行积分，知道Vcap超过反向器Q3和Q4的阈值电压。然后，方向器Q5和Q6输出高电压使得神经元的前膜输出一个应激电压，最后，Q2开启而Tin关闭，然后整个输入神经元细胞进入不应期，此时不产生动作电位。

请参考图7，图7是模式调整单元的电路原理示意图；

所述模式调整单元包括：与非门U1、同或门U2、或门U3、非门U4、或门U5、与非门U6、非门U7、与门U8、MOS管T1-T5、运算放大器A8、忆阻器和电容；

与非门U1、同或门U2、或门U3的两个输入端均分别为外界信号输入神经元Vfeel的输出端和神经系统信号输入神经元Vneural输出端；

与非门U1的输出端与非门U4的输入端、或门U5的一个输入端、MOS管T1的栅极电性连接；

同或门U2的输出端与或门U5的另一个输入端、MOS管T2的栅极、与非门U6的一个输入端电性连接；

或门U3的输出端与与非门U6的另一个输入端、非门U7的输入端电性连接；

非门U4的输出端与MOS管T4的栅极电性连接；

或门U5的输出端与与门U8的一个输入端电性连接；

与非门U6的输出端与MOS管T3的栅极电性连接；

非门U7的输出端与与门U8的另一个输入端电性连接；

与门U8的输出端通过第一阈值开关与电压信号Vn电性连接；

MOS管T1的源极通过第一比较器与比较信号Vreaction连接；MOS管T2的源极通过第二比较器与比较信号Vforget连接；第一比较器的输出端与第二比较器的输出端电性连接，并连接至运算放大器A8的输出端；

MOS管T1的漏极与MOS管T3的漏极、忆阻器M1的一端电性连接；忆阻器M1的另一端与MOS管T4的漏极电性连接、MOS管T2的漏极、阈值开关电性连接；MOS管T4的源极与记忆选择单元电性连接；

运算放大器A8的同相输入端与电容C5的一端、MOS管T5的漏极电性连接；MOS管T5的栅极通过电阻R8与记忆选择单元电性连接。

请参考图8，图8是记忆选择单元电路原理图。

所述记忆选择单元包括：运算放大器A1-A7、电阻R1-R7忆阻器M2-M3；运算放大器A1的反相输入端与MOS管T4的源极电性连接；运算放大器A1的输出端与电阻R1的一端、电阻R2的一端电性连接；电阻R1的另一端与运算放大器A1的反相输入端连接；电阻R2的另一端与运算放大器A2的反相输入端、电阻R3的一端电性连接；运算放大器A2的输出端与运算放大器A3的同相输入端、电阻R3的另一端电性连接；运算放大器A3的输出端，一路作为记忆选择单元的一个输出端V1、另一路与忆阻器M2的一端电性连接；忆阻器M2的另一端与运算放大器A4的反相输入端、电阻R4的一端电性连接；电阻R4的另一端与运算放大器A4的输出端、电阻R5的一端电性连接；电阻R5的另一端与运算放大器A5的反相输入端、电阻R6的一端电性连接；电阻R6的另一端与运算放大器A5的输出端、运算放大器A6的同相输入端电性连接；运算放大器A6的输出端通过第二阈值开关与外界信号输入神经元Vfeel的输出端电性连接；

记忆选择单元的另一个输出端V2与忆阻器M3的一端电性连接；忆阻器M3的另一端与运算放大器A7的同相输入端电性连接；运算放大器A7的反相输入端与电阻R7的一端、电阻R8的另一端电性连接；电阻R7的另一端接地。

模式调整单元和记忆选择单元共同构成多记忆模式切换单元；请参考图9，图9是将模式调整单元和记忆选择单元连接结合后形成的多记忆模式切换单元整体示意图。

模式调整主要是通过忆阻将外界信号区分为三种记忆模式的模块，当外界信号输入时，通过选择系统判断模式，然后通过初级提取得到感觉记忆，然后再根据信息进行信息判断提取短时记忆，最后再信息判断，提取到长时记忆。

当感觉信号和系统中枢神经信号同时出现时，U1、U3、U6、U7以及U7为低电平，而U2、U5为高电平，此时PMOS T1和NMOS T4开通，PMOS T2和NMOS T3断开，使得反应电压Vreaction以正电压的方式施加在忆阻M1，此时忆阻M1的阻值开始减小，权重开始增大，但是感觉信号和系统中枢神经信号作用的时间不同的时候就会出现感觉记忆、短时记忆以及长时记忆，当施加的时间过短，忆阻的阻值不会下降到很多，这个时候虽然外施电压可以改变突触权重，但是由于所施加的时间不足以使得输出电压output达到神经元激活的阈值电压，所以这个时候就是感觉记忆，这和人在视觉系统所接触到的嘈杂和不重要的信息并迅速遗忘的过程相类似。而当感觉信号和系统中枢神经信号同时作用的时间直到可以达到阈值电压的时候，这个时候便是短时记忆的形成，短时记忆则是经过神经元处理的信息，能够在众多不相关的信息中挑选出与所做决策相关程度比较大的事物，但是短时记忆在进行巩固学习的时候，其遗忘过程是非常快的。而当感觉信号和系统中枢神经信号同时作用的时间足够长的时候，便可以形成长时记忆，长时记忆经过不断的巩固学习最终会形成永久以及，也就是所谓经验知识，这会形成新的突触。

在神经系统进行学习的过程当中，当经过相关的学习过程之后，只给条件刺激或者只给非条件刺激而进行相关性实验，那么就会造成人为遗忘过程。当感觉信号和系统中枢神经信号只出现一个信号的时候，即人为遗忘过程。U2、U4以及U7为低电平，而U1、U3、U5、U6为高电平，此时PMOS T2和NMOS T3开通，PMOS T1和NMOS T4断开，使得人为遗忘信号Vforget施加在忆阻M1上，使得忆阻M1的阻值开始增大，权重开始减小，这就开始了人为遗忘的过程，对于感觉以及并不存在遗忘的过程，因为由于其作用时间并未使得输出神经元产生动作，而短时记忆和长时记忆则是由于存在遗忘过程，经过一段时间，权重会降低到使得动作电位小于阈值，此时说明了所学习到的事物已经完全遗忘，但是相较于短时记忆，长时记忆遗忘所需要的时间更长，而当学习的时间足够长，长时记忆转化为经验记忆的时候，此时遗忘过程不再发生。

请参考图10，图10是输出神经元电路结构示意图；

所述输出神经元包括：单刀双掷开关S1-S2、运算放大器OP1-OP2、忆阻器M4-M6；

记忆选择单元的输出端V1、V2分别通过忆阻器M4、M5后，形成一路信号；该路信号与单刀双掷开关S1的输入端电性连接；单刀双掷开关S1的一个输出端与单刀双掷开关S2的另一个输出端电性连接；单刀双掷开关S1的另一个输出端与运算放大器OP1的反相输入端电性连接；运算放大器OP1的输出端通过忆阻器M6与运算放大器OP2的同相输入端电性连接；运算放大器OP2的输出端与单刀双掷开关S2的输入端电性连接；单刀双掷开关S2的另一个输出端作为输出神经元的输出。

输出神经元要完成的工作是进行求和、计算以及激活等操作，输出神经元电路由一个二阶忆阻器、放大器以及联动开关组成。

输出神经元与输出模块的结构相同；图10中M1代表的是输出传递的神经元突触，当突触前神经元的脉冲释放了电信号，突触输出神经元就在OP1放大器进行累加，而S1是一个单刀双掷开关(或可用常闭晶体管代替)，只有当OP2输出高电平的时候才会断开，OP1经过求和之后和M1影响Vout的输出，当Vout输出大于阈值电压VT2的时候，S2关闭而S1打开，此时神经元不再接受电信号的传入，此时只产生阈值前的求和电压信号，而OP2就是模拟的神经元的电信号大于阈值电压的时候，执行的是输出神经元激活动作，此时就是传递信号给下一个输入神经元。

最后，为了更直观的展示本申请整体电路结构，请参考图11，图11是本申请整体电路原理示意图。由于该图较大，需要放大后方能查阅。图11中，模式调整模块、记忆选择模块即为前述的模式调整单元、记忆选择单元；突触电路模块即为前述的突触模块；

作为一种实施例，以本申请的电路进行仿真实验。

1、不同信号模式下的MOS管的电压以及模式切换结果

输入信号为神经信号Vneural和感觉信号Vfeel，当两种信号都存在的时候是模式3，即记忆模式，而当Vneural信号存在而Vfeel信号不存在的时候，此时逻辑系统的状态是模式1，即神经元经过学习之后，没有感觉信号，这是第一种人为遗忘过程2，这个时候是模式1，而Vneural信号不存在而Vfeel存在为模式2，即只有外部的感觉刺激信号，而没有神经信号Vneural存在，此时为第二种人为遗忘过程，而当两种信号都没有的是模式4，即为自然遗忘过程。

各种模式状态测试结果如图12所示。在0ms到3ms之间，神经信号Vneural产生三个脉冲电压，而感觉信号Vfeel此时处于低电压，所以此时处于模式1，U1为电平，使得PMOS T1和NMOS T4关闭，而U2处于低电平，使得PMOS T2和NMOS T3打开，此时施加在忆阻的电压为负，而U3为高电平，此时自然遗忘信号通过非门信号将信号进行反向使得自然遗忘信号不响应，所以此时只有人为遗忘过程1。

在3ms到6ms之间，感觉信号Vfeel产生三个脉冲电压，而神经信号Vneural此时处于低电压，所以此时处于模式2，U1为高电平，使得PMOS T1和NMOS T4关闭，而U2处于低电平，使得PMOS T2和NMOS T3打开，此时自然遗忘信号通过非门信号将信号进行反向使得自然遗忘信号不响应，所以此时只有人为遗忘过程2，相较于模式1，模式2的则是只给感觉信号，而神经系统本身是没有信号传输，这有别于模式1.

在6ms到60ms之间，此时神经信号Vneural和感觉信号Vfeel同时产生，这个时候便是模式3，记忆模式，记忆模式是人脑进行记忆、联想以及思考的前提。当神经信号和感觉信号同时产生的时候，此时U1为低电平使得PMOS T1和NMOS T4打开，施加在忆阻两端的电压为正，突触权重增加，而U2、U3为高电平，使得遗忘回路PMOS T2和NMOS T3关闭，这样就实现了学习记忆的功能。

因为在6ms到60ms神经信号Vneural和Vfeel同时出现，所以整个系统进入了记忆模式，所以在60ms到75ms之间进行了一段的人为遗忘过程测试忆阻权重减小和增大的功能。而在75ms到100ms，由于神经信号Vneural和Vfeel都不存在，所以系统进入了自然遗忘过程，即模式4，此时U1、U2为高电平，而U3位高电平，使得PMOS T1和NMOS T4关闭，而U2处于低电平，使得PMOS T2和NMOS T3打开，施加在忆阻两端的电压为负，突触权重减小，此时自然遗忘电压Vn作用于忆阻，产生了自然遗忘过程。

感觉记忆对于人脑的意识来说并不会被感知到，而短时记忆则是神经系统经过处理然后传入到大脑进行存储的记忆，它所存在的时间是有限，但短时记忆对于巩固学习和长时间也都有着重要的作用。

当人脑在接受外部信息的时候，会将信息进行过滤，感觉记忆就是神经系统在接受外界信息的时候，将一些无关紧要的信息进行过滤，即这一类信息不会引起神经元发生动作电位。

感觉记忆实验结果如图13所示。阶段1和阶段2都是测试目前系统是否经过相关学习形成了神经系统与感觉系统的联系，首先在0ms到5ms，神经信号存在而感觉信号不存在，此时系统处于人为遗忘过程1，此时突触权重并未发生变化，说明两者之间不存在关系，同理，在0ms到5ms，神经信号存在而感觉信号不存在，此时系统处于人为遗忘过程2，此时突触权重并未发生变化，说明两者之间不存在关系，其次，阶段3是记忆模式，为了形成了神经系统与感觉系统的联系，在10ms到20ms之间给定10个脉冲电压使得突触权重发生变化，由图可知，突触阻值开始较小，权重开始增大，但是由于突触权重增大到无法使得输出电压达到输出神经元的阈值电压，所以在整个周期内，输出神经元信号Voutput并未出现高电平。最后，系统处于阶段4，即自然遗忘过程，自然遗忘经历了5个脉冲电压就恢复到了原阻值状态，使得突触权重恢复至最初始状态，这便是感觉记忆的全过程。

短时记忆实验结果如图14所示。短时记忆的阶段1和阶段2的过程和感觉一样，主要是测试神经信号与感觉信号在测试之前是否存在相关性，而短时记忆相较于感觉记忆所接触的时候长一些，所以在10ms到30ms，给定了20个脉冲电压使得神经突触的权重增大，而在24ms的时候，神经突触的权重增大到可以使输出电压高压输出神经元的电压，此时输出信号Voutput产生动作电位，而在阶段5时，由于没有信号输入，所以神经突触的权重开始较小，经过3个脉冲周期，电压下降到输出神经元阈值以下，此时输出信号Voutput不再产生信号，神经元处于不兴奋状态，由于输出神经元动作的周期无法使得连接生成新突触的权重降低到阈值，所以此时无法生成新突触生成信号。而在阶段6和阶段7，此时都处于自然遗忘过程，经过一段时间，原神经元的突触权重和连接新突触的神经元突触权重都会恢复至初始状态，这便是短时记忆全过程。

长记忆对于人脑的学习和总结是非常的重要，首先感觉记忆从复杂的环境中提取与事件相关联的信号，然后经过神经系统的简单加工，形成短期记忆。通常，短期记忆被认为是人脑进行第一次学习形成的记忆，这种记忆认知的层面还不够深，当遇到更为复杂情况的时候，短时记忆所形成的局部经验会误导判断，所以经过反正学习，即学习时间的加长，可以形成长时记忆，长时记忆对于事物的认知是比较全面的。

长时记忆实验结果如图15所示。长时记忆的阶段1和阶段2是测试神经信号和感觉信号的关系。而在长时记忆的实验过程中，给定了40个脉冲电压，使得整个系统处于学习状态，并且学习的时间比短期记忆多一倍，所以使得突触权重增大的幅度可以更大。在10ms到24ms之间的阶段3，系统产生电压使得本系统的突触权重减小。在24ms到38ms之间的阶段4则是本系统的突触权重增大到使得输出神经元激活，但是此时产生的输出信号无法使得新突触神经元的输出信号达到阈值，所以无法形成新突触。在38ms到50ms之间的阶段5，本系统突触的输出神经元脉冲数足够使得连接突触M2的突触权重大于阈值权重，使得连接突触系统生成突触信号，这个时候新的突触生成。在50ms到96ms之间的阶段6便是自然遗忘过程，但是自然遗忘过程，生成新突触的权重仍然可以使得输出神经元高于阈值，这时新突触仍然可以输出。在96ms到100ms之间的阶段7，原系统的突触已经遗忘使得输出神经元的信号不产生兴奋信号，但新突触仍然可以产生信号，这说明了新生成的突触是独立于原突触，这便是新突触的生成，这个过程可以模拟新知识和经验的生成过程。

本发明的有益效果是：

1、通过三种记忆也进一步拓展了生物神经系统思考和记忆的方式，并结合忆阻阵列技术，可以很好实现并行计算和多值调整；

2、使用忆阻模块实现了突触间多记忆调节，实现了灵活性和复用性。

3、通过交叉阵列完成深度学习的卷积运算，这为深度学习算法硬件实现提供了新的可能。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。