基于多核协同学习和深度信念网络的特征提取方法及系统

摘要

本发明公开了一种基于多核协同学习和深度信念网络的特征提取方法及系统，包括：获取人脸表情图像信息，将所述人脸表情图像信息输入到训练好的深度信念网络，得到人脸表情分类结果；其中，对于深度信念网络的训练过程包括：将三张同一个人脸不同角度的图像分别放入三个DBN网络，三个DBN网络根据视野的不同来提取同一个人脸图像的三个不同特征，将提取到的特征分别放入与DBN网络连接的分类器中，利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练。本发明实现了利用大量未标记样本进行分类器训练的目的，降低了DBN对人工标记样本的依赖，提高了深度信念网络的实用性。

说明书

技术领域

本发明涉及图像特征提取技术领域，尤其涉及一种基于多核协同学习和深度信念网络的特征提取方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

传统的图像特征提取一般分为三个步骤：预处理、特征提取、特征处理；然后在利用机器学习等方法对特征进行分类等操作。传统协同训练算法主要应用了机器学习中的一些常见模型，如支持向量机，决策树等，协同训练作为多视角学习的一种方法，通过多个学习器之间互相协作，提升模型的泛化能力。但是，该方法对分类器的种类进行了限制；并且，分类的过程中需要频繁地进行交叉验证，导致算法的时间开销过大。

另外，传统的图像特征识别或分类过程需要大量的已标记的样本，这限制了实际的应用，单一的特征不能更好的进行分类，而且传统的方法不能够利用不同的视图进行交互式迭代训练，不能达到期望的分类精度。

发明内容

为了解决上述问题，本发明提出了一种基于多核协同学习和深度信念网络的特征提取方法及系统，首先采用多个不同的核提取出多种样本特征以满足协同训练算法多特征视图的需要；然后将不同的特征视图提交给3个DBN分类器进行协同训练，分类器两两协同以标记新的训练样本；从而实现了DBN分类器整体性能的持续改进。

在一些实施方式中，采用如下技术方案：

一种基于多核协同学习和深度信念网络的特征提取方法，包括：

获取人脸表情图像信息，将所述人脸表情图像信息输入到训练好的深度信念网络，得到人脸表情分类结果；

其中，对于深度信念网络的训练过程包括：

将三张同一个人脸不同角度的图像分别放入三个DBN网络，三个DBN网络根据视野的不同来提取同一个人脸图像的三个不同特征，将提取到的特征分别放入与DBN网络连接的分类器中，利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练。

作为可选的方案，所述DBN网络由多个受限玻尔兹曼机栈式堆叠而成，在所述受限玻尔兹曼机中引入独立高斯分布的连续值来处理连续数据，形成高斯-伯努利受限玻尔兹曼机，把受限玻尔兹曼机的结构单元输出值限定在0～1之间的连续值。

作为可选的方案，将提取到的特征分别放入与DBN网络连接的分类器中，利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练，具体包括：

设L为已标记样本集，U为未标记样本集，δ为置信度参数，N为类别数目，ε

从已标记样本集L中随机选择设定数量的样本作为测试集T，其余已标记样本L′＝L-T用于初始化分类器h

对于分类器h

基于测试集T和L分别计算DBN的分类错误率g和第t轮训练过程中未标记样本集L

H

若对于分类器h

在另一些实施方式中，采用如下技术方案：

一种基于多核协同学习和深度信念网络的特征提取系统，包括：

人脸表情分类模块，用于获取人脸表情图像信息，将所述人脸表情图像信息输入到训练好的深度信念网络，得到人脸表情分类结果；

其中，对于深度信念网络的训练过程包括：

将三张同一个人脸不同角度的图像分别放入三个DBN网络，三个DBN网络根据视野的不同来提取同一个人脸图像的三个不同特征，将提取到的特征分别放入与DBN网络连接的分类器中，利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于多核协同学习和深度信念网络的特征提取方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于多核协同学习和深度信念网络的特征提取方法。

与现有技术相比，本发明的有益效果是：

(1)本发明首先采用多个不同的核提取出多种样本特征以满足协同训练算法多特征视图的需要；然后将不同的特征视图提交给3个DBN分类器进行协同训练，分类器两两协同以标记新的训练样本；从而实现了DBN分类器整体性能的持续改进。结合了DBN多特征视图的提取能力和协同学习算法利用未标记样本进行分类器训练的优势，实现了利用大量未标记样本进行分类器训练的目的，降低了DBN对人工标记样本的依赖，提高了深度信念网络的实用性。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中的深度信念网络结构示意图；

图2为本发明实施例中的基于多核协同学习的深度信念网络模型训练过程示意图；

图3为本发明实施例中的人脸表情数据集CMUFFaceImages Data Set。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于多核协同学习和深度信念网络的特征提取方法，具体包括：

获取人脸表情图像信息，将所述人脸表情图像信息输入到训练好的深度信念网络，得到人脸表情分类结果；

其中，对于深度信念网络的训练过程包括：

将三张同一个人脸不同角度的图像分别放入三个DBN网络，三个DBN网络根据视野的不同来提取同一个人脸图像的三个不同特征，将提取到的特征分别放入与DBN网络连接的分类器中，利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练。

本实施例中，结合图1，深度信念网络(DBN)的结构由多个受限玻尔兹曼机(restricted Boltz-mann machines,RBM)栈式堆叠而成，其中RBM是一个二分图结构的无向概率图模型，包含一个由m个神经元组成的可见层v和一个由n个神经元组成的隐藏层h，层内各个节点互不连接相互独立。

由于传统受限玻尔兹曼机的可见层和隐含层都是二进制单元，即v

GB-RBM是假设可见层变量为高斯分布，隐层变量为伯努利分布，其能量函数定义为

公式(1)中，其中，b

v表示兹曼机的可见层，h表示隐藏层，前一个受限玻尔兹曼机的隐藏层为下一个的输入层；μ、σ分别为可见单元的高斯噪声的均值和标准差。

可见层和隐藏层的条件概率分别为

式中，N(μ，σ

GB-RBM与传统RBM一样均采用对比散度(CD)算法进行预训练。对比散度算法使用估计的概率分布与真实概率分布之间的K-L距离作为度量准则，对每个批次的训练样本进行k步Gibbs采样，以最大概率生成样本。

使用随机梯度上升法求取似然函数最大值，得到GB-RBM网络参数更新规则为

b

式中，w

当RBM逐层无监督预训练完成后，将学习到的模型参数当做有监督学习的初始值，提供了输入数据的先验知识。在全局微调阶段，基于训练数据的类别信息，对比Softmax分类器判定的类别，统计识别错误，并利用反向传播算法对DBN网络反向训练，微调各个初始连接权重。

本实施例引入了高斯-伯努利受限玻尔兹曼机模型，解决了传统受限玻尔兹曼机输入向量受限于伯努利二值分布且对于非二项分布的数据重构拟合效果差的问题。

本实施例中，协同训练算法(co-training)利用少量已标记样本和大量未标记样本对多个分类器进行协同训练，以提高分类器性能。co-training算法假设数据集有两个充分冗余(suffi-cientandredundant)的属性特征视图(view)，然后利用不同的视图对分类器进行交互式迭代训练，直至分类精度达到期望值。然而，实际应用中往往较难得到充分冗余的样本特征视图，因此现有技术使用不同的决策树算法，从同一个属性集上训练出不同的分类器；虽然该算法避免了对冗余特征视图的需要，但是对分类器的种类进行了限制。

此外，分类的过程中需要频繁地进行交叉验证，导致算法的时间开销过大。本实施例中，使用了三分类器，可以简便地处理标记置信度估计问题以及对未知样本的预测分类问题。

本实施例中，三个DBN后分别连接到BP，SVM和RBF分类器，将无标记的图片通过DBN特征提取，然后通过三个不同的分类器分类来标记图片，然后三个不同的分类器来进行两两的协同标记训练的样本。

结合图2，协同训练的具体过程如下：

设L为已标记样本集，U为未标记样本集，δ为置信度参数，N为类别数目，ε

STEP1：从已标记样本集L中随机选择1/10的样本作为测试集T，其余已标记样本L′＝L-T用于初始化分类器h

STEP2：对于分类器h

STEP3：基于测试集T和L计算DBN的分类错误率g，若

STEP4：计算第t轮训练过程中未标记样本集L

其中，m为抽取的样本数目，N为分类类别的数目，L为标记样本，L

STEP5：采用训练集L′∪L

STEP6：若对于分类器h

STEP7：分类器h

本实施例采用卡耐基.梅隆大学发布的人脸表情标准数据集作为已标记训练样本集L，其中包含640幅已标记表情的灰度图片，如图3所示，该样本集拥有Neutral，Sad，Happy，Angry4种典型的表情特征。此外，从Cohn-Kanade人脸库中随机选择了90个表情序列，每个序列选取20幅包含4种不同表情的图像共1800幅人脸表情样本图像作为未标记样本集U。实验过程中，首先将全部未标记图像转换为48*48的灰度图像，然后采用对分类器进行协同训练。测试过程采用表情数据库JAFFE作为测试集对模型的分类能力进行验证。

需要指出的是，实验过程使用的已标记样本训练集、未标记样本训练集以及测试样本集均来自于不同的数据集，且拥有不同的初始分辨率和拍摄角度，因此实验环境设置接近于真实应用场景。实验过程中包含3个分类器h

实施例二

在一个或多个实施方式中，公开了一种基于多核协同学习和深度信念网络的特征提取系统，包括：

人脸表情分类模块，用于获取人脸表情图像信息，将所述人脸表情图像信息输入到训练好的深度信念网络，得到人脸表情分类结果；

其中，对于深度信念网络的训练过程包括：

将三张同一个人脸不同角度的图像分别放入三个DBN网络，三个DBN网络根据视野的不同来提取同一个人脸图像的三个不同特征，将提取到的特征分别放入与DBN网络连接的分类器中，利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练。

上述模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。

实施例三

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于多核协同学习和深度信念网络的特征提取方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例四

在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于多核协同学习和深度信念网络的特征提取方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。