配置图像评估装置的方法和图像评估方法及图像评估装置

摘要

为了配置图像评估装置(BA)，将多个分别与对象类型(OT)和对象亚类型(OST)相关联的训练图像(TPIC)馈入到第一神经网络模块(CNN)中以识别图像特征。此外，将第一神经网络模块(CNN)的训练输出数据集(FEA)馈入到第二神经网络模块(MLP)中，以根据图像特征识别对象类型。根据本发明，第一和第二神经网络模块(CNN、MLP)共同地训练为：第二神经网络模块(MLP)的训练输出数据集(OOT)至少近似地复现与训练图像(TPIC)相关联的对象类型(OT)。此外，对于相应的对象类型(OT1、OT1)：‑将与该对象类型(OT1、OT1)相关联的训练图像(TPIC)馈入到已训练的第一神经网络模块(CNN)中，‑将第一神经网络模块的针对相应的训练图像(TPIC)生成的训练输出数据集(FEA1、FEA2)与相应的训练图像(TPIC)的对象亚类型(OST)相关联，并且‑根据该亚类型关联关系为图像评估装置(BA)配置亚类型识别模块(BMLP1、BMLP2)，以根据图像特征识别对象亚类型(OST)。

说明书

背景技术

为了自动评估图像记录，例如在医学诊断中、在工程或非工程系统的监控中和/或在自主系统的视觉传感装置的范畴中，越来越多地使用机器学习方法。借助于这种方法，可以训练基于学习的图像评估装置，以自动识别图像上显示的对象或将其与对象类型相关联。

因此，例如，可以训练医学诊断设备的图像评估装置，以在显微图像上特异性地识别细胞或组织类型，或者分别与细胞类型或组织类型相关联。特别地，可以训练图像评估装置，以将生物细胞(如血细胞)的图像记录分别与作为对象类型的细胞类型相关联以及与作为对象亚类型的该细胞类型的发展阶段相关联。

对于这种训练通常使用大量预设图像，这些图像已经关联有对象类型和可能的对象亚类型。借助于这种训练图像，可以训练基于学习的图像评估装置，以尽可能良好地复现预设的对象类型以及可能的对象亚类型，这就是说，所识别的例如细胞类型及其发展阶段与预设的对象类型和对象亚类型有尽可能小的偏差。为了执行这种训练，提供大量已知的学习方法、特别是监督学习的方法。

然而，在实践中经常发生：某些待识别的对象类型比其他对象类型显著更罕见地出现。因此，一些生物细胞类型、特别是病理细胞类型仅占所有细胞类型的少于0.005％的份额。与之相应地，与更常见的对象类型相比，对于罕见的对象类型而言，可用的训练图像通常明显更少。但是，如果只提供少量的训练图像用于训练，则在常规的训练方法中，训练成效进而识别精度显著变差。此外，罕见对象类型的亚类型通常难以识别或区分。

但是，恰恰在医学领域中重要的是：尽可能正确地辨别罕见病理模式和发展阶段。已知的是：为了对罕见对象类型进行更好的分类而由专家单独得出特异性图像特征并据此匹配训练。替选地或附加地，可以继续训练，直到评估了足够多的罕见对象类型的训练图像为止。但是，通过上述方法方式，特别是在存在罕见对象类型时，所需的训练开销会显著增加。

发明内容

本发明的目的是，提出一种用于配置图像评估装置的方法、一种图像评估方法和一种图像评估装置，它们能够实现更高效的训练。

该目的通过具有权利要求1的特征的配置方法、通过具有权利要求9的特征的图像评估方法、通过具有权利要求12的特征的图像评估装置、通过具有权利要求13的特征的计算机程序产品以及通过具有权利要求14的特征的计算机可读存储介质来实现。

为了配置图像评估装置以得出所成像的对象的对象类型和对象亚类型，将多个分别与对象类型和对象亚类型相关联的训练图像馈入到第一神经网络模块中，以识别图像特征。特别地，生物细胞可以用作为对象，其相应的细胞类型可以作为对象类型而得出，并且其相应的发展阶段或细胞状态可以作为对象亚类型而得出。此外，将第一神经网络模块的训练输出数据集馈入到第二神经网络模块中，以根据图像特征识别对象类型。根据本发明，第一和第二神经网络模块共同地训练为：第二神经网络模块的训练输出数据集至少近似地复现与训练图像相关联的对象类型。此外，对于相应的对象类型：

-将与该对象类型相关联的训练图像馈入到已训练的第一神经网络模块中，

-将第一神经网络模块的针对相应的训练图像生成的训练输出数据集与相应的训练图像的对象亚类型相关联，并且

-根据该亚类型关联关系，为图像评估装置配置亚类型识别模块以根据图像特征识别对象亚类型。

通过将配置划分为数据驱动的训练和特定于对象类型的配置，可缓解常规训练方法的由于缺乏特定于对象类型的训练数据而导致的许多缺点。

因此，根据本发明的配置方法通常证实为，对于罕见对象类型的对象亚类型的得出并且普适地在对象频率分布有强不均性的情况下是特别有效的。

借助于如上训练的第一和第二神经网络模块以及如上配置的亚类型识别模块，可以实施用于得出所成像的对象的对象类型和对象亚类型的、根据本发明的图像评估方法。在此，待评估的图像被馈入到已训练的第一神经网络模块中，并且将已训练的第一神经网络模块的结果输出数据集馈入到已训练的第二神经网络模块中。然后，从已训练的第二神经网络模块的结果输出数据集推导出对象类型。此外，选择对于所推导出的对象类型专门配置的亚类型识别模块，通过亚类型识别模块得出与已训练的第一神经网络模块的输出数据集相关联的对象亚类型。最后，输出推导出的对象类型和所得出的对象亚类型。

由于根据本发明的图像输出方法的对应于根据本发明的配置方法的划分，该图像评估方法尤其在对象频率分布不均匀强的情况下通常运行可靠地得出罕见的对象类型的对象亚类型。

为了执行根据本发明的配置方法和/或根据本发明的图像评估方法，提出相应的图像评估装置、计算机程序产品和计算机可读存储介质。

根据本发明的配置方法、根据本发明的图像评估方法、根据本发明的图像评估装置以及根据本发明的计算机程序可以例如借助于一个或多个处理器、特殊应用集成电路(ASIC)、数字信号处理器(DSP)和/或所谓的“现场可编程门阵列”(FPGA)实施或实现。

本发明的有利的实施方式和改进方案在从属权利要求中说明。

优选地，根据亚类型关联关系可以推导出关于图像特征与对象亚类型之间的相关性的相关性参数。根据相关性参数可以配置亚类型识别模块。这种相关性或相关性参数使得：借助于统计标准方法对于给出的、尚未分类的图像特征得出对其最佳或足够良好相关的对象亚类型。

根据本发明的一个有利的实施方式，可以将概率分类器、特别是所谓的贝叶斯分类器用作为亚类型识别模块。在这种情况下，可以将估计和/或条件概率和不确定性用作为相关性参数。概率分类器、特别是所谓的贝叶斯分类器可以将给出的图像特征或其他特征与如下类别相关联，该类别为该图像特征或其他特征以最大概率所归属的类别。

有利地，亚类型识别模块可以具有对应于第二神经网络模块的链接结构。如果将多层感知器用作为第二神经网络模块，则在该意义上可以将相应的亚类型识别模块构成为多层贝叶斯感知器。在对应的链接结构中，第二神经网络模块的学习参数和超参数可以有利地在配置亚类型识别模块时被再次使用。

此外，在待针对对象类型识别的对象亚类型形成通过预设的序列信息具化的有序序列的前提下，可以根据序列信息配置亚类型识别模块。这种序列例如可以通过细胞类型的发展阶段的时间序列来给出。

根据这种序列信息，在配置亚类型识别模块时，优选地可以执行所谓的序数回归。特别地，可以适配亚类型识别模块的神经端层的激活功能和/或可以使用所谓的Probit模型。此外，可以学习出激活功能的激活阈值。

根据本发明的另一实施方式，可以根据已训练的第二神经网络模块的学习参数得出概率分类器的配置参数的先验分布。在此，将尤其通过训练设置或优化的第二神经网络模块参数称作为学习参数。为了推导出概率分类器的配置参数，尤其可以使用马尔科夫链蒙特卡罗方法以及基于变异的或其他贝叶斯推导方法。以这种方式，通过训练获得的、关于学习参数及其值分布的信息可以有利地被再次用于配置亚类型识别模块。

此外，可以根据第一和/或第二神经网络模块的训练参数来设置亚类型识别模块的配置参数。训练参数可以是超参数和控制训练的其他参数和/或通过训练获得的参数。

此外，在根据本发明的配置方法以及根据本发明的图像评估方法中，第一神经网络模块、第二神经网络模块和/或亚类型识别模块可以包括人工神经网络、递归神经网络、卷积神经网络、多层感知器、贝叶斯神经网络，自编码器、深度学习架构、支持向量机、数据驱动的可训练回归模型、k近邻分类器、物理模型和/或决策树。

附图说明

下面根据附图详细阐述本发明的实施例。在此，分别以示意图说明：

图1示出根据本发明的图像评估装置的配置，并且

图2示出借助所配置的图像评估装置对图像进行评估。

具体实施方式

图1示出根据本发明的图像评估装置BA的配置，图像评估装置用于识别成像到待评估的图像上的对象，并且特别是用于得出相应成像的对象的对象类型和对象亚类型。

图像评估装置BA具有一个或多个处理器PROC，以执行图像评估装置BA的方法步骤和具有一个或多个与处理器PROC耦联的存储器MEM，以存储待由图像评估装置BA处理的数据。

在当前的实施例中，作为本发明的示例性应用而描述有医学图像评估装置BA，其用于评估作为待识别对象的生物细胞的显微图像记录。根据细胞的一个或多个图像，应将其细胞类型作为对象类型来得出以及将该细胞类型的发展阶段或细胞状态作为对象亚类型来得出。为此目的，如下所述，借助于机器学习方法来配置图像评估装置BA。

在该配置的范畴中，通过图像评估装置BA从数据库DB中读取大量预先分类的训练图像TPIC，在此为生物细胞的显微图像。分类在此表示：例如通过专家将训练图像TPIC分别事先与对象类型OT(即细胞类型)和对象亚类型OST(即发展阶段或细胞状态)相关联。相应的对象类型OT和对象亚类型OST分别可以用类型或亚类型标识的形式来说明并且按照与所涉及的训练图像TPIC的关联关系通过图像评估装置BA从数据库DB中读取。

读取的训练图像TPIC被馈入到图像评估装置BA的第一神经网络模块CNN中。在此，训练图像TPIC分别通过图像数据集来表示。第一神经网络模块CNN优选地包括形成深度卷积神经网络的卷积神经层。这种卷积神经网络(通常也称为Convolutional NeuralNetwork)特别适合于有效识别在馈入的图像内部的图像特征。这种图像特征尤其可以说明包含在图像中的边、角、面或其他的几何特性、特别是局部的几何特性或图像元素之间的关系。

第一神经网络模块CNN应训练成，提取馈入的图像的特别适合于对象类型识别的图像特征或将其作为输出数据来生成。在此，相应馈入的图像的图像特征通过第一神经网络模块CNN的分别由此产生的输出数据集来表示。因此，其输出数据集可以理解为图像数据，该图像数据被缩减到对于对象类型识别而言基本的图像特征。这样的图像特征通常被称为“特征”(Feature)。

为了该训练，通过第一神经网络模块CNN从训练图像TPIC生成的训练输出数据集FEA被馈入到图像评估装置BA的第二神经网络模块MLP中。相应的训练输出数据集FEA在此分别由对相应的训练图像TPIC的处理来产生。

优选地，第二神经网络模块MLP包括多层感知器(MLP：Multi Layer Perceptron)。这种感知器MLP特别适用于分类任务，在此适用于根据图像特征对对象进行分类。

第一和第二神经网络模块CNN和MLP一起形成一个深度神经网络DNN。借此，神经网络CNN和MLP尤其也可以理解为更高级的深度神经网络DNN的子网络。

根据本发明，第二神经网络模块MLP应被训练为，根据合适的图像特征来识别预设的对象类型OT。

为了实现第一神经网络模块CNN和第二神经网络模块MLP的上述训练目标，这两个网络模块CNN和MLP一起被训练。在此寻求：通过第二神经网络模块MLP从馈入的训练输出数据集FEA生成的训练输出数据集OOT尽可能精确地复现与馈入的训练图像TPIC事先相关联的对象类型OT。第二神经网络模块MLP的相应的训练输出数据集OOT在此分别由对相应的训练图像TPIC的处理来产生。

将“训练”普适地理解为对参数化的系统模型(例如神经网络)的输入数据集(在此为TPIC)到其输出数据(在此到训练输出数据集OOT)的映射的优化。在训练阶段期间，根据预设的、学习的和/或待学习的标准对该映射进行优化。例如在分类模型中，分类误差、分析误差和/或预测误差可以作为标准被使用。在当前情况下，通过对网络模块CNN和MLP的共同训练来寻求：训练输出数据集OOT尽可能频繁地和/或尽可能良好地与事先相关联的对象类型OT一致。

为此目的，通过训练设置网络模块CNN和MLP的学习参数，使得由第二神经网络模块MLP作为对象类型输出的训练输出数据集OOT尽可能良好地复现该训练图像TPIC的预设的对象类型OT。在此，学习参数可以包括例如网络模块CNN和MLP的神经的联网结构和/或这些神经之间的连接的权重。

所寻求的对学习参数的优化可以例如通过如下方式来实现：按适当的度量得出训练输出数据集OOT和与其对应的、预设的对象类型OT之间的偏差D。在此，偏差D代表神经网络DNN的分类误差。如果训练输出数据集OOT和预设的对象类型通过矢量表示，则偏差D可以例如被确定为这些矢量的多维欧式距离或加权距离。如图1中通过虚线箭头所示，所得出的偏差D被反馈回神经网络DNN，即，被反馈回网络模块CNN和MLP的共同训练。

根据反馈回的偏差D训练神经网络DNN，以将该偏差D最小化，即通过输出的对象类型OOT尽可能良好地复现预设的对象类型OT。为此，可以通过标准优化方法来改变学习参数，直到偏差D最小或接近最小为止。例如，为了最小化可以使用梯度下降法。大量机器学习的标准方法均可用于执行上述优化。

通过上述共同训练，一方面，第一网络模块CNN被训练为识别或生成特别良好地适于对象类型识别的图像特征，并且另一方面，第二网络模块MLP被同时训练为根据该图像特征得出所属的对象类型。

网络模块CNN和MLP的这种数据驱动训练形式通常可以非常成功地应用于分类问题，对于该问题有大量的训练图像可用。但是，正如前文已经提到的那样，并不少见的是：尤其对于罕见对象类型的对象亚类型的识别来说，用于有效训练深度神经网络的可用的相关训练图像过少。

出于该理由，对于对象亚类型的确定，根据本发明使用概率分类器代替第二神经网络模块MLP作为特定于对象类型的亚类型识别模块。通常，这种概率分类器还可以根据相对少量的参考数据执行分类。例如，根据参考数据可以得出相应的对象亚类型存在的相应概率，并且可以输出具有高或最高概率的对象亚类型作为分类结果。

通过相应的亚类型识别模块对图像进行亚类型分类根据该图像的分类相关的图像特征来执行，已训练的第一神经网络模块CNN一定程度再次用于该图像特征的生成。已训练的第一神经网络模块CNN的这种再次使用在图1中通过虚线箭头示出。

有利地，针对每个对象类型分别专门配置自有的亚类型识别模块，以根据图像特征识别对象亚类型。

为此目的，将训练图像TPIC(OT、OST)输送给图像评估装置BA的分配模块SPL，并且根据分别相关联的对象类型(此处为OT1、OT2、……)由分配模块分配到特定于对象类型的配置管线上。为了清楚起见，在图1中仅明确给出两种对象类型OT1和OT2。

因此，与对象类型OT1相关联的训练图像TPIC(OT1、OST)输送给已训练的第一神经网络模块CNN，第一神经网络模块由此生成特定于对象类型OT1的图像特征FEA1作为训练输出数据集。相应的训练图像TPIC(OT1、OST)的图像特征FEA1关联于该训练图像的对象亚类型OST，并且按该关联关系传输至作为亚类型识别模块的、特定于对象类型OT1的概率分类器BMLP1。根据这些对象关联关系，概率分类器BMLP1被配置用于识别该对象类型OT1的对象亚类型。

概率分类器BMLP1优选地构成为贝叶斯神经网络。有利地，贝叶斯神经网络具有在神经或相对应的架构之间的、与第二神经网络模块MLP对应的链接结构。在当前的实施例中，概率分类器BMLP1因此实施为多层贝叶斯感知器。

概率分类器BMLP1的配置例如可以如下地实现，对象类型OT1的所有或几乎所有训练图像TPIC(OT1、OST)的特定于对象类型的图像特征FEA1按与相应的训练图像的相应的对象亚类型OST的关联关系存储在概率分类器BMLP1中。这在罕见对象类型OT1的情况下需要相对小的存储开销。此外，与在常规神经网络训练不同，由此基本上保留关于图像特征和对象亚类型的关联关系的每个训练信息。

借助于如此配置的概率分类器BMLP1，为了识别对象亚类型，例如可以用简单的方式将待分类的图像的图像特征与该对象类型的所有存储的图像特征进行比较，并且得出具有最小或小偏差的对象亚类型作为分类结果。相反，由于通常极大量的训练图像，一般不能以可接受的开销来将这种比较扩展为横跨所有训练图像的、即横跨常见的对象类型。

替选地或附加地，根据图像特征FEA1与对象亚类型OST的关联关系得出图像特征FEA1和对象亚类型OST之间的统计相关性，并且通过特定于对象的相关性参数CP1来说明或表示。根据这些相关性或相关性参数CP1可以配置概率分类器BMLP1。为此目的，可以使用大量已知的标准方法，通过这些方法从相关性得出对于配置贝叶斯神经网络所必需的条件概率、不确定性和/或概率图作为配置参数。

此外，特别是在对细胞类型的发展阶段进行分类时，关于发展阶段的必要的或可能的序列的序列信息可以通过概率分类器BMLP1评估为在亚类型识别中的附加信息或辅助条件。优选地，根据序列信息在配置概率分类器BMLP1时执行所谓的有序回归。

另外，可以从第二神经网络模块MLP的通过训练设置的学习参数(即在此从神经连接的已优化的权重和/或从其统计分布)推导出概率分类器BMLP1的相关性参数CP1的所谓的先验分布AD。以该方式，如图1中通过虚线箭头所示，第二神经网络模块MLP的学习参数以及其他训练参数可以用作为用于配置概率分类器BMLP1的超参数HP。

对于对象类型OT2且可能也对于其他对象类型，类似地执行上面专门关于对象类型OT1描述的方法方式，以便以该方式配置图像评估装置BA的一个或多个其他的特定于对象的亚类型识别模块BMLP2、……，以识别所涉及的对象类型之内的对象亚类型。

借助于上述的已训练和已配置的图像评估装置BA，现在应评估新记录的和/或尚未分类的图像。

图2示出借助于已训练和已配置的图像评估装置BA对对象OBJ的图像PIC进行的这种评估。只要在图2中使用与图1中相同的附图标记，就表示相同的实体。

在本实施例中，所记录的对象OBJ是生物细胞，通过已配置的图像评估装置BA应识别生物细胞的细胞类型作为对象类型并且识别其发展阶段作为对象亚类型。待评估的图像PIC借助于设有照相机的显微镜MIC来拍摄。

所记录的图像PIC由图像评估装置BA读取并且被馈入到已训练的第一神经网络模块CNN中。已训练的第一神经网络模块CNN从图像PIC生成输出数据集FEA，输出数据集根据上述训练目标优选包括尤其良好适于对象类型识别的图像特征。从已训练的第一神经网络模块CNN生成的输出数据集FEA由已训练的第一神经网络模块CNN馈入到已训练的第二神经网络模块MLP中。已训练的第二神经网络模块MLP从第一神经网络模块CNN的输出数据集FEA推导出输出数据集，输出数据集根据上述训练目标应当尽可能正确地说明所记录的对象OBJ的对象类型。当前的实施例中假设：已训练的第二神经网络模块MLP的输出数据集说明对象OBJ的对象类型OT1。

从已训练的第一神经网络模块CNN生成的图像特征FEA以及所得出的对象类型OT1被传输给图像评估装置BA的选择模块SEL。选择模块SEL与相应的特定于对象配置的概率分类器BMLP1、BMLP2、……耦联，并且用于根据分别推导出的对象类型选择概率分类器BMLP1、BMLP2、……之一。在当前的实施例中，将OT1作为对象类型得出，因此，通过选择模块SEL选择特定于对象类型OT1的概率分类器BMLP1。

此外，如图2中通过虚线箭头所示，图像特征FEA从选择模块SEL专门被传输给所选择的概率分类器BMLP1。所选择的分类器BMLP1将图像特征FEA根据其相关性参数CP1和/或通过比较来与第一神经网络模块CNN的所存储的训练输出数据集或图像特征相关联。在此，优选地得出如下对象亚类型，其根据相关性参数CP1与图像特征FEA最佳相关，即具有最大或足够大的相关性。替选地或附加地，可以确定图像特征FEA与第一神经网络模块CNN的所存储的训练输出数据集或图像特征之间的间距。在这种情况下，可以得出如下对象亚类型，与该对象亚类型相关的训练输出数据集具有最小或足够小的间距。以上述方式得出的对象亚类型可以被理解为对象OBJ的最可能的对象亚类型OST。

通过已训练的第二神经网络模块MLP得出的对象类型OT1和在此通过分类器BMLP1得出的对象亚类型OST最终通过图像评估装置BA作为对象OBJ的分类结果输出。

通过将分类任务划分为数据驱动的对象类型识别(通常也称为大数据方案)和也适于少量训练数据(小数据)的概率对象亚类型识别，通常可以显著改进识别可靠性。这尤其适用于识别罕见对象类型的对象亚类型。

除了上述在医学诊断中的应用之外，根据本发明的配置方法和/或图像评估方法还可以在许多其他工程领域中用于对所成像的对象进行高效分类。因此，例如用于对工程或非工程系统的光学监控(诸如生产设施或农业地区的光学监控)，用于自主系统的光学传感装置或还用于普通的光学分类任务。