首页> 中国专利> 可视化分析装置和视觉学习方法

可视化分析装置和视觉学习方法

摘要

一种表征样本容器中的样本的方法包括捕捉样本容器的一个或多个图像,其中一个或多个图像包括样本容器的一个或多个对象,并且其中捕捉从多个像素生成像素数据。该方法还包括从一个或多个对象标识一个或多个选择的对象,显示样本容器的图像,以及在样本容器的图像上显示用于标识一个或多个选择的对象的像素的一个或多个位置。公开了其他装置和方法。

著录项

说明书

相关申请

本申请要求于2018年9月20日提交的并且标题为“MACHINE LEARNING FOR IMAGEANALYSIS VISUALIZATION TOOL,”的美国临时专利申请号62/733,972的优先权,出于所有目的,通过引用将其全部并入本文。

技术领域

本公开的实施例涉及用于在自动诊断分析系统中表征样本的方法和装置。

背景技术

自动诊断分析系统可使用一个或多个试剂进行化验或临床化学分析,以标识生物液体(bio-liquid)样本(例如,离心的全血采样的血清或血浆部分)中的分析物或其他成分。自动测试技术的改进伴随着称为实验室自动化系统(LAS)的自动样本准备系统的分析前(pre-analytical)样本准备和处理操作的相应进展,分析前样本准备和处理操作诸如是分拣(sorting)、批准备、样本容器的离心以分离样本分量、盖移除以促进流体进入、诸如针对HILN(溶血、黄疸和/或脂血或正常)确定的预筛选以及诸如此类。LAS还可以自动将样本容器中的样本运输到多个样本处理站,因此各种操作(例如,预分析和/或分析测试)可以在其上执行。

自动预筛选可以由自动机器视觉检查装置执行。HILN预筛选涉及在分馏的(fractionated)全血样本(例如离心的样本)的血清或血浆部分中的诸如H、I和/或L之类的干扰物的自动检测。预筛查还可以涉及确定(例如,血清或血浆部分或沉降的红细胞部分的)一个或多个成分的体积、管类型和/或样本容器的大小、管是否加盖、盖类型、样本容器上标签的状态以及其他确定。

发明内容

在第一方面中,提供了一种标识样本容器的对象的方法。该方法包括捕捉样本容器的一个或多个图像,该一个或多个图像包括样本容器和样本的一个或多个对象,该捕捉从多个像素生成像素数据;使用一个或多个神经网络从一个或多个对象标识一个或多个选择的对象;显示样本容器的图像;以及在样本容器的图像上显示一个或多个神经网络用来标识一个或多个选择的对象的像素的一个或多个位置。

在第二方面中,提供了一种质量检查模块。质量检查模块包括一个或多个图像捕捉设备,其可操作为从样本容器的一个或多个视点捕捉一个或多个图像,其中捕捉一个或多个图像从多个像素生成像素数据,以及与所述一个或多个图像捕捉设备耦合的计算机。该计算机被配置并且可操作(能够被操作)为:使用一个或多个神经网络从样本容器的一个或多个对象标识一个或多个选择的对象;显示样本容器的图像;以及在样本容器的图像上显示一个或多个神经网络用来标识一个或多个选择的对象的像素的一个或多个位置。

在另一方面中,提供了一种样本测试装置。样本测试装置包括轨道;载体,其可在轨道上移动并被配置为包含样本容器,样本容器在其中包含样本的血清或血浆部分;多个图像捕捉设备,被布置在轨道周围并且可操作以从样本容器和样本的血清或血浆部分的一个或多个视点捕捉一个或多个图像,其中捕捉一个或多个图像生成包括多个像素的像素数据;以及耦合到多个图像捕捉设备的计算机。该计算机被配置为和可操作为:使用一个或多个神经网络从样本容器的一个或多个对象标识一个或多个选择的对象;显示样本容器的图像;以及在样本容器的图像上显示一个或多个神经网络用来标识一个或多个选择的对象的像素的一个或多个位置。

附图说明

以下描述的附图用于说明目的并且不一定按比例绘制。因此,附图和描述本质上应被认为是说明性的并且不应被认为是限制性的。附图无意以任何方式限制本公开的范围。

图1A示出了根据一个或多个实施例的样本测试装置的示意性俯视图,样本测试装置包括一个或多个质量检查模块,质量检查模块被配置为执行视觉(光学)分析方法。

图1B示出了根据一个或多个实施例的质量检查模块(顶部被示出为被移除)的示意性俯视图,质量检查模块包括样本容器的多个视点,质量检查模块被配置为捕捉和分析样本容器的多个背光图像。

图1C示出了根据一个或多个实施例的沿着图1B的剖面线1C-1C截取的图1B的质量检查模块(移除了前壳体壁)的示意性侧视图。

图2A示出了根据一个或多个实施例的加盖的样本容器的侧视图,加盖的样本容器包括分离的样本,该样本包括血清或血浆部分以及沉降的血液部分。

图2B示出了根据一个或多个实施例的位于载体中的加盖的样本容器的侧视图,该样本容器包括具有血清或血浆部分和沉降的血液部分的分离样本。

图3示出了描绘根据一个或多个实施例的处理的流程图,该处理可以由计算机对由质量检查模块中的图像捕捉设备生成的像素数据执行。

图4A示出了根据一个或多个实施例的包括分割的样本、气隙和盖的图2A的加盖的样本容器的分割的侧视图。

图4B示出了根据一个或多个实施例的包括分割的样本、气隙、样本载体和盖的图2B的加盖的样本容器的分割的侧视图。

图5A示出了根据一个或多个实施例的在显示器上显示的图4A的分割图像的对象。

图5B示出了根据一个或多个实施例的在显示器上显示的图4B的分割图像的对象,其包括显示的载体。

图5C示出了根据一个或多个实施例的包括具有覆盖的(overlaid)激活图的样本容器的图像的显示的图像,其中算法使用捕捉图像的正确区域来标识盖。

图5D示出了根据一个或多个实施例的包括具有覆盖的激活图的样本容器的图像的显示的图像,其中算法使用捕捉图像的不正确区域来标识盖。

图6示出了根据一个或多个实施例的分割图像的方法的功能流程图和装置。

图7示出了描述根据一个或多个实施例的表征方法的功能流程图和装置,其中,对样本容器的图像中的许多对象进行表征或分类。

图8示出了描述根据一个或多个实施例的另一表征方法的流程图。

具体实施方式

自动诊断分析系统可以使用一个或多个试剂进行化验或临床化学分析以标识样本中的分析物或其他成分,样本诸如是尿液、血清、血浆、间质液、脑脊髓液以及诸如此类。此类样本通常包含在样本容器(例如样本收集管)内。测试反应生成各种改变,所述各种改变可以被读取和/或操纵以确定样本中存在的分析物或其他成分的浓度。

对于某些测试,可以分析生物液体,诸如(通过离心从全血获得的)血清或血浆部分。在样本是全血时,可以将凝胶分离器添加到样本容器,以帮助将沉降的(settled)血液部分与血清或血浆部分分离。诸如真空或气隙之类的空隙可以位于血清或血浆部分与样本容器的顶部之间。样本容器可以是管并且可以被或可以不被具有特定颜色或其他盖标识符的特定类型的盖所盖住。另外,样本容器可以位于样本载体中,该样本载体将样本容器运输到各个位置,诸如遍及自动诊断分析系统的位置。

在预处理操作期间,可以分析样本容器以确定样本容器和/或位于其中的样本的某些性质。预处理可以包括机器视觉检查,该机器视觉检查使用光学器件和人工智能来确定样本容器和/或位于其中的样本的性质。一个或多个图像捕捉设备可以捕捉样本容器的一个或多个图像并生成表示样本容器的图像的像素数据(例如,图像数据)。计算机接收像素数据并且可以分割图像。分割可涉及将像素分类为可对应于图像中包含的对象的一或多个类别,诸如样本(例如,血清或血浆部分、沉降的血液部分、凝胶分离器)、样本容器(例如,管)和/或位于其上的盖。像素的类别可以对应于样本容器的不同对象。例如,一个或多个神经网络可以使用像素的第一类别来标识样本容器的盖并且一个或多个神经网络可以使用像素的第二类别来标识样本的血清或血浆部分。

诸如卷积神经网络(CNN)或其他合适的神经网络之类的神经网络(例如,训练的神经网络)可以分析像素的不同类别以确定样本容器和/或位于其中的样本的性质。关于上述示例,神经网络可以分析像素的第一类别并确定样本容器是否被盖住。如果是,则神经网络可以进一步确定盖的颜色和/或盖的类型。神经网络可以分析像素的第二类别并确定它们是样本的血清或血浆部分。神经网络可以进一步分析像素的第二类别以确定血清或血浆部分是否包含溶血、黄疸和/或脂血,或者是正常的。基于对像素数据的分析,机器视觉检查装置可以输出标识样本和/或样本容器性质的某信息。

诸如实验室技术人员之类的用户可以接收由机器视觉检查装置生成的信息。在常规系统中,自动机器检查装置是黑匣子结构,因为它们仅向用户提供关于由自动检查装置做出的确定的输出信息,并且不提供关于如何导出确定的任何标准。因此,用户可能不确定如何做出自动机器检查装置的确定。例如,常规的机器视觉检查装置仅输出样本和/或样本容器性质并且不输出关于用于导出性质的分析的信息。因此,用户可能不确定机器视觉检查所达到的确定实际上是正确的。

鉴于这些缺陷,本文公开的机器视觉检查装置和方法提供关于如何确定样本和/或样本容器性质的信息。因此,用户可以确定机器视觉检查装置在其确定样本和/或样本容器的性质时分析了图像的正确部分。本文公开的机器视觉检查装置和方法可以提供关于用于确定样本和/或样本容器的性质的像素的类别的位置的视觉信息。例如,机器视觉检查装置可以显示至少部分地表示样本容器的图像。显示的图像可以包括描绘的区域,该描绘的区域与不同类别的像素所位于的所捕捉的图像中被标识对象的区域相对应。在一些实施例中,所显示的图像可以包括对应于装置用于标识原始图像中的某些对象的原始图像中的像素的位置的像素的不同颜色、像素的不同强度或其他合适的标记(例如,虚线(dotted)或彩色边界、影线(hatching)、阴影以及诸如此类)。

在一些实施例中,机器视觉检查装置可以生成激活图,该激活图是可以提供关于图像中的每个像素对于诸如标识对象之类的做出确定有多重要的分数的图像。在一些实施例中,激活图可以提供在标识期间使用的像素的位置。激活图可以称为显着(saliency)图、学习的特征可视化、遮挡图和类别激活图。在一些实施例中,激活图中表示的像素的亮度取决于在做出确定中像素的有用性。例如,激活图中的较亮的像素可以是提供更有用信息的像素,并且较暗像素可以是提供不太有用的信息或不提供信息的像素。在一些实施例中,可以为用户显示覆盖有激活图的样本容器的图像。

参考以上示例,在一些实施例中,所显示的图像可以包括指示像素的第一类别位于何处的第一突出显示区域或以其他方式描绘的区域。在第一示例中,像素的第一类别位于样本容器的盖区域中。因此,可以描绘或以其他方式区分所显示图像的盖区域以示出像素的第一类别在盖区域中并且盖性质是从那些特定像素导出的。另一个显示的图像可以包括指示像素的第二类别的物理位置的第二描绘的区域。在该示例中,像素的第二类别可以位于样本的血清或血浆区域中。因此,可以描绘所显示的图像的血清或血浆部分以显示像素的第二类别在所显示的图像的血清或血浆区域中。图像的描绘部分是通过突出显示该对象的某些特征而易于与图像其他部分区分开的图像的部分。描绘相应的部分(例如,描绘的对象)可以包括诸如通过提供变暗的(例如,加粗的)或着色的边界、提供诸如影线填充图案或其他填充图案之类的图像的一部分的填充,或仅显示图像的所述部分、提供独特的颜色和/或使用独特的阴影以及诸如此类来使图像的所述部分着色或变暗。可以通过在显示的图像上叠加任何合适的图形或用图形替换该部分来完成描绘。在一些实施例中,描绘相应的部分可以闪烁(flash)或以其他方式改变强度。

在其他实施例中,描绘的图像可以包括覆盖在原始图像或原始图像的表示上的激活图。不同的像素强度,诸如较亮的像素,可以指示在做出确定和/或标识中更有用的像素。在一些实施例中,较亮的像素或由较亮的像素组成的区域构成图像的描绘的部分。

显示的图像的(一个或多个)描绘的部分向用户提供了当机器视觉检查装置做出关于样本容器的对象或包含在样本容器中的对象的性质和/或位置的确定时机器视觉检查装置已经分析了图像的正确部分的置信度(confidence)。例如,当机器视觉检查装置提供关于盖的信息时,所述信息诸如是其颜色以及可能的该颜色表示什么,和/或盖类型,所显示的图像可以描绘样本容器的盖区域。然后,用户确信机器视觉检查装置在其标识盖时没有分析其他区域,诸如血清或血浆区域、气隙或另一几何特征。

将参考本文图1A-8进一步描述表征和视觉验证方法、被配置为执行表征和视觉验证方法的装置、系统和质量检查模块以及包括一个或多个质量检查模块的样本测试装置的进一步细节。

现在参考图1A-1C。图1A示出了能够自动处理其中包含样本106(图1C)的多个样本容器104的样本测试装置100。图1B示出了根据一个或多个实施例的质量检查模块102(顶部被移除)的示意性俯视图,质量检查模块102包括样本容器104的多个视点并且被配置为捕捉和分析样本容器104的多个图像。图1C示出了根据一个或多个实施例的沿着图1B的剖面线1C-1C截取的图1B的质量检查模块102(移除了前壳体壁)的示意性侧视图。样本容器104可以在运输至一个或多个分析器(例如,第一分析器112、第二分析器114和/或第三分析器116)并由一个或多个分析器(例如,第一分析器112、第二分析器114和/或第三分析器116)进行分析之前被提供在装载区域110处的一个或多个架子(rack)108中,一个或多个分析器(例如,第一分析器112、第二分析器114和/或第三分析器116)围绕样本测试装置100布置。可以使用更多或更少数量的分析器。分析器可以是临床化学分析器和/或化验仪器或诸如此类的任何组合。可以在样本测试装置100中提供其他合适的处理设备。样本容器104可以是任何合适的透明或半透明的容器,诸如血液收集管、试管、采样杯、比色皿或其他透明或不透明玻璃或塑料容器,其能够包含并允许对其中包含的样本106进行成像。样本容器104的大小(例如,高度和/或直径)可以变化。

更详细地,样本测试装置100可以包括可以在其上安装或支撑轨道122的基座120(例如,框架、地板或其他结构)。轨道122可以是有轨(railed)轨道(例如,单轨道或多轨道)、传送带、传送链、可移动平台的集合或任何其他合适类型的传送机构。在一些实施例中,轨道122可以是圆形的或任何其他合适的形状,并且可以是闭合的轨道(例如,环形(endless)轨道)。轨道122可以在操作中将样本容器104中的个体样本容器在载体124中运输到围绕轨道122间隔的各个位置。

载体124可以是被动的(passive)、非机动的(non-motored)圆盘(puck),其可以被配置为在轨道122上承载样本容器104,或者可选地,可以是包括诸如线性电动机之类的机载驱动电动机的自动载体,自动载体被编程为围绕轨道122移动并停在预编程的位置处。可以使用载体124的其他配置。在一些实施例中,在从一个或多个架子108卸载之后,载体124可以从装载区域110离开。装载区域110可以起到双重功能,即还允许在预筛选和/或分析完成后将样本容器104从载体124重新装载到装载区域110。否则,可以丢弃样本容器104。

机器人126可以被提供在装载区域110处,并且可以被配置为从一个或多个架子108抓取样本容器104,并将样本容器104装载到载体124上,诸如装载到轨道122的输入通道上。机器人126也可以被配置为将样本容器104从载体124重新装载到一个或多个架子108或否则丢弃样本容器104。机器人126可以包括一个或多个(例如,至少两个)机器人臂或能够X(侧向)和Z(竖直-页面外,如所示)、或X、Y和Z、或r(径向)和Z(竖直)、塞塔(theta)(旋转)和Z(竖直)运动的部件。机器人126可以是龙门机器人、多关节机器人、R-塞塔机器人、塞塔-Z机器人或其他合适的机器人,其中机器人126可以配备有机器人爪指(gripper finger),其被定向、取大小和配置为拾取并放置样本容器104。

在被装载到轨道122上时,由载体124承载的样本容器104可以前进到作为预处理模块130的一个或多个预处理模块。例如,预处理模块130可以是被配置为进行样本106的分馏(fractionation)的自动离心机。可以将承载样本容器104的载体124通过流入通道或其他合适的机器人转移到预处理模块130。在被离心之后,样本容器104可以在流出通道上退出,或者以其他方式由机器人移除,并且沿着轨道122继续。在所描绘的实施例中,接下来可以将载体124中的样本容器104运输到质量检查模块102以执行如在本文中进一步描述的预筛选。可以在轨道122上或沿轨道122的一个或多个位置处提供(一个或多个)附加站。(一个或多个)附加站可以包括解盖(de-capping)站、等分(aliquoting)站、一个或多个附加预处理模块130、一个或多个附加质量检查模块102以及诸如此类。

样本测试装置100可以在轨道122周围的一个或多个位置处包括多个传感器132。传感器132可以用于通过读取标识信息234i(图2A)或在每个样本容器104上提供的类似信息(未示出)来检测轨道122上的样本容器104的位置。可以使用用于跟踪位置的任何合适的手段,诸如接近传感器、RFID传感器或诸如此类。所有传感器132都可以与计算机136对接,使得可以始终知道每个样本容器104的位置。

预处理站和分析器112、114和116可配备有被配置为从轨道122移除载体124的机器人机构和/或流入通道,以及配备有被配置为使载体124重新进入轨道122的机器人机构和/或流出通道。

样本测试装置100可以由计算机136控制,计算机136可以是基于微处理器的中央处理单元(CPU),其具有合适的存储器以及合适的调节电子器件和驱动器,用于操作各种系统部件。计算机136可以作为样本测试装置100的基座120的部分被容纳或与之分离。计算机136可以可操作以控制载体124去往和来自装载区域110的移动、围绕轨道122的运动、去往和来自预处理模块130的运动以及预处理模块130(例如离心机)的操作、去往和来自质量检查模块102的运动以及质量检查模块102的操作以及去往和来自每个分析器112、114、116的运动以及用于执行各种类型的测试(例如化验或临床化学)的每个分析器112、114、116的操作。计算机136还可以执行其他功能,诸如执行本文所述的一个或多个神经网络。在一些实施例中,分离的计算机可以与每个部件相关联,并且它们都可以通过本地服务器和/或诸如以太网之类的通信链路彼此对接。

现在参考图1B和1C,它们示出了质量检查模块102的实施例,该质量检查模块102被配置为执行如本文所示和所述的表征和视觉验证方法。质量检查模块102可以被配置为预筛选样本容器104和/或位于其中的样本106。预筛选可以确定样本容器104和/或位于其中的样本106的若干性质。例如,样本容器104可包括管138,其中盖140在管138上可以是可接收的(receivable)以密封管138。预筛选可确定盖140是否位于管138上,并且如果是,则确定盖140的颜色和/或了类型。预先筛选还可以针对诸如其中的溶血、黄疸和脂血之类的干扰物的存在以及可能的存在的特定干扰物的程度(例如指数)来分析样本106。如下所述,预筛选可以分析样本106和/或样本容器104以确定其他性质,诸如管类型、管高度、管直径以及诸如此类。

质量检查模块102可以包括一个或多个图像捕捉设备142A、142B、142C。图1B中示出了三个图像捕捉设备142A-142C,但是可选地,可以使用两个或四个或更多。图像捕捉设备142A-142C可以是用于捕捉定义明确的数字图像的(一个或多个)任何合适的设备,诸如能够捕捉像素化图像的常规数字照相机、电荷耦合设备(CCD)、光电探测器的阵列、一个或多个互补金属氧化物半导体(CMOS)传感器或诸如此类。图1B中示出的三个图像捕捉设备142A-142C被配置为从三个不同的侧向视点(标记为1、2和3的视点)捕捉图像。在一些实施例中,捕捉的图像大小可以是大约2560×694像素(例如,高度×宽度)。在其他实施例中,图像捕捉设备142A-142C可以捕捉例如可以是大约1280×387像素的图像大小。可以捕捉其他图像大小。

每个图像捕捉设备142A-142C可以被配置并且可操作为捕捉样本容器104的至少一部分以及位于其中的样本106的至少一部分的侧向图像。图像捕捉设备142A-142C可以生成表示所捕捉的图像的图像数据或像素数据。在所示的实施例中,多个图像捕捉设备142A-142C被配置为从多个视点1-3在成像位置144处捕捉样本容器104和样本106的侧向图像。如图所示,视点1-3可以被布置为使得它们彼此大致相等地间隔,诸如彼此大约120°。如所描绘的,图像捕捉设备142A-142C可以围绕轨道122布置,在该轨道122上运输样本容器104。这样,可以在样本容器104驻留在成像位置144处的载体124中时捕捉样本容器104中的样本106的图像。图像捕捉设备142A-142C获得的多个图像的视场在周向范围(circumferentialextent)可能稍微重叠。可以使用多个图像捕捉设备142A-142C的其他布置。

在一个或多个实施例中,可以将载体124停止在质量检查模块102中的预定位置处,诸如成像位置144处。在该位置处,来自每个图像捕捉设备142A-142C的法向矢量(normal vector)彼此相交。可以提供载体124的门(gate)或线性电动机(未示出)以将载体124停止在成像位置144处,使得可以在那里捕捉多个图像。在一些实施例中,诸如在质量检查模块102处存在门的情况下,一个或多个传感器132可用于确定在质量检查模块102处的载体124的存在。

在一些实施例中,质量检查模块102可以包括壳体146,该壳体146可以至少部分地包围或覆盖轨道122以最小化外部照明影响。在图像捕捉序列期间,样本容器104可以位于壳体146内部。壳体146可以包括一个或多个开口和/或入口(door)146D,以允许载体124进入壳体146中和/或从壳体146退出。在一些实施例中,壳体146的顶板可以包括开口146O,以允许通过机器人(未示出)从上方将样本容器104装载到载体124中,诸如当质量检查模块102离开(locate off)轨道122时。

图像捕捉设备142A-142C可以紧密接近地提供以及被训练或聚焦以在成像位置144处捕捉图像窗口,其中图像窗口是包括样本容器104的预期位置的区域。因此,在一些实施例中,在图像捕捉之前,样本容器104可以被停止,使得其大致位于图像窗口的中心。例如,图像捕捉设备142A-142C可以捕捉粘贴至样本容器104的标签134的一部分或全部以及位于样本容器中的样本106的一部分或全部。在一些情况下,标签134可以部分地遮挡视点1-3中的至少一个的部分。在一些情况下,可以完全遮挡视点1-3中的一个或多个,即,无样本106的血清或血浆部分206SP(图2A)的清楚视图可能是可能的。然而,即使在视点1-3的一侧(正面或背面)被一个或多个标签134完全遮挡的情况下,表征方法仍然可能能够通过一个或多个标签134区分样本的不同部分的边界。

在质量检查模块102的操作中,可以响应于可以由计算机136传输的通信线路148A、148B、148C中提供的触发信号来捕捉每个图像。根据本文描述的一个或多个实施例,计算机136可以处理每个捕捉的图像。计算机136可以耦合到显示器150,显示器150可以显示图像,包括样本容器104和样本106的计算机生成的图像。在一些实施例中,可以使用高动态范围(HDR)处理来捕捉和处理来自捕捉的图像的图像数据。例如,在质量检查模块102处以多个不同的曝光(例如,在不同的曝光时间处)捕捉样本106的多个图像,同时用一个或多个不同的光谱顺序照射。例如,在多个照明光谱中的每个处在不同曝光时间处,每个图像捕捉设备142A-142C可以捕捉包括血清或血浆部分106SP(图2A)的样本容器104的4-8个图像。例如,当样本106被具有红色光谱的光源152A背光照明时,图像捕捉设备142A可以在视点1处捕捉4-8个图像。可以在视点2和3处顺序捕捉附加的类似图像。

在一些实施例中,可以使用发射不同光谱照明的不同光源152A、152B和152C来完成捕捉多个光谱图像。光源152A-152C可以背景照亮样本容器104(如所示)。在一些实施例中,光扩散器(未示出)可以与光源152A-152C结合使用。多个不同光谱的光源152A-152C可以是红色、绿色、蓝色(RGB)光源,诸如发射634nm +/- 35nm(红色)、537nm +/- 35nm(绿色)和455nm +/- 35nm(蓝色)的标称波长的发光二极管(LED)。在其他实施例中,光源152A-152C可以是白光源。在标签134遮盖多个视点的情况下,可以使用红外(IR)背光照明或近红外(NIR)背光照明。此外,即使在存在标签遮挡时,在某些情况下也可以使用RGB光源。在其他实施例中,光源152A-152C可以发射具有在大约700 nm与大约1200 nm之间的标称波长的一个或多个光谱。

作为非限制性示例,为了以第一波长捕捉图像,可以使用发射红光(波长约为634nm +/- 35 nm)的三个光源152A-152C从三个侧向位置顺序照亮样本106。光源152A-152C的红色照明可能在每个图像捕捉设备142A-142C从三个视点1-3中的每个捕捉不同曝光时间处的多个图像(例如4-8个图像或更多)时发生。在一些实施例中,曝光时间可以在大约0.1ms与256 ms之间。可以使用其他曝光时间。在一些实施例中,例如,可以顺序地捕捉每个图像捕捉设备142A-142C的相应图像中的每个。因此,对于每个视点1-3,可以顺序地捕捉具有红色光谱背光照明和在不同曝光时间处的多个曝光(例如4-8个曝光)的图像的组。可以以循环(round robin)方式捕捉图像,例如,其中捕捉来自视点1的所有图像,然后依次捕捉视点2和3。

一旦在图1B-1C的实施例中捕捉了红色背光照明的图像,就可以由光源152A-152C发射另一个光谱的光,例如绿色光谱的光(标称波长为约537 nm,具有约+/- 35 nm的带宽),并且在不同曝光时间处的多个图像(例如,4-8个或更多图像)可以由每个图像捕捉设备142A-142C顺序地捕捉。对于每个图像捕捉设备142A-142C,可以用光源152A-152C发射的蓝色光谱的光重复该过程。例如,光源152A-152C发射的不同的标称波长光谱的光可以通过包括可选择性地打开和关闭的不同期望的光谱光源(例如,R、G、B、W、IR和/或NIR)的组(bank)的灯板(light panel)来完成。可以使用用于背光照明的其他装置。

在一些实施例中,可以快速连续地捕捉针对每个相应的波长光谱的在多个曝光(例如,曝光时间)处捕捉的多个图像,使得可以在例如少于几秒钟的时间内捕捉从多个视点1-3的样本容器104和样本106的背光图像的整个收集(collection)。在一些实施例中,使用图像捕捉设备142A-142C和具有可以是RBG光源的光源152A-152C的背景照明的在三个视点1-3处针对每个波长的四个不同的曝光图像导致4个图像x 3个光谱x 3个图像捕捉设备=36个图像。在另一个实施例中,使用图像捕捉设备142A-142C以及具有可以是R、G、B、W、IR和NIR光源的光源152A-152C的背景照明的在三个视点处针对每个波长的四个不同的曝光图像导致4个图像×6个光谱x 3个照相机 = 72个图像。可以捕捉其他数量的图像。

根据表征和视觉验证方法的实施例,计算机对图像数据或像素数据的处理可以涉及图像预处理,该图像预处理包括例如从每个波长光谱的不同曝光时间处并且针对每个图像捕捉设备142A-142C的多个捕捉的图像选择最佳曝光像素,以便针对每个光谱并且针对每个视点1-3生成最佳曝光的像素数据。

对于来自由每个图像捕捉设备142A-142C捕捉的图像中的每个的每个对应像素(或像素的小块(patch)),可以从针对每个视点1-3的每个不同的曝光图像选择展现最佳图像强度的像素(或像素的小块)。在一些实施例中,最佳图像强度可以通过落在强度的预定范围内的像素(或小块像素)的数量确定,最佳图像强度诸如例如在0-255的标度(scale)上在180与254之间。在另一个实施例中,最佳图像强度可以例如在0-255的标度上在16与254之间。如果确定两个曝光图像的对应像素(或像素的小块)位置中的一个以上像素(或像素的小块)被最佳地曝光,则可以选择具有较高总强度的图像。

展现最佳图像强度的选择的像素(或像素的小块)可以通过它们相应的曝光时间进行归一化。结果是针对照明光谱(例如,R、G、B、白光、IR和/或NIR——取决于所使用的组合)以及针对每个图像捕捉设备142A-142C的多个归一化和合并的光谱图像数据集合,其中所有像素(或像素的小块)被最佳地曝光(例如,每个光谱一个图像数据集合)并被归一化。换句话说,对于每个视点1-3,由计算机136执行的数据预处理可以导致多个最佳曝光和归一化的图像数据集合,一个针对所采用的每个照明光谱。

像素数据的处理可以进一步涉及分割像素化图像。例如,分割可以涉及将像素数据内的像素分类为表示图像内的不同对象。分割过程可以生成在后处理步骤中使用的分割数据,以量化样本容器104和/或样本106的方面,即确定样本容器和/或样本106的某些物理尺寸特性,或样本106中的成分,诸如HIL,如本文所述的那样。

现在另外参考图2A和2B。图2A示出了根据一个或多个实施例的包括样本106的样本容器104的侧视图。图2B示出了位于载体124内的图2A的样本容器104的侧视图。样本106可以包括凝胶分离器252,其将样本106的血清或血浆部分206SP与样本106的沉降的血液部分206SB分离。气隙254可以位于在血清或血浆部分206SP上方并且将在气隙254与血清或血浆部分206SP之间的划界(demarcation)的线定义为液-气界面(LA)。在一些实施例中,气隙254可以是真空或空隙。盖140可以密封样本容器104。

通过分割至少部分地确定的物理特性可以包括样本容器104的顶部(TC)的位置、样本容器104的高度(HT)、样本容器104的宽度(W)、样本容器104的内部宽度(Wi)和管138的壁的厚度(Tw)。此外,分割数据可以提供液-气界面(LA)的位置、样本106的总高度(HTOT),以及凝胶分离器252的上部位置(GU)和下部位置(GL)。上部位置(GU)和下部位置(GL)之间的差提供了凝胶分离器252的高度(HG)。特性可以进一步包括血清或血浆部分206SP的高度(HSP)和沉降的血液部分206SB的高度(HSB)。分割还可以提供盖140、气隙254、血清或血浆部分206SP、凝胶分离器252,沉降的血液部分206SB、样本容器104和载体124的大小和位置。分割也可以包括估计血清或血浆部分206SP的体积和/或沉降的血液部分206SB的体积,以及两者之间的比。还可以确定其他对象的位置和其他可量化的几何特征,诸如诸如盖140之类的各种部件的颜色或盖140的类型。

在一些实施例中,样本容器104可以配备有标签134,该标签134在其上可以包括标识信息234i(即,标记),诸如条形码、字母、数字或其组合。标识信息234i可以在包括质量检查模块102(图1A)处的各个位置处是机器可读的。机器可读标识信息234i可以比标签材料(例如,白色)更暗(例如,黑色),使得标识信息234i可以容易地成像。标识信息234i可以经由实验室信息系统(LIS)指示患者的标识以及将在样本106上执行的测试或可能否则与它们相关。标识信息234i可以指示其他或附加信息。

上述标识信息234i可以被提供在标签134上,标签134可以粘贴到样本容器104的外表面上或以其他方式被提供在样本容器104的外表面上。在图2A和图2B中所示,标签134可能不一直围绕样本容器104延伸或不全部沿着样本容器104的长度延伸,使得从所示的特定前视点,血清或血浆部分206SP的大部分是可见的并且不受标签134的阻碍。在一些实施例中,可能已经提供了多个标签(诸如来自已经处理了样本容器104的多个设施),并且多个标签可以在某种程度上彼此重叠。例如,可以提供两个标签(例如,制造商的标签和条形码标签)并且所述两个标签可以重叠以及可以遮挡(阻碍)一个或多个视点中的一些或全部。本文所述的分割过程可以在样本容器104上标识和定位(一个或多个)标签134,并且还可以提供(一个或多个)标签134的形状和/或大小。本文所述的分割过程还可以确定(一个或多个)标签是否是损坏的或否则不可读取的。在一些实施例中,分割过程可以包括读取(一个或多个)标签134。

另外参考图3,其示出了描绘可以由计算机136或其他合适的处理器设备对像素数据执行的处理的方法360的流程图。在方法360的功能块362中,计算机136接收表示样本容器104的像素数据。像素数据可以是样本容器104的图像数据。像素数据也可以表示保持样本容器104和/或位于样本容器104中的样本106的载体124。在一些实施例中,计算机136可以使机构(未示出)将轨道122或轨道122上的载体124移动到壳体146内的成像位置144。然后,计算机136可以生成信号并将其传输到光源152A-152C,这使光源152A如上所述地那样照亮样本容器104和/或载体124。例如,由计算机136生成并传输到光源152A-152C的信号可以使光源152A-152C如上所述地那样生成特定强度和波长的光。

更详细地,当样本容器104和/或载体124被照亮时,计算机136可以生成信号并经由通信线路148A-148C将信号传输到图像捕捉设备142A-142C,使得图像捕捉设备142A -142C捕捉样本容器104和/或载体124的图像。计算机136生成并传输到图像捕捉设备142A-142C的信号可能使得个体图像捕捉设备142A-142C捕捉样本容器104和或载体124的图像。在其他实施例中,由计算机136生成和传输的信号可以使得图像捕捉设备142A-142C同时或顺序地捕捉样本容器104和/或载体124的图像。当图像捕捉设备142A-142C捕捉图像时,图像捕捉设备142A-142C生成表示捕捉的图像的像素数据(否则称为“图像数据”),其中像素值是指像素数据中的个体像素的数值(例如强度和/或波长值)。有时,术语“像素”是指像素数据中的像素值。如图1B中所示,图像捕捉设备142A-142C围绕图像位置144布置,其中样本容器104可以居中地位于其中。因此,由图像捕捉设备142A-142C生成的累积像素数据可以表示样本容器104和/或载体124的360°视图。可以经由通信线路148A-148C向计算机136传输由图像捕捉设备142A-142C生成的像素数据。

计算机136可以通过使用在计算机136上执行的程序来处理像素数据。在功能块364中,在计算机136上执行的神经网络可以将图像捕捉设备142A-142C捕捉的一个或多个图像分割为一个或多个对象,如下文更详细描述的那样。一个或多个神经网络可以包括卷积神经网络(CNN)、分割卷积神经网络(SCNN)、深度语义分割网络(DSSN)以及其他类似的分割神经网络。例如,在计算机136上执行的分割程序可以处理或分割像素数据以标识像素的类别。像素的类别是具有相同或相似特性的像素。例如,一类像素可以具有相同或相似的波长、强度和/或区域位置的像素值。不同类别的像素可以位于与构成样本容器104和/或载体124的不同对象相对应的图像的不同区域中。单个对象的像素的个体类别可以具有相似的颜色并且可以彼此接近定位。例如,表示盖140的像素的类别可以在盖140的位置,并且可以全部具有接近相同的颜色(例如,光的波长)。同样,表示样本106的像素的类别可以具有某些颜色,并且在被定义为样本容器的区域内彼此接近定位。

在一些实施例中,诸如通过任何合适的分类过程,向图像中的每个像素分配类别。例如,可以将第一波长的像素分配给第一类别(例如,盖),并且可以将第二波长的像素分配给第二类别(例如,血清或血浆部分)。诸如强度之类的其他标准可用于将像素分配给不同的类别。

可以通过在计算机136(图1B)上执行的神经网络(例如,训练的神经网络)来执行分割和标识。例如,上述SCNN可以包括在一些实施例中包括多于100个操作层的DSSN。拥有这样的深网络的益处在于,它可以增加网络接收域(field),利用更多的上下文信息而不是小的局部区域。此外,密集连接的网络将特征从低级连结(concatenate)到高级层,以及从编码连结到解码区域。通过这样做,与被配置用于相同任务的其他卷积神经网络相比,可以更容易地训练DSSN 以从图像识别更详细的特征。SCNN 可以包括其他神经网络。

为了克服可能由样本容器类型(例如,大小和/或形状)的变化引起的外观差异,SCNN 可以在DSSN 的前端处包括小容器分割网络(SCN)。SCN 可以被配置为并且可操作为确定容器类型和容器边界。容器类型和容器边界信息可以经由附加输入通道被输入到DSSN,并且在一些实施例中,SCNN可以提供作为输出的确定的容器类型和边界。在一些实施例中,SCN可以具有与DSSN类似的网络结构,但是更浅(即,具有少得多的层)。

另外参考图4A和图4B,它们示出了与图像中的各种对象相对应的像素的类别的位置的示例。在某些情况下,并非像素的所有类别都将对应于对象。第一分割图像404A示出了来自图2A中所示的图像的像素的类别及其对应对象的示例。第二分割图像404B示出了来自图2B中所示的图像的像素的类别及其对应对象的示例。在图4A和图4B的实施例中,在计算机136上执行的诸如一个或多个神经网络之类的程序已经将图像数据处理并分割成像素的组,诸如按类别。如下面更详细描述的,像素的类别可以对应于构成样本容器104(包括管138和盖140)和/或载体124和/或样本106的部件的对象的位置。类别可以指(一个或多个)所捕捉图像中的其他对象。

在图4A和图4B的实施例中,在计算机136(图1B)上执行的程序已经标识了可以对应于多个对象的多个像素类别。如功能框366(图3)中所述,计算机136现在可以标识由像素的一或多个类别定义的一个或多个对象及其边界。在图4A和4B中描绘的分割的对象包括分割的盖440、分割的气隙454、分割的标签434、分割的血清或血浆部分406SP、分割的凝胶分离器452和分割的沉降血液部分406SB的区域和边界。图4B的图像还包括分割的载体424。标识过程可以标识比图4A和4B中所示的那些更少或更多的对象或像素的类别。

标识过程可以由诸如卷积神经网络(CNN)之类的神经网络和在计算机136中执行的其他程序来执行,如上所述。作为示例,在计算机136中执行的程序可以将构成分割的盖440的像素的一个或多个类别标识为盖140(图2A-2B)。另外,程序可以标识盖140的颜色和/或其他物理特性,诸如盖类型和/或盖尺寸。在一些实施例中,程序可以将分割的标签434标识为标签134(图2A)。在一些实施例中,程序可以读取位于标签134上的标识信息234i。在一些实施例中,程序可以标识标签134的物理状况,以确定标签134是否损坏或不可读取。

在一些实施例中,在计算机136上执行的程序可以将构成分割的血清或血浆部分406SP的像素的(一个或多个)类别标识为血清或血浆部分206SP(图2A和2B)。在一些实施例中,在计算机136上执行的程序可以进一步处理构成分割的血清或血浆部分406SP的像素数据,以分析血清或血浆部分206SP,并确定血清或血浆部分206SP包含诸如溶血、黄疸和/或脂血之类的干扰物还是正常的N。如果存在的话,则在计算机136上执行的程序可以进一步确定血清或血浆部分206SP中的溶血、黄疸和/或脂血的指数。

计算机136可以向用户输出关于对象的标识的信息。例如,计算机136可以向用户输出如下信息,所述信息指示样本容器104是否包括盖140、盖140的颜色和盖的类型。同样,计算机136可以输出指示血清或血浆部分206SP(图2A和2B)是否包括诸如溶血、黄疸和/或脂血之类的干扰物以及干扰物的分类的信息。在一些实施例中,计算机136可以输出与标签134的状况有关的信息。

为了改进由计算机136和在其中执行的程序进行的标识的置信度,计算机136可以生成信号以在显示器150上显示样本容器104的图像,其中描绘的位置构成样本容器104的选择的对象,如在图3的功能块368中描述那样。在显示器150上显示的图像还可以包括构成载体124的描绘的位置。在一些实施例中,计算机136可以可操作为将激活图覆盖在样本容器104的图像之上。在这样的实施例中,激活图中像素的颜色和/或亮度可以与计算机136用来标识对象的原始像素的加权或有用性成比例。

另外参考图5A、5B、5C和5D,它们示出了可以显示在显示器150(图1B)上的样本容器104的表示。显示器150可以是OLED、LED、LCD、等离子、CRT或诸如此类。可以使用其他合适的显示器。图5A示出了显示的样本容器504A和图4A的第一分割图像404A的分割对象的实施例。图5B示出了显示的样本容器504B和图4B的第二分割图像404B的分割对象的实施例,其包括显示的载体524。图5C示出了显示的图像的实施例,该显示的图像包括具有覆盖的激活图的所显示的样本容器504的图像,其中在计算机136(图1)上执行的程序使用图像的正确区域中的像素来适当地标识盖540(图1)。图5D示出了显示的图像的实施例,该显示的图像包括具有覆盖的激活图的所显示的样本容器504的图像,其中在尝试标识盖140(图1C)时计算机136上执行的程序没有使用图像的正确区域中的像素。

在图5A的实施例中,在计算机136(图1B)上执行的程序已经显示了所显示的盖540、所显示的气隙554、所显示的标签534、所显示的血清或血浆部分506SP、所显示的凝胶分离器552以及所显示的沉降血液部分506SB。在图5B的实施例中,在计算机136上执行的程序已经附加显示了显示的载体524。

在上述示例中,在计算机136上执行的程序已标识了盖140(图2A-2B),并且可以可选地向用户提供有关盖140的性质的信息,诸如盖颜色或盖类型。在图5A的实施例中,所显示的盖540由交叉影线描绘。可以使用其他描绘,诸如所显示对象的不同颜色、标记、阴影和/或固定或可变强度。可以与描绘的盖540相邻地在显示器150上的显示名称,诸如“盖”。描绘的盖540向用户示出了在样本容器104的图像中像素数据位于何处,像素数据被一个或多个神经网络用来标识盖140。由于所标识和描绘的对象是盖140,因此用户可以确信在计算机136上执行的一个或多个神经网络正确地分析和分割和/或分类了样本容器104的图像的正确部分。如果标识的对象和显示的对象不是相同的,则用户可以确信在计算机136上执行的神经网络没有适当地标识对象。例如,如果计算机136将对象标识为血清或血浆部分206SP,但是显示了描绘的盖540,则用户可能不确信在计算机136上执行的神经网络适当地标识了血清或血浆部分206SP。

图5B的所显示的样本容器504B包括表示血清或血浆部分206SP的描绘的对象。具体地,计算机136可以显示样本容器504B的图像,该图像具有构成样本容器104的选择的对象的像素的描绘位置。在该示例中,所选择的对象是描绘的血清或血浆部分206SP。在计算机136上执行的神经网络可以分析血清或血浆部分206SP内的像素数据,以确定血清或血浆部分206SP是否包括溶血、黄疸和/或脂血以及(一个或多个)干扰物的程度。通过在显示的血清或血浆部分506SP中描绘血清或血浆部分206SP,用户可以确信在进行干扰物确定中分析了样本容器104的图像的正确部分。如果已描绘了显示的样本容器504B中的另一个对象,则用户将不确信干扰物分析是适当的。除了描绘血清或血浆部分206SP,还可以在显示器150上显示包含溶血、黄疸或脂血或是正常的指定。可以可选地显示指数值。

在图5C的实施例中,示出了具有激活图像的覆盖的样本容器504的显示的图像,其中,激活图由虚线标识。在图5C的实施例中,在计算机136(图1)上执行的一个或多个神经网络标识盖140(图1C)。激活图显示一个或多个神经网络用于做出盖确定的像素。在一些实施例中,激活图包括像素的不同强度和/或像素的颜色,其中像素强度和/或颜色取决于一个或多个神经网络用于做出盖确定的像素的有用性或加权。在图5C的实施例中,是激活图一部分的区域560可以包括在做出盖确定中最有用的像素。区域560可以具有与显示的图像中的其他像素不同的颜色和/或强度。查看包括显示的盖540的显示的图像的用户将知道当做出盖确定时神经网络使用了盖140或盖140的区域中的像素。

现在参考图5D,其示出了显示的图像的实施例,该显示的图像包括具有覆盖的激活图的显示的样本容器504的图像,其中在计算机136(图1)上执行的一个或多个神经网络在尝试标识盖140时未使用正确的像素。在图5D的实施例中,一个或多个神经网络用来做出盖确定的像素在两个组中。第一组568A是所显示的样本容器504的图像边界之外的赝像(artifact)并且第二组568B在所显示的气隙554中。当图5D的显示的图像呈现给用户时,可以确保用户盖标识是错误的。例如,没有表示盖140的像素被用于做出盖确定。

在一些实施例中,一个或多个选择的对象被显示为置信度梯度(confidencegradient)(或水平)。例如,当标识对象时,标识过程可以基于投票或其他标准。可以将置信度梯度合并到显示的对象中以指示置信度的程度。例如,如果在计算机136(图1B)上执行的神经网络以80%的确定性确定分割的盖440(图4A)是盖140(图2A-2B),则所显示的盖540可以指示此置信度梯度。例如,显示的盖540可以包括指示80%置信度梯度的相邻文本。在其他实施例中,颜色、影线和/或显示强度可以指示置信度的水平。各种对象可以顺序显示或根据请求显示,诸如通过用户从下拉菜单或诸如此类进行选择。

在一些实施例中,在显示器150上显示的一个或多个图像包括在至少部分地表示样本容器104的图像之上覆盖表示一个或多个对象的图像。在这样的实施例中,对象的位置在它们的相应像素相对于至少部分地表示样本容器104的最佳视图的图像的位置。例如,最佳视图可以包括血清或血浆部分206SP的最暴露区域。

在图6中示出了根据一个或多个实施例的分割方法660的功能流程图和简单装置。本文中描述的分割方法660可以由在计算机136(图1B)上执行的程序执行,在计算机136(图1B)上执行的程序诸如是上述的神经网络和其他算法。样本容器104(图2A和2B)的多个图像在662处由图像捕捉设备142A-142C捕捉。如上所述,多个图像可以是在多个不同的曝光处和在多个不同的波长光谱处并且从多个视点1-3捕捉的多光谱图像。多个图像的数字图像数据可以被存储在计算机136(图1B)的存储器中。根据该图像数据,可以在计算机136上执行的664中的背景减少阶段中可选地减去背景,以降低计算机136的计算负担。背景可以是不同于与样本容器104关联的那些的图像数据的部分。可以通过减去在没有样本容器104的情况下在666中先前捕捉的参考图像或通过其他合适的背景消除方法来完成背景减少。

在图像捕捉以及在664中可选的背景减少之后,可以在668中由计算机136进行分割。在668中的分割可以包括在670中进行的图像合并(consolidation)过程。在670中的图像合并过程期间,可以逐个像素地审核每个颜色光谱(R、G、B、白光、NIR和/或IR)处以及针对每个图像捕捉设备142A-142C的各种曝光时间图像,以确定已经被最佳曝光的那些像素。对于每个对应的像素位置,选择任何最佳曝光的像素中的最佳像素,并将其包括在最佳曝光的图像数据集合中。因此,在670中的图像合并之后,可以存在针对每个光谱和针对每个图像捕捉设备142A-142C的产生的一个最佳曝光的图像数据集合。

在670中的图像合并之后或者可能与其并发,可以在672中进行统计生成过程,其中针对每个像素生成统计,诸如均值和/或协方差矩阵。然后,由多类别分类器674对关于最佳曝光的数据集合的该统计数据进行操作,以在676中提供对图像中存在的像素类别的标识。可以通过最大化针对每个像素的置信度值来确定每个像素的最终类别。对于每个像素位置,可以在像素(例如,小的超像素(super-pixel)小块(例如,11×11像素))内提取统计描述。每个超像素小块可以提供在训练和评估过程中考虑的描述符。分类器可以对特征描述符进行操作,并在测试/评估期间使用类别标签进行训练并输出类别标签。

根据668的分割过程,在676中,针对每个图像捕捉设备142A-142C的合并图像中的每个像素被赋予作为多个类别类型之一的分类。例如,类别类型可以是液体(血清或血浆部分106SP)、沉降血液部分106SB、管138、标签134、盖140、凝胶分离器252、气隙254A。根据该分割信息,可以在678中标识与上述类别相关联的对象。这可以通过将相同分类的所有像素(或像素小块)收集在一起来执行。在679中,可以在显示器150上显示所选择的对象。例如,可以通过用户选择或者通过以诸如预定或所选择的序列之类的序列显示对象来显示所选择的对象。例如,描绘的对象可以按以下顺序显示:描绘的盖540、描绘的标签534、描绘的血清或血浆部分506SP、描绘的凝胶分离器552、描绘的沉降血液部分506SB、描绘的气隙554、或甚至描绘的载体524 ,或以任何其他合适的顺序或其子集来显示。

图7示出了表征方法700的流程图,其中许多项目可以由更广泛的表征方法700使用质量检查模块102(图1A)来表征或分类。根据表征方法700的一个或多个实施例,在704中诸如由多个图像捕捉设备142A-142C捕捉图像。由图像捕捉设备142A-142C捕捉的图像可以是多光谱的(例如,RGB 、W、NIR、IR)和多曝光图像,如上所述。特别地,在704中可以针对使用的光的每个波长光谱捕捉多个曝光(例如4-8个曝光)。例如,可以使用如图1B-1C中所描述的多个图像捕捉设备142A-142C和背光光源152A-152C顺序地获得针对每个图像捕捉设备142A-142C的每个曝光处的相应图像。然后可以在664中可选地处理图像,以使用参考图像666移除背景,如以上在图6的可选背景移除方法中所描述的。然后可以按照以上在图6中描述的方式或通过任何其他合适的分割方法对图像进行进一步处理以确定在668中的分割。

在668中的分割之后,样本106(图2A和2B)和样本容器104的不同对象和特性可以被标识并呈现给用户。例如,呈现给用户的图像可以包括具有覆盖的激活图的样本容器104的图像。如上所述,显示器150可以标识样本容器104上的一个或多个神经网络用来做出上述确定和/或标识的像素所位于的位置。可以在710中执行HILN(溶血、黄疸、脂血和/或正常)分类的标识。例如,计算机136可以分析分割的血清或血浆部分406SP并相应地表征血清或血浆部分206SP(图2A和2B)。表征和/或表征中使用的像素的位置可以显示在显示器150上。

可以在668中的分割之后在712中进行液体量化(quantification)。在712中的液体量化可以涉及确定样本106(图2A-2B)的某些物理和/或尺寸特性,诸如血清或血浆部分206SP(图2A-2B)的物理位置和LA、HG、GU、GL、HSP、HSB、HTOT和/或HT的位置和值。这些值、体积估计值和/或位置中的一个或多个可以与显示一个或多个神经网络用来确定如上所述的所述特性的值和/或位置的像素的位置的位置一起显示在显示器150上。可以表征样本106中的其他对象,例如凝胶分离器252(图2A-2B)和气隙254(图2A-2B)。

在714中,在668中的分割的结果还可以用于标识标签134和标签134(图2A-2B)的位置。一旦被标识,就可以读取标签134。例如,标签134可以包括诸如条形码之类的标识信息234i(图2A-2B),其可以由体现为软件以读取图像数据的条形码读取器在714中读取。包括标签134的物理状况的标签信息可以被传输到用户并且传输到数据库。显示器150可显示由一个或多个神经网络用来如上所述地分析标签134的像素的位置。

可以在716中执行盖140(图2A-2B)的表征。盖140的表征可以包括确定管138(图2A-2B)是否具有盖,并且如果是,则确定盖140的盖类型和/或颜色。可以向用户显示盖信息,包括盖140的盖类型和颜色。显示器150可以显示用来如上所述地分析盖140的描绘的像素的位置。例如,激活图可以覆盖到包括样本容器104的图像上,以向用户显示用于标识盖140的像素。

现在另外参考图8,其示出了描述表征样本容器(例如,样本容器104)中的样本(例如,样本106)的方法800的流程图。方法800包括在802中捕捉样本容器的一个或多个图像,该一个或多个图像包括样本容器和样本的一个或多个对象,该捕捉从一个或多个中的多个像素生成像素数据。该方法包括,在804中,使用一个或多个神经网络标识一个或多个对象的一个或多个选择的对象。该方法包括,在806中,显示样本容器的图像。该方法包括,在808中,在样本容器的图像上显示由一个或多个神经网络用来标识一个或多个选择的对象的像素的一个或多个位置。

尽管在本文参考具体实施例描述了本公开,但是本公开并不旨在限于所描述的细节。相反,在不脱离本公开的情况下,可以在本公开的等同物的范围内在细节上进行各种修改。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号