放射疗法治疗计划的质量保证过程

摘要

一种计算机实现的方法能够实现与放射疗法治疗计划过程相关联的专家人工审查器或人工智能(AI)误差检测引擎的测试和评估。故意误差被引入303软件模块或AI引擎的输出中，所述软件模块或AI引擎执行放射疗法治疗计划过程中的某个步骤。然后可以通过确定306人工或AI审查器是否检测到引入的误差来评估或测试人工或AI审查器在检测误差方面的功效。

说明书

背景技术

除非本文另有说明，本节中描述的方法不是本申请中的权利要求的现有技术，并且不能通过包括在本节中而被承认为现有技术。

放射疗法是针对诸如癌性肿瘤的特定目标组织(计划目标体积)的局部治疗。理想情况下，放射疗法是在计划的目标体积上进行的，这样可以避免周围正常组织接受超过指定容限的剂量，从而最小化对健康组织造成损害的风险。在实施放射疗法之前，通常采用成像系统来提供目标组织和周围区域的三维图像。从这样的成像中，可以估计目标组织的大小和质量，并生成适当的治疗计划并确定计划目标体积。

由于在将放射治疗应用于可以靠近处于危险中的一个或多个器官的三维目标的几何复杂性，治疗计划是一个复杂的过程，其可以涉及多个训练有素的医疗专业人员的参与并使用复杂的软件进行分析。因此，正确地对总肿瘤体积进行剂量给药而不对处于危险中的附近器官进行过度给药的治疗计划的生成是一个多步骤过程，其中每个步骤都可以非常耗时，并且通常只能由专家人员执行。此外，由于治疗计划过程中的许多步骤可以包括主观评估和判断调用，因此特定治疗计划的细节可以会因参与治疗计划过程的特定人员而异。

发明内容

在一个方面，本发明提供了一种用于治疗计划过程的质量保证测试的计算机实现的方法，如权利要求1中所定义的。可选特征在从属权利要求中定义。

用于治疗计划过程的质量保证测试的计算机实现的方法可以包括：自动生成治疗过程的模块的输出数据，其中输出数据基于模块的输入数据并且包括至少一个误差；自动将输出数据提交给审查器进行误差检查；自动接收与审查器相关联的误差检查响应；并且当误差检查响应指示未能检测到至少一个误差时，自动执行与审查器相关联的纠正动作。

在另一方面，本发明提供了一种包括指令的非暂态计算机可读存储介质，如权利要求18中所定义的。可选特征在从属权利要求中被定义。

根据本公开的至少一些实施例，一种用于放射治疗计划过程的质量保证(QA)测试的方法能够实现专家人工审查器或人工智能(AI)误差检测引擎的测试和评估。具体地，故意误差可以被引入到软件模块或AI引擎的输出中，在下文中称为“审查模块”，其在放射治疗计划过程中执行某个步骤。然后可以通过确定人工或AI审查器是否检测到引入的误差来评估或测试人工或AI审查器在检测误差方面的效力。在一些实施例中，这样的确定是基于来自审查器的误差检查响应做出的，诸如来自AI引擎审查器的误差检测输出或由人工审查器做出的用户输入。

上述概述仅是示意性的，并不旨在以任意方式进行限制。除了上述示意性方面、实施例和特征之外，通过参考附图和以下详细描述，进一步的方面、实施例和特征将变得显而易见。

附图说明

根据以下描述和所附权利要求，并结合附图，本公开的前述和其他特征将变得更加清楚。这些附图仅描绘了根据本公开的几个实施例并且因此不应被认为是对其范围的限制。将通过附图的使用以附加的特性和细节来描述本公开。

图1是示出了示例治疗计划过程100的框图。

图2是示出了被配置为实施本公开的一个或多个实施例的质量保证过程的框图。

图3阐述了根据本公开的一个或多个实施例的治疗计划过程的示例质量保证过程的流程图

图4是示出了根据本公开的各种实施例的用于训练机器学习过程401的训练过程400的框图。

图5是被配置为执行本公开的各种实施例的计算设备的图示。

图6是根据本公开的一个或多个实施例的用于实现用于分割图像的方法的计算机程序产品600的示意性实施例的框图。

具体实施方式

在下面的详细描述中，参考了形成其一部分的附图。在附图中，除非上下文另有说明，否则相似的符号通常标识相似的组件。在具体实施方式、附图和权利要求中描述的示意性实施例并不意味着是限制性的。在不脱离本文呈现的主题的精神或范围的情况下，可以利用其他实施例，并且可以做出其他改变。将容易理解，本公开的方面，如本文一般描述的和在附图中示出的，可以以多种不同的配置进行布置、替换、组合和设计，所有这些都被明确地预期并且构成部分本披露。

如上所述，为特定患者制定治疗计划的过程是一个多步骤过程，其可以包括由专家人员和复杂的软件应用两者执行的分析。图1示出了一种示例性治疗计划过程。

图1是示出示例治疗计划过程100的框图。治疗计划过程100包括多个步骤101-110，这些步骤被执行以生成针对特定患者的治疗计划。响应于患者的诊断而执行治疗计划过程100，其表明患者将经由外部射束放射疗法进行治疗。诊断通常基于各种因素指示外部射束放射疗法(而不是内部放射疗法)，包括：已检测到的癌症肿瘤的类型、检测到的肿瘤的大小、肿瘤在体内的位置、肿瘤与处于风险的器官(OAR)或对放射敏感的其他正常组织的接近程度、患者的一般健康状况和病史、患者体内是否存在其他类型的癌症、患者的年龄、患者的某些医学情况等等。

如图所示，治疗计划过程100包括以下步骤中的一个或多个：治疗确定步骤101、患者咨询步骤102、治疗计划计算机化的断层扫描(CT)步骤103、治疗计划指示步骤104、目标分割步骤105、OAR分割步骤106、计划优化步骤107、定量计划质量保证(QA)步骤108、计划审查和批准步骤109以及计划交付QA步骤110。如下文更详细描述的，步骤101-110中的一些由经过适当培训的医学专业人员执行，步骤101-110中的一些由执行某些基于软件的分析的适当培训的医学专业人员完成，并且在某些情况下，步骤101-110中的一个或多个可以完全由适当设计的软件应用执行。

在治疗确定步骤101中，检查患者成像、肿瘤病理学和患者诊断，并确定针对放射疗法的一种或多种可能的治疗方案或处方。在一些情况下，步骤101由放射肿瘤学家执行，放射肿瘤学家可以在最终将进行放射疗法的临床地点受雇。在一些情况下，放射肿瘤学家可以得到软件应用的帮助，该软件应用被配置为基于患者的诊断和成像信息来生成可能的治疗方案。在这种情况下，放射肿瘤学家选择和/或修改软件应用提供的一种或多种治疗方案。

在患者咨询步骤102中，放射肿瘤学家向患者咨询潜在的治疗选择。如在治疗确定步骤101中所指出的，在一些情况下，放射肿瘤学家可以从最初由软件应用提出的一种或多种治疗方案中选择和/或修改一种或多种潜在治疗方案。

在治疗计划CT步骤103中，指定并执行显示肿瘤和肿瘤周围解剖结构区域的治疗计划CT。通常在治疗计划CT中的图像质量/噪声水平与患者在治疗计划CT期间接受的放射剂量之间存在固有的权衡。因此，在某些情况下，在步骤103中，治疗计划CT扫描的某些参数被操纵以优化患者的更安全成像，同时保持足够的诊断图像质量，例如X射线探测器配置、管电流、管电位、什么重建算法被采用、患者定位、扫描范围、重建切片的厚度等。

在一些情况下，放射肿瘤学家指定治疗计划CT扫描的一些或全部参数。替代地，在某些情况下，放射肿瘤学家可以通过被配置为指定治疗计划CT的潜在参数的软件应用来协助。例如这样的软件可以基于诊断、先前为患者获取的成像信息以及在步骤102中选择的特定治疗方案来指定治疗计划CT的参数。然后例如在临床访问期间通过扫描患者来生成治疗计划CT。

在治疗计划指示步骤104中，基于治疗计划CT生成治疗计划指示。治疗计划指示通常描述治疗部位的图像研究，包括经由成像研究定义的目标组织结构和正常组织结构。这些目标和正常组织结构随后用于治疗计划。为了在优化过程中对多个治疗计划进行评分，治疗计划指示还可以指定目标组织结构和正常组织结构的扩展。因此，除了大体肿瘤体积(GTV)之外，治疗计划指示还可以包括临床目标体积(CTV)、内部目标体积(ITV)、计划目标体积(PTV)、OAR和/或计划处于风险的器官体积(PRV)等。治疗计划指示可以进一步指定放射疗法处方指南、计划建议和/或特殊命令。

在一些情况下，放射肿瘤学家例如基于当地临床标准、患者的特定医疗条件等来生成一些或全部治疗计划指示。可替代地，在一些情况下，放射肿瘤学家可以通过被配置为建议在治疗计划指示中包括的一些或全部信息的软件应用来协助。

在目标分割步骤105中，基于治疗计划CT和在治疗计划指示中包括的信息来描绘计划放射治疗的目标。例如GTV、CTV、ITV和/或PTV中的一个或多个在来自在计划治疗CT中成像的重建体积的二维切片上描绘。在某些情况下，放射肿瘤学家经由显示屏来手动执行这些描绘中的一个或多个。通常，放射肿瘤学家基于重建体积的每个二维切片中的视觉线索以及个人训练和经验来描绘各种目标体积。替代地，在某些情况下，通过被配置为自动生成GTV、PTV等的分割的软件应用，可以帮助放射肿瘤学家分割一个或多个目标区域(GTV、CTV、ITV、PTV等)。由于分割过程的算法复杂性，此类软件应用可以包括一个或多个机器学习模型，这些模型经过训练以在搜索二维切片中的隐藏结构、模式或特征时近似人类逻辑或决策。在这种情况下，放射肿瘤学家然后可以查看和/或修改这种自动生成的分割。在某些情况下，针对特定目标区域的多个分割可以由软件应用生成，并且放射肿瘤学家选择最合适的分割。

在OAR分割步骤106中，描绘(即，分割)在治疗计划指示中定义的OAR。在某些情况下，放射肿瘤学家或剂量师经由显示屏来手动执行OAR分割中的一个或多个OAR分割。替代地，在一些情况下，被配置为自动分割定义的OAR中的一个或多个的自动分割软件应用可以生成OAR分割中的一些或所有，并且放射肿瘤学家可以查看和/或修改这样的分割。在这种情况下，自动分割软件应用可以基于各种因素为特定OAR生成多个分割，包括例如用户输入、治疗计划指示中包括的信息(诸如临床边缘)和/或其他因素。如上所述，由于分割过程的算法复杂性，此类软件应用可包括一个或多个机器学习模型。

在计划优化步骤107中，优化用于计划治疗的一个或多个计划。即，确定用于实施计划治疗的一个或多个射束几何形状并且优化每个射束几何形状的剂量分布。在某些情况下，采用软件应用的合格的剂量师确定一个或多个射束几何形状并优化相关联的剂量分布，然后负责患者的医生通常会批准一个或多个计划。在某些情况下，软件应用被食品和药物管理局(FDA)批准用于此类用途。替代地，在一些情况下，包括一个或多个机器学习模型的软件应用可以在计划优化步骤107中生成一个或多个射束几何形状和相关联的优化剂量分布，并且剂量学家可以选择和/或修改和/或审查软件应用的输出。通常，在这种情况下，由FDA批准的软件应用生成的计划仍然需要医生批准。替代地，在某些情况下，某些机器学习软件应用可以生成包括射束几何形状和相关联的优化剂量分布的计划，而无需剂量师审查。但是，在这种情况下，通常仍需要负责医生的批准。

在定量计划QA步骤108中，对照指定的阈值或其他度量来评估在步骤107中优化的一个或多个计划以确定每个计划是否满足治疗计划指示中规定的临床目标。例如阈值可以包括机构定义的阈值、医生定义的阈值、包括在治疗计划指示中的阈值、为特定患者建立的剂量阈值等。在定量计划QA步骤108中评估的每个计划与上述定量阈值进行比较。在一些情况下，负责患者的医生评估在计划优化步骤107中批准的每个计划。在其他情况下，可以采用基于机器学习的软件应用来检测和标记超过指定阈值中的一个或多个的计划。在这种情况下，负责患者的医生只审查被标记的计划。

在计划审查和批准步骤109中，负责患者的医生审查可用计划并选择用于实施治疗计划指示中规定的治疗的最佳计划。在某些情况下，医生可以请求改变所选计划，在这种情况下，再次执行GTV分割、OAR分割步骤106和/或计划优化步骤107。

在计划交付QA步骤110中，在合适的放射疗法系统上交付在计划审查和批准步骤109中审查和选择的计划，并且测量预测剂量。然后用选定的计划对患者进行治疗。

如图1所示，放射治疗计划是一个复杂的过程，其可以涉及多个训练有素的医疗专业人员的参与和复杂软件的分析。为了降低放射治疗计划的成本并提高治疗计划的统一性，已经做出了相当大的努力，将机器学习应用于放射疗法计划的过程。具体而言，可以采用经过适当训练的人工智能(AI)引擎、神经网络或其他机器学习软件应用来自动执行某些放射疗法计划任务，这些任务目前需要通过许多小时的人力来完成。例如已经开发了自动分割算法用于在针对患者解剖结构的某些区域的CT、正电子发射断层扫描(PET)、MRI图像或用其他成像模式生成的图像上描绘OAR和其他结构。结果，无需放射肿瘤学家、剂量师或其他医生通过跨重建体积的多个二维切片来手动描绘一个或多个OAR的耗时任务，即可分割OAR。此外，除了OAR的自动分割之外，还努力使治疗计划过程100中的其他步骤自动化。

然而，当完全自动化的步骤被并入放射疗法治疗计划过程100时，存在这样的危险，即即使是经过稳健训练的AI引擎或神经网络也可能无法为100％的患者正确地执行该步骤。这可能是由患者群体中的异常值、AI引擎的弱点或其他因素引起的。尽管有可能创建标记潜在的异常病例以供人工审查的自动化工具，但鉴于放射疗法的高风险性质，尤其是大分割放射治法，在可预见的未来，患者计划将需要由专家进行最终审查。这种审查可以是全面的，包括分割、射束轨迹、三维剂量等。随着特定AI引擎在执行放射疗法计划过程100的步骤中变得更加稳健，可检测的误差变得相对少见。因此，存在以下风险：负责检查AI引擎输出的专家人工审查器可能会变得自满，并且无法检测到不经常发生的或细微的误差。

根据各种实施例，一种用于放射疗法计划过程的质量保证(QA)测试的方法能够实现测试和评估专家人工审查器或A1误差检测引擎。具体地，故意误差被引入到软件模块或AI引擎的输出中，在下文中被称为“审查模块”，其在放射疗法计划过程中执行某个步骤。然后可以通过确定人工或AI审查器是否已经检测到引入的误差来评估或测试人工或AI审查器在检测误差方面的效力。在一些实施例中，这样的确定是基于来自审查器的误差检查响应做出的，例如来自AI引擎审查器的误差检测输出或由人工审查器做出的用户输入。

替代地，根据一些实施例，本文描述的用于放射疗法治疗计划过程的QA测试的方法可以应用于端到端检查而不是单个治疗计划模块的审查。因此，在这样的实施例中，可以通过本文描述的QA测试方法来检查医生检查已经历完整治疗计划过程100的优化计划中的误差。此外，在一些实施例中，基于软件的放射疗法治疗计划过程可以基于患者CT来生成优化的放射疗法计划，其中基于软件的放射疗法治疗计划过程在单个步骤中而不是在治疗计划过程100中所示的多个步骤101-110中生成优化的计划。在这样的实施例中，可以通过本文描述的QA测试方法来检查在这样优化的计划中医生对误差的检查。

在一些实施例中，引入的误差的幅度、明显性和临床严重性可以适当地变化。例如在一些实施例中，引入误差的幅度、明显性和/或临床严重性可以基于当前审查器评级、特定于治疗计划过程100的当前步骤的某些临床标准等而变化。在一些实施例中，QA过程被配置为实现放射疗法治疗计划过程100的一个或多个步骤的QA测试。下面结合图2描述一个这样的实施例。

图2是示出了被配置为实施本公开的一个或多个实施例的QA系统200的框图。QA系统200可以实现为数字工具或其他软件应用，其在一个或多个计算设备上运行，这些计算设备与治疗计划过程100的一个或多个步骤101-110的执行相关联。例如在一些实施例中，QA系统200可以包括在计算设备上运行的软件应用，其被配置为执行自动目标分割步骤105、自动OAR分割步骤106、剂量优化步骤107等中的一个或多个。替代地或附加地，QA系统200可以包括在计算设备上运行的软件应用，该软件应用被配置用于促进专家人工审查器执行一个或多个自动化目标分割步骤105、自动化OAR分割步骤106、剂量优化的审查步骤107等的审查。替代地或附加地，QA系统200可以包括在计算设备上运行的软件应用，该软件应用被配置为例如经由适当训练的AI引擎来对治疗计划过程100的一个或多个步骤执行误差检查或其他自动审查。因此，QA系统200可以在临床设置中实现或者作为可以与多个不同临床站点对接的软件即服务平台的一部分。如图所示，在图2所示的实施例中，QA系统200包括但不限于一个或多个误差引入模块201、审查器监控模块202、性能数据库203、误差数据库204和计划模块205。

QA系统200可以包括一个或多个误差引入模块201。每个误差引入模块201被配置为为治疗计划过程100的步骤101-110中的不同的一个或多个步骤生成输出数据，其中输出数据包括至少一个误差。即，对于执行治疗计划过程100的步骤的特定审查模块，对应的误差引入模块201被配置为为该特定审查模块生成包括至少一个误差的输出数据。

在一些实施例中，误差引入模块201被配置为例如通过改变输出数据的一个或多个特定部分和/或通过向输出数据添加误差信息，修改由对应审查模块生成的输出数据。因此，在这样的实施例中，误差引入模块201将一个或多个故意误差引入到执行治疗计划过程100的某个步骤的特定审查模块的输出中。

例如在其中在目标分割步骤105中执行自动分割过程的实施例中，误差引入模块201之一可以被配置为将一个或多个分割误差引入到自动分割过程的输出中。在这样的实施例中，自动分割过程的输出可以包括对GTV、CTV、ITV和/或PTV中的一个或多个的分割。因此，在该实施例中，误差引入模块201被配置为充分地修改或改变一个或多个这样的分割，使得与(多个)分割相关联的一个或多个临床边界被超过。例如在患者解剖结构的一个或多个二维切片中，由误差引入模块201分割的GTV的边界可能误差地涵盖太少的实际肿瘤组织、太多的非肿瘤组织或两者的组合。结果，基于一个或多个修改的分段的放射疗法会导致放射疗法的功效的临床显著降低或对患者的相关联的副作用。因此，对(多个)分割引入的修改具有足够的幅度，以至于它们应该被审查器检测而不是被传递到治疗计划过程100中的下一步(例如OAR分割步骤106)。

引入到目标分割步骤105的输出分割中的一个或多个分割误差或修改可以包括从输出分割的原始位置的平移、旋转和/或其他偏移。替代地或附加地，一个或多个分割误差或修改可以包括一些或所有输出分割的失真(例如压缩或扩展)、对输出分割中的特定分割区域的添加和/或减去等。替代地或另外地，一个或多个引入的分割误差或修改可以通过任意其他技术上可行的程序或算法过程来实现，诸如AI过程或机器学习过程。在替代实施例中，可以采用生成对抗网络(GAN)来生成误差，如下面结合图4所述。

在一些实施例中，可以从误差数据库204中选择由误差引入模块201引入的一个或多个分段误差或修改，其包括针对步骤101-110中的一个或多个的多个先前生成的误差。此类先前生成的误差可以包括与治疗计划过程100的特定步骤相关联的误差。此外，这样的先前生成的误差可以包括针对患者解剖结构的特定区域、特定扫描参数、特定X射线检测器配置、用于原始CT扫描的特定重建算法等定制的误差。因此，由误差引入模块201从误差数据库204中选择的先前生成的误差通常对应于通常与特定治疗计划场景相关联的误差，在特定治疗计划场景中正在采用误差引入模块201。例如在对胰腺肿瘤执行放射疗法治疗计划过程100的实施例中，在目标分割步骤105之后由201引入的一个或多个先前生成的分割误差可以从通常与胰腺的自动分割相关联的分割误差中选择。

在一些实施例中，误差引入模块201被配置为从治疗计划过程100的特定步骤生成包括一个或多个故意误差的输出数据。在这样的实施例中，误差引入模块201生成输出数据代替相应的审查模块，其中生成的输出基于审查模块的正常输入数据。因此，当要测试治疗计划过程100的审查模块的审查器时，误差引入模块201生成治疗计划过程100的特定步骤的输出数据，而不是通常为治疗计划过程100的那个步骤生成输出数据的审查模块。此外，误差引入模块201生成的输出数据中包括的一个或多个故意误差导致与输出数据相关联的一个或多个临床界限被超过。结果，基于由误差引入模块201生成的输出数据的放射疗法会导致所提出的放射治疗疗法治疗的功效在临床上显著降低或患者副作用增加。

例如在其中在目标分割步骤105中执行自动分割过程的实施例中，误差引入模块201之一可以被配置为：当要测试目标分割步骤105的输出的审查器时，执行该自动分割过程。类似于通常为目标自动分割生成输出的审查模块，误差引入模块201基于对审查模块的正常输入(例如，患者解剖结构区域的CT扫描)来生成特定输出(例如，GTV、CTV、ITV和/或PTV中的一个或多个)。然而，与正常生成用于目标自动分割的输出的审查模块不同，误差引入模块201生成包括一个或多个故意误差的输出，诸如分割误差。在一个这样的实施例中，误差引入模块201可以包括被训练以执行CT图像的自动分割的一个或多个AI引擎或其他机器学习模型。这种A1引擎或机器学习模型被进一步训练以生成包括治疗计划过程100的当前步骤特有的一个或多个误差的输出数据。此外，该一个或多个误差被配置为具有足够的幅度和/或被定位，使得与目标分割步骤105的输出相关联的一个或多个临床边界被超过。例如GTV和CTV之间的边界可以小于与当前治疗计划过程相关联的治疗计划指示中定义的范围。此外，在一些实施例中，AI引擎或机器学习模型被训练以生成对于审查器来说可能更难以检测的误差。下面结合图4描述根据实施例的训练这种AI引擎的方法。

审查器监视模块202被配置为确定在治疗计划过程100的步骤101-110中的每一个之后是否采用误差引入模块201。即，审查器监视模块202确定负责审查与治疗计划过程100的该特定步骤相关联的模块的特定审查器是否有资格进行QA检查。当审查器监控模块202确定审查器有资格进行QA检查时，然后采用合适的误差引入模块201来为治疗计划过程100的该特定步骤生成输出数据，其中输出数据包括至少一个误差。以此方式，审查器监控模块202确保以最小和最大频率来评估或测试每个个体审查器。在一些实施例中，特定审查器的评估或测试频率可基于审查器在先前评估或测试期间的性能而自动被调整。

在一些实施例中，审查器监控模块202基于自特定审查器已经经历QA检查以来的时间间隔来确定审查器进行QA检查的资格。因此，在这样的实施例中，当确定超过时间间隔时，确定审查器有资格进行QA检查。替代地或附加地，在一些实施例中，审查器监控模块202基于自先前QA检查以来审查器已经审查了审查模块的次数来确定这种资格。因此，在这样的实施例中，当数量超过预定阈值时，确定审查器有资格进行QA检查。替代地或附加地，在一些实施例中，审查器监控模块202基于审查器的当前可信度分数来确定这种资格，该可信度分数可以被存储在性能数据库203中。因此，在这样的实施例中，当可信度分数小于预定阈值时值，则确定审查器有资格或更有可能有资格进行QA检查。替代地或附加地，在一些实施例中，审查器监控模块202基于随机确定过程或任意其他技术上可行的确定过程来确定这种资格。因此，在这样的实施例中，可以随机确定审查器有资格进行QA检查。

性能数据库203包括一个或多个审查器过去性能的可信度分数或其他定量测量。如上所述，审查器可以是专业的人类用户或经过适当训练的机器学习实体，诸如AI引擎或神经网络。在一些实施例中，性能数据库203为其存储可信度分数的审查器是放射肿瘤学家，其在目标分割步骤105中审查和/或修改自动生成的分割。在一些实施例中，这样的审查器是放射肿瘤学家，其在OAR分割步骤106中审查和/或修改由AI引擎或其他软件应用生成的自动生成的OAR分割。在一些实施例中，这样的审查器是批准在计划优化步骤107中生成的计划中的一个或多个的医生，其中一个或多个计划由FDA批准的软件应用或由采用这种软件应用的剂量师生成。在一些实施例中，这种审查器是在计划优化步骤107中审查这种软件应用的输出的剂量师。在一些实施例中，这种审查器是执行定量计划QA步骤108并评估在计划优化步骤107中批准的计划的医生。在一些实施例中，性能数据库203为其存储可信度分数的审查器是A1引擎、神经网络或其他机器学习实体，其被训练以在目标分割步骤105、OAR分割步骤106、计划优化步骤107和/或定量计划QA步骤108中执行上述审查过程中的任意一个。

在一些实施例中，性能数据库203可以包括特定机器学习实体的每个特定实例的可信度分数。例如在一个这样的实施例中，可以在目标分割步骤105中采用AI引擎来执行自动分割过程，其中针对患者解剖结构的不同的相应区域来训练AI引擎的不同实例。因此，在该实施例中，性能数据库203可以包括AI引擎的每个实例的不同可信度分数，AI引擎被训练以在目标分割步骤105中执行自动分割过程。

在一些实施例中，在性能数据库203中包括的一些或所有可信度分数可以包括用于每个审查器的多个值。例如在一些实施例中，这样的多值可信度分数包括审查器在检测有意包括的误差方面的成功率。替代地或附加地，在一些实施例中，多值可信度分数包括审查器对于不同类别的故意包括的误差中的每一个的不同成功率。替代地或附加地，在一些实施例中，多值可信度分数包括审查器最近多久有机会检测故意包括的误差。替代地或附加地，在一些实施例中，多值可信度分数包括审查器有机会检测有意包括的误差的频率。因此，特定审查器的资格可以基于审查器误差检测成功率、审查器最近多久有机会检测故意包括的误差、审查器有机会检测故意包括误差的频率等。

误差数据库204包括针对治疗计划过程100的步骤101-110中的一个或多个的多个先前生成的误差。通常，先前生成的误差中的每一个都与治疗计划过程100的步骤101-110中的特定一个相关联。因此，与目标分割步骤105相关联的误差包括图像解释中的误差，诸如PTV的不正确描绘。相比之下，与治疗计划过程100的不同步骤相关联的误差包括不同类型的误差。例如与计划优化步骤107相关联的误差可能包括不正确计划的射束几何形状或剂量分布。在一些实施例中，先前生成的误差可以包括人为生成的误差。替代地或另外地，在一些实施例中，先前生成的误差可以包括软件生成的误差和/或从实际计划治疗过程中提取的误差。

计划模块205被配置为跟踪包括一个或多个故意误差的每个放射疗法治疗计划。因此，计划模块205确保没有包括一个或多个故意误差的计划被递送给患者。在一些实施例中，计划模块205与一个或多个计划数据库299交互以指示特定计划不旨在用于任意患者。

图3阐述了根据本公开的一个或多个实施例的用于治疗计划过程的示例QA过程的流程图。该方法可以包括如框301-330中的一个或多个所示的一个或多个操作、功能或动作。尽管以连续顺序示出了这些框，但是这些框可以并行执行，和/或以与本文中描述的那些不同的顺序执行。此外，各种框可以基于期望的实现来被组合成更少的框、被分成额外的框、和/或被消除。尽管结合图1-2的过程和系统描述了该方法，但是本领域技术人员将理解，关于治疗计划过程执行的任意适当配置的QA过程都在本公开的范围内。

QA过程300开始于步骤301，此时QA系统200接收软件模块(“审查模块”)的输入数据，软件模块以自动化方式执行治疗计划过程100的步骤101-110之一。例如在一个实施例中，用于执行目标分割步骤105的审查模块的输入数据可以包括患者解剖结构区域的CT扫描和来自患者治疗计划指示的适用信息。在另一个实施例中，用于执行OAR分割步骤106的审查模块的输入数据可以包括患者解剖结构区域的CT扫描、来自患者的治疗计划指示的适用信息、以及在解剖结构区域中的一个或多个目标区域的描绘(GTV、CTV、ITV、PTV等)。在另一实施例中，用于执行计划优化步骤107的审查模块的输入数据可以包括来自患者的治疗计划指示的适用信息和在区域中的一个或多个目标区域的描绘(GTV、CTV、ITV、PTV等)。在另一实施例中，用于执行定量计划QA步骤108的审查模块的输入数据可以包括来自患者的治疗计划指示的适用信息和在计划优化步骤107中生成的一个或多个批准计划。

在步骤302中，QA系统200例如经由审查器监控模块202确定被审查模块的审查器是否有资格进行QA检查。如果否，则QA过程300进行到步骤320；如果是，QA过程300进行到步骤303。

在步骤303中，QA系统200例如经由合适的误差引入模块201为在步骤302中被确定为有资格进行QA检查的审查模块生成输出数据。因此，如此生成的输出数据包括一个或多个故意误差。在一些实施例中，误差引入模块201将一个或多个故意误差引入到审查模块的输出中。在其他实施例中，代替经审查的模块生成输出数据，误差引入模块201生成包括一个或多个故意误差的输出数据。

在步骤304中，QA系统200将在步骤303中生成的输出数据提交给审查器。通常，QA系统200以与来自被审查模块的正常输出数据被发送给审查器相同的方式将输出数据发送给审查器。因此，在审查器是专家人员的实施例中，QA系统200可以将输出数据发送到审查器在查看过程中采用的计算设备。在这样的实施例中，在步骤303中生成的输出数据在内容和格式上与来自被审查模块的正常输出数据没有区别。在审查器是适当训练的机器学习实体的实施例中，QA系统200正常地将输出数据发送给A1审查器。

在步骤305中，QA系统200接收与审查器相关联的误差检查响应。例如在审查器是专家人员的实施例中，QA系统200可以接收用户输入，该用户输入指示人工审查器检测到一个或多个误差或者输出是无误差的。在审查器是适当训练的机器学习实体的实施例中，QA系统200可以从机器学习实体接收指示检测到一个或多个误差或输出无误差的信号。在一些实施例中，误差检查响应还可以包括指示所检测到的一个或多个误差的性质的信息，例如检测到的(多个)误差的类型、严重性和/或位置。

在步骤306中，QA系统200确定审查器是否正确标识了一个或多个误差。如果是，QA过程300进行到步骤311；如果否，则QA过程300进行到步骤307。

在响应于QA系统200确定审查器正确标识一个或多个误差而执行的步骤310中，QA系统200更新性能数据库203中的与审查器相关联的可信度得分和/或其他性能统计。QA过程300然后进行到步骤320并终止。

响应于QA系统200确定(1)被审查模块的审查器没有资格进行QA检查，或(2)被审查模块的审查器正确标识了一个或多个故意误差，步骤320被执行。在步骤320中，QA系统向被审查模块发送在步骤301中接收到的输入数据以正常执行治疗计划步骤。QA过程300然后终止。

响应于QA系统200确定审查器没有正确标识包括在被审查模块的输出中的所有故意误差，执行步骤330。在步骤330中，QA系统200标记审查器并采取一项或多项纠正动作。例如在审查器是专家人员的实施例中，纠正动作可以包括更新用户的可信度评级和修改在性能数据库203中存储的适当值。替代地或附加地，在一些实施例中，纠正动作可以包括导致指示被显示，指示向审查器通知审查器未能检测到至少一个误差。作为这种纠正动作的结果，被审查模块的当前性能被跟踪并且审查器的未来性能可以得到改进。

在审查器是机器学习过程的实施例中，QA系统200可以作为纠正动作生成与机器学习过程相关联的标识符，其中该标识符指示机器学习过程有资格重新训练。在这样的实施例中，标识符可以进一步指示机器学习过程在重新训练之前没有资格使用。替代地或另外地，在一些实施例中，纠正动作可以包括更新机器学习过程的当前实例的可信度评级并修改在性能数据库203中存储的适当值。替代地或附加地，在一些实施例中，纠正动作可以包括基于机器学习过程未能检测到的一个或多个误差来重新训练或修改机器学习过程。作为这种纠正动作的结果，机器学习过程的未来性能可以基于审查模块输出中越来越细微的误差得到改善。例如在一些实施例中，机器学习过程可以被重新训练(以及初始训练)作为GAN的鉴别器函数。下面结合图4描述一个这样的实施例。

图4是示出了根据本公开的各种实施例的用于训练机器学习过程401的训练过程400的框图。训练过程400包括一个或多个输入对象(模块输入402和附加误差403)和预期输出(策展输出404)。在训练过程400中，一个或多个输入对象被用作训练机器学习过程401的输入，其充当GAN420的生成器函数。此外，预期输出(策展输出404)被用作对于GAN420的鉴别器函数421的输入。

在机器学习过程401的GAN训练期间，机器学习过程401学习生成误差修改输出405。误差修改输出405类似于执行治疗计划过程100的特定步骤的审查模块的输出，除了误差修改输出405还包括一个或多个故意误差(例如添加的误差403)。因此，在这样的训练之后，机器学习过程401可以在QA系统200中用作误差引入模块201，其被配置为生成用于治疗计划过程100的特定步骤的输出数据，其中输出数据包括至少一个故意的误差。

模块输入402被用作训练过程400中的输入对象，并且可以包括机器学习过程401被训练以模拟的所审查模块的典型输入实例。添加的误差403是特定的误差或误差类型，其当被审查的模块执行治疗计划过程100的步骤时可能会发生，诸如在OAR或目标区域分割中不正确描绘的结构、可能由治疗计划导致的剂量过大/剂量不足的区域等)。在一些实施例中，可以从误差数据库204中选择添加的误差403。策展输出404被用作训练过程400的预期输出(或“地面真值”)并且被输入到鉴别器函数421中。因为训练过程400的目的是教机器学习过程401生成包括一个或多个添加的误差403的输出数据，所以输入到鉴别器函数421中的每个策展输出404对应于模块输入402的特定实例和已经被合并到模块输入402的那个实例中的特定添加的误差403。此外，每个策展输出404包括不同的误差，该误差通常可以在来自审查模块的输出中发生。因此，每个策展输出404使机器学习过程401能够学习将不同的误差包括到误差修改的输出405中。

在一些实施例中，策展输出404和添加的误差403的各种实例是在模块输出402中发生的误差的手动生成的实例。在一些实施例中，策展输出404和添加误差403的各种实例是基于当模块输出402由人工审查员处理时已检测到的误差的实际实例。在一些实施例中，策展输出404和添加的误差403可以基于人工或A1审查器在图3中的QA过程300的迭代期间未能检测到的审查模块的输出中包括的一个或多个故意误差。在这样的实施例中，采用训练过程400来重新训练特定的A1审查器。因此，在这样的实施例中，已经被证明难以检测的故意误差可以用来提高A1审查器对这样的误差的敏感度。

GAN420是一种机器学习系统，其通常依赖于无监督学习以在搜索输入对象中的隐藏结构、模式或特征时尝试近似人类逻辑或决策。因此，GAN420包括机器学习过程401(作为生成器函数)和鉴别器函数421。

机器学习过程401可以是被配置为基于特定模块输入402来生成误差修改输出405的神经网络或其他合适的机器学习模型。例如机器学习过程401可以被配置为：为执行治疗计划过程100的步骤101-110之一的审查模块生成误差修改输出405。此外，在训练过程400期间，机器学习过程401被配置为：基于来自鉴别器函数421的反馈422来改进生成的误差的质量。例如在训练过程400期间，机器学习过程401被配置为：修改算法参数423，使得鉴别器函数421无法检测在误差修改输出405中包括的误差。更具体地，通过在训练过程400中包括的迭代过程，算法参数423被修改。以此方式，机器学习过程401可以学习和/或被重新训练以生成误差修改的输出405，该误差修改的输出405包括鉴别器函数421更难以检测的误差。然后，机器学习过程401可以使用算法参数423的新修改值生成另一个误差修改输出405。

鉴别器函数421可以是神经网络或其他合适的机器学习模型，其被配置为检测由机器学习过程401生成的特定误差修改输出405中的误差。在一些实施例中，在训练过程400期间，鉴别器函数421被配置为提高其检测此类误差的性能。在此类实施例中，鉴别器函数421可被配置为基于针对训练过程400的诸如策展输出404的预期输出(或“地面真值”)与对应的误差修改输出405的比较来改进其性能。例如在训练过程400期间，鉴别器函数421被配置为确定对应于模块输入402的特定实例的误差修改输出405是否没有误差；将误差修改输出405与策展输出404的合适实例进行比较；并且，基于比较，修改算法参数424，使得鉴别器函数421可以更有效地检测被审查模块生成的后续输出中的误差。此外，在训练过程400期间，鉴别器函数421还被配置为生成反馈422，其通知机器学习过程401在误差修改的输出405中检测到哪些误差。基于反馈422，机器学习过程401可以修改算法参数423，然后使用算法参数423的新修改值来生成另一个误差修改输出405。

因此，经由在训练过程400中包括的迭代过程，鉴别器函数421和机器学习过程401在双反馈回路中交互：鉴别器函数421与机器学习过程401处于反馈回路中，其中策展输出404的地面真值和误差修改输出405之间差异作为对鉴别器函数421的反馈；并且机器学习过程401处于具有鉴别器函数421的反馈回路中，其中反馈422充当对机器学习过程401的反馈。

在一些实施例中，训练过程400中包括的迭代过程通常包括某些成功准则的应用。在一些实施例中，一个成功准则是在误差修改输出405中包括的一个或多个误差的幅度和/或明显性未被鉴别器函数421检测到(或难以检测到)，但仍具有临床意义。在一些实施例中，在误差修改输出405中包括的误差的临床显著性可以基于可量化的维度和/或数值量值测试来被确定，诸如剂量-体积直方图、相对生物有效性、预测的临床结果或副作用概况、OAR毒性等。

根据各种实施例，在单个机器学习过程401的训练中，可以多次采用训练方法400。具体地，可以针对多个不同的模块输入402和/或添加的误差403来执行训练方法400。也就是说，可以多次使用训练方法400来训练单个机器学习过程401，每次使用不同的模块输入402、添加误差403、以及对应的策展输出404。

图5是被配置为执行本公开的各种实施例的计算设备500的图示。计算设备500可以是台式计算机、膝上型计算机、智能电话或适合于实践本公开的一个或多个实施例的任意其他类型的计算设备。在操作中，计算设备500被配置为执行QA系统200、QA过程300、训练过程400和/或GAN420，如本文所述。注意，本文描述的计算设备是示意性的，任意其他技术上可行的配置都落入本公开的范围内。

如图所示，计算设备500包括但不限于互连(总线)540，其连接处理单元550、耦合到输入/输出(I/O)设备580的输入/输出(I/O)设备接口560、存储器510、存储装置530和网络接口570。处理单元550可以是实现为以下各项的任意合适的处理器：中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、任意其他类型的处理单元或不同处理单元的组合，诸如被配置为与GPU或数字信号处理器(DSP)结合运行的CPU。一般而言，处理单元550可以是能够处理数据和/或执行软件应用的任意技术上可行的硬件单元，包括QA系统200、QA过程300、训练过程400和/或GAN420。

I/O设备580可以包括能够提供输入的设备，诸如键盘、鼠标、触敏屏幕等，以及能够提供输出的设备，诸如显示设备和喜欢。此外，I/O设备580可以包括能够接收输入和提供输出的设备，诸如触摸屏、通用串行总线(USB)端口等。I/O设备580可以被配置为从计算设备500的最终用户接收各种类型的输入，并且还向计算设备500的最终用户提供各种类型的输出，诸如显示的数字图像或数字视频。在一些实施例中，I/O设备580中的一个或多个被配置为将计算设备500耦合到网络。

存储器510可包括随机存取存储器(RAM)模块、闪存单元或任意其他类型的存储器单元或其组合。处理单元550、I/O设备接口560和网络接口570被配置为从存储器510读取数据和向存储器510写入数据。存储器510包括可由处理器550执行的各种软件程序和与所述软件程序相关联的应用数据，包括QA系统200、QA过程300、训练过程400和/或GAN420。

图6是根据本公开的一个或多个实施例的用于实现用于分割图像的方法的计算机程序产品600的示意性实施例的框图。计算机程序产品600可以包括信号承载介质605。信号承载介质604可以包括一组或多组可执行指令602，其在由例如计算设备的处理器执行时可以至少提供以上关于图1-5描述的功能。

在一些实现中，信号承载介质604可以包括非暂时性计算机可读介质608，诸如但不限于硬盘驱动器、压缩盘(CD)、数字视盘(DVD)、数字磁带、存储器等。在一些实现中，信号承载介质604可以涵盖可记录介质610，诸如但不限于存储器、读/写(R/W)CD、R/WDVD等。在一些实现中，信号承载介质604可以包括通信介质606，诸如但不限于数字和/或模拟通信介质(例如光缆、波导、有线通信链路、无线通信链路等)。计算机程序产品600可以被记录在非暂时性计算机可读介质608或另一个类似的可记录介质610上。

总之，本公开的实施例能够实现与放射疗法治疗计划过程相关联的专家人工审查器或A1误差检测引擎的测试和评估。故意误差被引入到软件模块或人工智能(AI)引擎的输出中，该引擎在放射治疗计划过程中执行某个步骤。然后可以通过确定人或AI审查器是否检测到引入的误差来评估或测试人工或AI审查器在检测误差方面的效力。

已经出于说明的目的呈现了各种实施例的描述，但并不旨在穷举或限于所公开的实施例。在不脱离所描述实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。

本实施例的方面可以体现为系统、方法或计算机程序产品。因此，本公开的方面可以采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，这些方面通常都可以被称为在此称为“电路”、“模块”或“系统”。此外，本公开的方面可以采用在一个或多个计算机可读介质中体现的计算机程序产品的形式，该计算机可读介质具有在其上体现的计算机可读程序代码。

可以利用一种或多种计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任意合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下各项：具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、读取-只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或任意前述的适当组合。在本文档的上下文中，计算机可读存储介质可以是可以包括或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任意有形介质。

虽然本文已经公开了各个方面和实施例，但其他方面和实施例对于本领域技术人员来说将是显而易见的。本文公开的各个方面和实施例是为了说明的目的而不是限制性的，真实范围和精神由以下权利要求指示。