对用于过程控制的实际和仿真设施进行交互的系统和方法

摘要

提出了对用于过程控制的实际和仿真设施进行交互的系统和方法。控制环境包括受控设备和控制装置。系统包括产生表示受控设备的操作状态的输出的第一功能和产生用于表示受控装置的操作状态的输出的第二功能。引擎协调第一功能和第二功能以产生控制环境的操作状态。虚拟现实环境根据操作状态和控制环境的一或多个物理方面产生控制环境的3D显示。虚拟现实环境响应与一或多个输入装置的用户交互产生3D显示以允许用户由控制环境的3D显示表示的那样与控制装置和受控设备的至少一个交互。引擎向第一和第二功能的至少一个应用交互的标记以辨别控制环境的操作状态产生的改变并将改变的标记应用到虚拟现实环境以对控制环境的3D显示中产生对应变化。

说明书

本分案申请是基于申请号为200980132148.8(国际申请号为 PCT/US2009/047901)，申请日为2009年6月19日，发明名称为“对用于过 程控制、环境控制和工业控制的实际和/或仿真设施进行沉浸式交互的系统和 方法”的中国专利申请的分案申请。

相关申请的引用

本申请要求在2008年6月20日提交的、题目为“Immersive Training  Simulator”的美国临时专利申请No.61/074,472和在2009年2月25日提交的、 题目为“Systems and Methods for Immersive Interaction with Actual and/or  Simulated Facilities for Process,Environmental and Industrial Control”的美国临 时专利申请No.61/155,160的优先权权益。

技术领域

本发明涉及数字数据处理，更具体地通过非限定示例涉及与实际环境和 仿真环境的沉浸式交互。本发明例如应用在使用过程控制、环境控制或其他 工业和/或非工业控制的工厂和其他设施的操作、维护和紧急响应培训中。

背景技术

依赖于过程、环境、工业和其他控制技术的设施正在变得越来越复杂。 这包括大面积产品装配工厂、制药厂、炼油厂、发电厂和其他大工业操作。 它也包括具有复杂的电力、温度控制、大众运输工具和其他基础结构“工厂” 的摩天大楼和其他综合建筑。这些是依赖于“控制”或“控制系统”来监控 它们的特性并且由此保证输出、处理、质量和/或效率随着时间推移而保持在 期望的极限内的设施。

那些系统可以包括从现场装置和控制器到工作站和其他更强大的数字数 据处理设备的许多部件，它们的功能可能重叠。现场装置包括测量对象装置、 过程或系统的特性的温度、流量和其他传感器。它们也包括阀门和其他致动 器，该阀门和其他致动器以机械、电子、磁性或其他方式影响期望的控制。 控制器基于来自传感器类型的现场装置的测量来产生控制装置的设置。控制 器操作通常基于“控制算法”，“控制算法”通过最小化由传感器测量的值和 例如由操作员限定的设定点之间的差来将受控系统保持在期望的水平，或将 其驱动到那个水平。工作站和控制站等通常用于整体地配置和监控过程。它 们也经常用于执行较高级的过程控制，例如，协调控制器组并且响应于在它 们之内发生的警报状况。

这些控制系统的一个或多个部件可以包括软件和/或硬件逻辑，用于监控 它们控制的设施的特性，并且用于自动地调整它们的操作参数以保证实现这 些极限。其他控制系统部件显示警告或特性的其他标记，将调整的责任留给 工厂操作人员或其他人员。

例如，在炼油厂中，在工厂区域上物理分布的数千个控制器可以监控和 驱动好几万个的传感器、致动器和其他现场装置，以传送输入的原油来进行 处理。控制器进而被工作站或更大的数字数据处理设备协调，以便以期望的 速率向可用的锅炉和精馏塔输送期望数量的原油。那些锅炉和精馏塔之中或 周围的现场装置监控处理参数以最大化蒸馏产物，并且移动到结果产生的汽 油、柴油和其他副产品以进行下游处理。工厂人员从中央控制室中的工作站 和战略地分布的控制站来监控和控制这些操作。他们也对精炼厂进行连续巡 视以进行设备的现场检验、调整和维护。在紧急情况下，紧急响应人员执行 人为和机器超控，同时维修受损的机器。

不论是对于炼油厂、装配厂还是对于其他设施，培训操作和维护任务的 人员会很昂贵，尤其是考虑到由基础过程、环境、工业和其他控制技术引入 和强加的复杂性的情况下。当要考虑培训紧急响应者时，这些综合花费会增 加，这些人中的一些不太熟悉设施或对设施不是每天都接触。除了培训之外， 还有相当大的附加花费，用于安排人员到场进行用于例行监控和维护等的巡 视。

本发明的目的是提供用于数字数据处理的改善的系统和方法。

相关的目的是提供用于与实际环境和仿真环境进行沉浸式交互的这样的 系统和方法。

另一个相关目的是提供用于操作、维护和紧急响应的这样的系统和方法。

另一个这样的相关目的是提供可以用于培训操作、维护和紧急响应人员 的这样的系统和方法。

另一个相关目的是提供可以在使用过程控制、环境控制和其他工业和/ 或非工业控制的设施中使用的这样的系统和方法。

另一个目的是提供降低与操作、维护和紧急响应和/或其培训人员相关联 的成本的这样的系统和方法。

发明内容

上面内容是由本发明实现的一些目的，本发明在一些方面提供了用于与 控制环境交互的系统，该控制环境包括受控设备以及控制装置，该控制装置 监控和控制那个受控设备。根据那些方面的一些，这样的系统包括：第一功 能，其产生表示受控设备的操作状态的输出；以及，第二功能，其产生表示 一个或多个控制装置的操作状态的输出。引擎协调第一功能和第二功能以产 生控制环境的操作状态。

虚拟现实环境根据操作状态和控制环境的一个或多个物理方面来产生控 制环境的三维(“3D”)显示。该虚拟现实环境响应于与一个或多个输入装置 的用户交互来产生该3D显示，以便允许用户以至少如由控制环境的3D显示 表示那样和控制装置和受控设备的至少一个交互。该引擎向第一和第二功能 的至少一个应用那些交互的标记，以辨别出对控制环境的操作状态产生的改 变。它将那些改变的标记应用到虚拟现实环境，以对控制环境的3D显示产 生对应的变化——即用于指示对控制环境产生的改变的变化。

根据本发明的方面的虚拟现实环境像参与者现实中看到那样显示控制环 境，即，就好像他/她真的在那一样。结果，根据本发明的系统允许用户经由 控制环境的3D显示来体验与实际的或仿真的控制环境的交互或通过(例如， “巡视”)控制环境。它们可以用于监控和控制环境的操作参数，并且支持工 厂人员和诸如最小响应者或其他安全人员的其他人员的培训。

本发明的另外的方面提供了例如如上所述的系统，其中，在控制环境的 至少一部分(即，受控设备和/或控制装置的一个或多个)的CAD/CAM数据 库和/或三维激光扫描中反映了控制环境的物理方面。在本发明的相关方面 中，可以在控制环境的至少一部分的多个二维图像中反映那些物理方面。这 可以例如是包含工厂的成百上千张图像的数据库，该工厂包括受控设备和/或 控制装置，并且在本发明的一些方面，提供了用于从那些图像产生控制环境 的三维表示的功能。

本发明的其他方面提供了如上所述的系统，其中，虚拟现实环境通过下 述方式来增强控制环境的3D显示：(i)将图形叠加在一个或多个受控设备和 /或一个或多个控制装置的表示之上，并且/或者(ii)改变受控设备、控制装 置和/或其他对象的代表性显示，以给用户“看”进对象、“看”透对象和/或“观 看”对象周围的印象。

可以包括例如图表、等式和其他视觉辅助部分的所叠加的图形可以基于 受控设备和/或控制装置的仿真和/或实际操作数据。叠加的图形也可以包括由 固定或移动照相机(以非限定性示例举例，包括移动电话、个人数字助理或 PDA和由在控制环境之中或周围的人员可能携带的其他这样的装置中包括的 照相机或摄像机)拍摄的静止和/或视频图像。

改变的代表性显示同样可以基于这样的仿真和/或实际操作数据，该仿真 和/或实际操作数据例如表示控制装置、受控装置(和它们处理的材料)的内 部工作和/或“幕后”操作。

根据本发明的上述(和其他)方面的系统的益处是它们能够产生控制环 境的3D显示，该3D显示不仅表示受控设备和/或控制装置的行为，而且以 与控制环境的实际或仿真条件符合的方式来进行表示。

在其他方面，本发明提供了如上所述的系统，其中，第一和/或第二功能 耦合到配置和模型化数据库(“配置”数据库)、应用数据库和运行数据库的 任何一个。这样的配置数据库可以包括例如用于受控设备和/或控制装置的一 个或多个的一个或多个控制策略。该应用和/或运行数据库可以包括例如受控 设备和/或控制装置的仿真和/或实际当前操作数据。作为替代或补充，那些数 据库可以包括装置和/或设备的仿真和/或实际历史操作数据。

在其他方面，第一功能包括动态仿真软件或其他功能，所述动态仿真软 件或其他功能仿真一个或多个受控设备的操作。该仿真软件可以例如是用于 求解等式的数学系统的解算机或其他系统。

在本发明的相关方面，第二功能包括仿真一个或多个控制装置的操作的 软件或其他功能。

本发明的其他方面提供了如上所述的系统，所述系统另外包括控制室工 作站或其他数字数据处理器，所述控制室工作站或其他数字数据处理器如在 控制环境的3D显示中表示的那样监控和/或控制与受控设备和/或控制装置的 用户交互。这样的工作站可以例如被管理者、培训指导者、共同被培训者或 其他人使用。为此，控制室数字数据处理器可以被适配来使得它的用户能够 如3D显示所表示的那样看到虚拟显示环境的用户和控制装置和受控设备的 至少一个的交互效果。同样，虚拟现实环境可以被适配来使得它的用户能够 例如由3D显示表示的那样看到由控制室数字数据处理器的用户对控制装置 和受控设备的至少一个进行的行为的效果。

本发明的其他方面提供了用于操作和使用如上所述的系统的方法。

本发明的这些和其他方面在附图中和随后的描述中显而易见。

附图说明

参考附图可以更完全地理解本发明，在附图中：

图1描述了实施本发明的系统和方法的一类环境；

图2-3描述了根据本发明的用于与在图1中所示类型的环境进行沉浸式 交互的系统；

图4A-4B描述了由根据本发明的系统产生的显示类型，放大显示了受控 设备和/或控制装置。

具体实施方式

图1描述了实施本发明的系统和方法的一类环境5。所示环境的全部或 部分可以是实际的或仿真，所示环境包括控制系统10和由该系统10控制的 设施。

在此，由在制药厂中使用的那类处理站20a-20d等来表示该设施，虽然 在其他实施例中该设施可以是装配工厂、炼油厂、发电厂和其他工业或非工 业操作(诸如，非限定性的例子为综合建筑)，该装配工厂、炼油厂、发电厂 和其他工业或非工业操作本身依赖于控制以监控受控设备、由其处理的材料 或其他东西、进行处理使用的过程和/或控制系统10的元件，以保证输出、 处理、质量和/或效率随着时间推移保持在期望的极限内。

参见附图，用于说明目的的制药厂的用于说明的站20a包括混合室22、 流体入口24、26、流体出口28、叶片30、冷却器32和冷却器入口34。可以 有或没有的其他处理站可以被类似地配置或以其他方式配置。

所示出的系统10包括联网的控制装置，如上所述，该控制装置本身监控 并控制设备22-32、由它们处理的材料或其他东西、进行处理所用的过程和/ 或控制系统10的元件。所示出的系统10的控制装置根据在本领域中已知类 型的过程控制技术来执行这些监控和控制。在其他实施例中，控制装置可以 作为取代或补充进行环境控制或其他工业和/或非工业控制技术。

所示出的控制装置包括致动器类型的现场装置(“致动器”)，诸如被描述 为控制入口和出口24-28和34的阀门。另一个致动器被示出用于控制叶片30。 以根据在此的教导来修改的传统方式构造和操作由控制系统使用的这些和其 他致动器。所说明的实施例的致动器在被标注为CTL的相应现场装置控制器 的控制下运行，也以传统方式来构造和操作相应的现场装置控制器，以提供 初始化、信号调节和通信功能。

替代使用独立的控制器CTL，致动器也可以是智能式的，并且可以包括 用于控制、初始化、信号调节、通信和其他与控制相关的功能的集成微处理 器或其他数字数据处理设备。为了方便，不管与控制相关的功能是否集成到 致动器(例如，像在智能致动器的情况下那样)都使用标签CTL。

所示出的控制装置包括传感器类型的现场装置(“传感器”)，诸如温度传 感器29，其监控室22内的流体的温度、水平或其他特性。以根据在此的教 导来修改的本领域公知的传统方式来构造和操作传感器29以及由系统使用 的其他传感器和感测设备。传感器和感测设备可以经由发送器或其他接口装 置INT耦合到控制网络，也以根据在此的教导来修改的传统方式来构造和操 作该发送器或其他接口装置INT。接口装置利于传感器和控制系统之间的初 始化、信号调节和通信。如上，一个或多个传感器可以是智能式，其包含用 于初始化、信号调节、通信和其他控制相关功能的集成微处理器或其他数字 数据处理能力。在此，也在控制相关的功能上也使用标签INT，而与用智能 发送器等实现无关。

联网控制装置包括一个或多个控制器36，一个或多个控制器36以根据 在此的教导进行修改的传统方式来监控和控制假设的制药厂的相应方面。控 制器可以包括能够执行根据在此的教导来修改的这些监控和控制功能的大型 计算机、工作站、个人计算机、专用硬件或其他数字数据处理设备。以从根 据在此的教导进行修改的、可从本受让方购得的CP控制处理器的方式来构 造和操作优选的控制器。

控制系统10包括多个装置，该多个装置作为用户界面，并且提供配置和 /或控制功能，这全部是以根据在此的教导修改的传统方式。示出用于这些目 的的工作站40、膝上型计算机42和手持计算机44。就像在工作站40的情况 下那样，这些装置可以直接地提供配置和控制功能，或与服务器装置合作使 用，例如象在手持计算机44和服务器46的情况下那样。设备40-44可以例 如通过总线或网络连接直接与控制网络耦合，或例如通过卫星、无线连接或 调制解调器连接间接地与控制网络耦合。

说明性控制装置36-46、CTL和INT经由介质耦合以进行通信，该介质 允许装置的至少选择的那些彼此进行通信。为此，在所示实施例中，经由一 个或多个网络48而耦合这些装置，优选的是，该一个或多个网络48是基于 IP的，通过非限定示例举例而言例如是以太网(通过非限定示例举例而言例 如是局域网、广域网和城域网等)。网络可以如在附图中所示包括多个分段， 诸如各种广域网和局域网。它们也可以包括：高带宽和/或低带宽部件，诸如 电话线；以及，低延迟和/或高延迟部件，诸如与地球同步的卫星网络。控制 装置36-46和/或网络48的一个或多个还可以经由因特网服务器47等耦接到 因特网50或其他网络。

包括示例性装置36-48的控制系统10可以是本领域中公知的类型，并且 通过非限定示例举例而言可从本受让方购得。另外，通过非限定示例举例而 言，美国专利No.6,788,980描述了一种这样的控制系统，该美国专利的教导 通过引用被包含在此。

根据本领域的惯例，一个或多个数据库包含控制系统10和在由其控制的 设施处的设备的模型，并且更具体地，该模型例如是受控设备22-32、由它们 处理的材料或其他东西、进行处理所用的过程和/或控制系统10的元件的模 型，该控制系统10的元件包括例如控制装置36-46—其中包括由它们执行的 控制策略。因此，例如，这样的模型列举了现场装置、控制装置、控制器和 进行控制的其他设备，指定它们的相互关系和在它们之间传送的信息，并且 详细描述它们用于控制目的而使用的计算和方法。

这样的模型可以用本领域公知类型的配置器(例如，如题目为“Process  Control Configuration System with Parameterized Objects”的美国专利7,096,465 中和题目为“Methods and Apparatus for Control Using Control Devices That  Provide a Virtual Machine Environment and That Communicate Via an IP  Network”的美国专利6,788,980中公开的，两者的教导通过引用被包含在此) 或以其他方式产生。这些模型可以被存储在中央数据库中并且/或者分布在控 制装置36-46中，例如，如在上述的、通过引用包含的美国专利7,096,465和 6,788,980中以及在题目为“Methods and Apparatus for Process,Factory-Floor, Environmental,Computer Aided Manufacturing-Based or Other Control System  With Real-time Data Distribution”的PCT申请WO03/89,995中公开的，它们 的教导也通过引用被包含在此。

除了配置或模型化数据库之外，所述系统可包括例如上述通过引用包含 的PCT申请WO03/89,995中公开的类型的一个或多个应用数据库和/或运行 数据库，以在其中保存关于控制系统10和在由它控制的设施的设备处的当前 和/或历史操作或其他信息，控制系统10和在由它控制的设施的设备更具体 地是受控设备22-32、由它们处理的材料或其他东西、处理所用的过程和/或 控制系统10的元件，该控制系统10的元件包括例如控制装置36-46—其中包 括由它们执行的控制策略。

仅为了说明性的目的，在附图中以元件52a-52e来表示上述配置/模型化、 应用和/或运行数据库。虽然在附图中示出仅在控制装置36-46的几个上分布， 实际上，这些可以被合并在更少的这样的装置等或分布在更多的这样的装置 中，这全部是以本领域中公知的传统方式。

如上所述，在图1中所示的环境的全部或部分可以是实际的或仿真的。 因此，通过非限定性示例举例，处理站20a-20d、控制装置36-46和配置/模型 化数据库可以是实际的，它们的操作也可以是这样。例如，在操作(或“建 设好正在运行”)的工厂或其他环境中是这样。在该情况下，诸如52a-52e的 应用和/或运行数据库包含实际的当前和/或历史操作信息。可以以根据在此的 教导修改的、本领域中公知的方式来完成在图1中说明性地描述的这类实际 环境的构造和操作。

通过另一个非限定性示例，处理站20a-20d、控制装置36-46和配置/模型 化数据库可以是实际的，但是它的操作可以是仿真的。例如在预操作工厂或 其他环境中是这样的。在该情况下，诸如52a-52e的应用和/或运行数据库包 含至少一些仿真的当前和/或历史操作信息。可以以根据在此的教导修改的、 在本领域中公知的方式来实现在图1中说明性地描述的这类实际环境的操作 的仿真。可以使用在本领域中可获得的软件包来执行例如基于配置/模型化数 据库和/或处理站规范的这样的操作的仿真，通过非限定性示例举例，该软件 包包括根据在此的教导修改的、基于从该受让方可获得的仿真软件 的那些。

通过另一个非限定性示例，处理站20a-20d、控制装置36-46和配置/模型 化数据库可以是仿真的，它们的操作也可以是这样的。例如正在设计的工厂 或其他环境中是这样。可以使用在本领域中公知的这类计算机辅助设计和制 造包来执行处理站和/或控制装置的仿真，同时可以使用全部根据在此的教导 修改的、如上所述的类型的软件包来执行这样的站和装置的操作的仿真。

图2描述了根据本发明的系统54，用于与如上所述的这类环境5进行沉 浸式交互。更具体地，所示系统54用于与仿真的这种环境进行沉浸式交互， 但是根据在此的教导容易理解这样的系统如何可以被适配来用于与实际的这 样的环境进行沉浸式交互。

所示系统54包括具有操作员控制台56A的控制室56、动态仿真软件58 和工作站58A、控制装置仿真软件60、仿真引擎62、虚拟现实环境(包括虚 拟现实引擎)64，它们经由一个或多个网络66等耦接以进行通信。其他实施 例可以包括更少或更多的元件，并且可以以在此所示者之外的方式进行配置。

所示控制室56表示结合过程控制和其他控制技术使用的那类传统控制 室。在所示实施例中，这可以用于例如以与这样的控制室监控和控制实际环 境5的操作参数相同的方式来监控和控制仿真环境5的操作参数。在这一点 上，控制室56可以用于支持在虚拟现实环境64中对人的培训，并且/或者， 它本身(控制室)可以提供用于培训(例如，控制室人员的培训)的环境。

动态仿真软件58产生输出，该输出表示工厂和/或其他环境的操作状态， 更具体地，通过非限定性示例举例，表示构成工厂/环境的受控设备22-32的 (一个或多个)的操作状态。软件58表示根据在此的教导适配的可以购得的 类型的动态仿真软件，虽然作为替代或补充(再一次，根据在此的教导适配)， 可以使用在本领域中已知的其他仿真包。除了经由管理工作站来支持培训指 导者的行为(例如，在虚拟现实环境64中为被培训者设定培训练习)之外， 仿真软件58包括“解算机”和其他仿真支持工具，用于仿真实际工厂或其他 环境的操作。为此，仿真软件58可以包括如上那类配置/模型化数据库70或 与其耦合，该配置/模型化数据库模型化例如模型化控制系统10和在由其控 制的设施的设备以及由它们处理的材料或其他东西。软件58可以在上述管理 工作站上和/或在市场上已知的类型的其他适当数字数据处理设备(通过非限 定性示例举例，包括上述的控制室工作站)上执行。

控制装置仿真软件60产生输出，该输出用于表示用于监控和/或控制受 控设备(例如，22-32)的控制装置(例如，36-46、CTL和INT)的操作状 态。那个软件58仿真被仿真的环境5的控制器和其他控制装置的操作。软件 60表示根据在此的教导适配的、在市场上可以商业方式获得的类型的控制仿 真软件，虽然作为补充或替代(再一次，根据在此的教导适配)，可以使用在 本领域中已知的其他仿真包。仿真软件60可以包括或耦合到如上所述类型的 配置/模型化数据库(未示出)，该配置/模型化数据库模型化例如由仿真的控 制装置执行的控制策略。软件60可以在附图中所示的类型的专用工作站上和 /或在其他适当的数字数据处理设备(通过非限定性示例举例，包括上述的管 理工作站和/或控制室工作站)上执行。

仿真引擎62作用于并且协调仿真软件58、60和控制室工作站的行为， 以仿真如上所述类型的环境5的操作，以包含到在虚拟现实环境64中的环境 的沉浸式显示(例如，环境的物理布局的沉浸式显示)内。在所示实施例中， 仿真引擎表示根据在此的教导适配的、商标名为SIM4ME的可从本受让方购 得的软件包——虽然作为补充或替代(再一次，根据在此的教导适配)，可以 使用在市场中可获得的其他仿真引擎。

虚拟现实环境64提供环境5的三维或其他沉浸式显示，该显示不仅包括 环境的物理布局，而且包括控制系统10和在由它控制的设施的设备的操作的 再现，并且更具体地，包括受控设备22-32、由它们处理的材料或其他东西、 处理所用的过程和/或控制系统10的元件，该控制系统10的元件包括例如控 制装置36-46。简而言之，在一些实施例中，虚拟现实环境64提供了环境5 的沉浸式显示，该显示允许被培训者和/或其他用户(例如，维护人员和紧急 情况最先响应者等)经历巡视和与环境的其他交互，就像他/她真在那里。

显示可以经由用于虚拟现实显示器的一类立体头盔被传送到参与者72， 具体地说例如是被培训者。作为替代或补充，可以经由在虚拟现实“室”墙 壁上的投影来显示该显示。除了仿真环境5的显示之外，虚拟现实环境64可 以提供与环境相关联的声音和其他可听队列。而且，它可以支持被培训者经 由触觉装置、游戏装置(例如，Nintendo Wii^TM控制器)、游戏棒、魔杖、鼠 标和键盘等来与仿真环境5的交互，这全部如附图中的输入和输出元件74所 示。这样的装置可以促进仿真环境的导航和/或交互操纵。

虚拟现实环境64从仿真引擎62接受输入，该输入表示环境5的状态， 环境包括处理站20a-20d、受控设备22-32、由它们处理的材料或其他东西、 进行处理所用的过程和/或控制系统10的元件的状态，控制系统10的元件包 括例如控制装置36-46。该输入可以反映环境或其部分的所有方面的状态，例 如在虚拟现实环境64内显示的虚拟“世界”中的参与者附近的设备、材料、 控制装置等的状态。

为了向参与者显示环境5的物理布局，虚拟现实环境64包括一个或多个 数据库或与该一个或多个数据库耦合，该一个或多个数据库可以包括例如： (i)处理站20a-20d、受控设备22-32和/或控制系统10的元件的CAD/CAM 表示，该控制系统10的元件包括例如控制装置36-46(或上述部分的一个或 多个的一部分/子集)，(ii)处理站20a-20d、受控设备22-32和/或控制系统 10的元件的3D激光扫描表示，该控制系统10的元件包括例如控制装置36-46 (或上述部分的一个或多个的一部分/子集)，以及/或者(iii)实际或仿真环 境5的2D照片，该照片示出处理站20a-20d、受控设备22-32和/或控制系统 10的元件，该控制系统10的元件包括例如控制装置36-46(或上述部分的一 个或多个的一部分/子集)。

虚拟现实环境64可以使用那些数据库的一个或多个来构造环境5的沉浸 式显示，由此允许参与者导航通过环境5，并且例如与其中的受控设备和控 制装置交互。因此，例如，虚拟现实环境64可以使用工厂的数千的实际(或 仿真)照片的数据库来足够真实地显示工厂的3D“重建”，以使得参与者感 到就像他/她真在那里。在市场上可获得商标为Studio Max^TM的用于执行这样 的重建的软件，或更精确而言，用于从2D图像产生3D虚拟现实显示的软件， 虽然作为替代或补充，可以使用提供这样的能力的其他技术。

与来自仿真引擎62的输入耦合，这允许参与者不仅被动地“通过”环境， 而且主动地参与它。因此，由参与者在向他/她显示的虚拟环境中进行的行为 (诸如，操作受控设备和/或控制装置)被仿真引擎62传送到软件58、60， 以区别那些行为如何影响仿真环境5中的改变(例如，容器内水平的改变、 显示器上的变化等)，该改变继而被仿真引擎62反馈到虚拟现实环境，以产 生在环境的虚拟现实显示上的变化——因此，向参与者提供行为—反应反馈。

通过非限定性示例举例，然后，使用鼠标或其他输入装置来仿真在由虚 拟现实环境64显示的仿真环境中打开阀门的被培训者可以看到(并且，对于 声音效果而言，听到)该行为的结果，例如由在环境64中显示的下游存储容 器上的计量器的虚拟现实仿真的显示器反映的结果。同样，通过另一个非限 定性示例举例，未能正确地对虚拟现实环境中发送的警报做出反应的培训者 和/或其他用户(例如，维护人员和紧急最先响应者等)可以在虚拟现实环境 的安全设备中见证一个设备仿真的破裂和结果产生的泛滥大火。

在一些实施例中，虚拟现实环境64不仅如参与者实际看到的那样(即， 仿佛他/她真的在那里一样)显示仿真环境5，而且还增强该显示。这可以包 括在受控设备和/或控制装置上(例如，并且具体地说，例如，在由参与者行 为影响的那些设备/装置上)叠加图表、等式和其他视觉辅助。

这也可以包括叠加由固定或移动摄像机同时(例如，“实时”)拍摄或在 以前拍摄的静止和/或视频图像，通过非限定性示例举例，该固定或移动摄像 机包括在环境5之中或周围的已知位置安装的照相机或摄像机90(图1)，和 /或作为在环境5之中或周围布置的、由人员94(例如，维护人员和紧急响应 者等)携带的移动电话、PDA和其他这样的装置92的一部分的这样的摄像 机。在这后一点，可以使用由这样的移动装置产生的GPS或其他定位信号来 将静止和视频场景与由环境64产生的显示相关，使得可以将静止和/或视频 图像放在显示中适当的位置，如在对应的受控设备和/或控制装置之上或附 近。

通过非限定性示例举例，在图4A中提供了示出如上所述类型的一种增 强的显示的图示，图4A示出了由表示受控设备78(在此为阀门)和控制它 的致动器80的虚拟现实环境64产生的类型的显示76。该附图也描述了由虚 拟现实环境64产生的图形——在此为图形82A——以增强控制环境的显示 76，并且更具体地以说明在第一组仿真条件下阀门78和/或致动器80的行为。 使用火烟图形83来进一步增强显示，以本例中，强调危险的设备/装置设置 的实际结果。

通过非限定性示例举例，由虚拟现实环境产生的增强的显示也可以包括 受控设备和/或控制装置(或环境5的其他方面)的改变的显示，以允许参与 者“看”到对象内部、“看”透对象和/或“观看”对象周围——这些是参与 者实际上不能做的事。返回到在前的示例，可以使用这种“增强”的现实来 例如允许使用鼠标或其他输入装置来仿真在仿真环境中打开阀门的被培训者 和/或其他用户(例如，维护人员和紧急最先响应者等)看透被填充液体的下 游存储容器的壁。

该增强——无论以叠加的图形和/或看透(或其他改变的显示)设备的形 式——可以基于受控设备和/或控制装置的仿真和/或实际操作数据(以及，如 上所述，基于由在环境5之中或周围的摄像机同时和/或先前获取的静止和/ 或视频图像)。这产生不仅表示受控设备和/或控制装置的行为，而且以符合 环境的实际或仿真条件的方式来进行显示的被模拟环境的显示。继续上一个 示例，由虚拟现实环境64产生的这样的增强的现实显示允许被培训者和/或 其他用户(例如，维护人员和紧急最先响应者等)例如看“透”存储容器的 壁，以不仅看到在仿真环境中打开阀门如何使得下游的存储容器被填充液体， 而且看到那个液体的流速和粘度如何被在上游和下游设备内的温度、压力和/ 或其他实际(或仿真)条件影响。例如，就图4A中所示的图形82而言，类 似地，这也是成立的。

在优选实施例中，虚拟现实环境64中的参与者的这些体验可以与在控制 室56中的人的体验联系起来。因此，例如，控制室中的人员采取的行为的效 果可以被虚拟现实环境64中的参与者见证，并且反之亦然。这可以用于改善 所有涉及者的培训、认知和/或合作。

如上所述的系统和方法的另外的优点是它们通过下述方式来提供改善的 培训和/或认知：基于例如由软件58-62提供的实时计算把由软件58-62提供 的仿真和例如由控制室56提供的控制室仿真与例如由虚拟现实环境64提供 的3D可视化合并，以支持参与者和仿真环境之间的双向反馈——或“行为/ 反应”模式交互。

这样的系统和方法不仅可以用于支持培训工厂人员，而且支持培训紧急 响应者和其他。另外，它们可以与环境5——特别是当它是实际(而不是仿 真)环境时——的维护和/或资产管理功能连接。因此，例如，准备好维护巡 视工厂的人员可以首先在虚拟现实环境64中进行表示巡视的仿真，由此，使 得他们更好地熟悉和准备好就要进行实际维护巡视。这样的仿真可以不仅包 括要维护、更新和/或去除的设备的虚拟现实显示，而且可以具有对使用为环 境64提供的鼠标、游戏控制器或其他输入装置的那个设备的仿真操纵(例如， 去除)。

在一些实施例中，通过下述方式来补充支持维护和/或资产管理的系统54 的上述使用：将仿真引擎62和/或虚拟现实环境64与“后勤办公室”资产和 维护数据库70耦合。引擎62和/或环境62可以使用来自这些数据库的信息 来突出显示，用于要处理或以其他方式采取动作的设备进行仿真巡视的工厂 人员。

而且，系统54可以耦接到SIMNET和/或其他无线(或有线网络)以便 利需要维护和升级等的设备的识别。因此，例如，通过将仿真引擎62和/或 虚拟现实环境64与SIMNET产生的数据耦合，引擎62和/或环境62可以为 工厂人员产生突出需要采取行动的设备的虚拟现实显示。

而且，系统54还可以用于例如支持定期维护特征以及支持紧急过程的人 员跟踪。因此，例如，通过将仿真引擎62和/或虚拟现实环境64与用于指 示环境5(例如，实际工厂)中人员位置的数据流耦合，引擎62和/或环境 64可以产生虚拟现实显示，用于突出需要采取动作的人员设备的位置。通 过非限定性示例举例，可以基于GPS技术、无线技术、RFID技术、步话机 技术或本领域中已知的其他技术来产生这样的数据流。

系统54可以用于团队或个人培训。因此，如上所述，它可以用于协调虚 拟现实培训环境64和控制室56中的人员的行为和通信。它也可以用于协调 虚拟现实培训环境64中的多个人员的行为和通信。相反，它可以用于同时培 训虚拟现实培训环境64中的多个这种人员，并且其中人员的任何一个独立行 为影响向其他人显示的虚拟现实仿真。

调查和/或分析(例如，虚拟现实危机控制室)

如上所述，虚拟现实环境64可以例如通过下述方式来增强仿真环境5 的显示：将图形(包括静止和/或视频图像)叠加在受控设备和/或控制装置的 表示上，并且/或者，改变那个设备和/或装置的表示，以允许参与者“看”进 它们、“看”透它们和/或“观看”它们周围。根据图4A的讨论，例如，增强 的显示可以允许受培训者和/或其他用户查看他的或她的行为如何例如根据 在上游和下游设备内的实际(或仿真)条件下影响仿真环境5的行为。当然， 可以明白，这样的增强的显示可以用于其他目的，仅举出几个例子，例如用 于环境5的仿真或实际操作的调查和/或分析、用于维护和/或资产管理。

显示环境的比较操作以及更具体地显示其中的受控设备和/或控制装置 的增强显示也可用于前述目的及其他目的。更具体地，通过非限定性示例举 例，允许用户将环境5的实际操作与环境5的仿真操作做比较(并且更具体 地，通过非限定性示例举例，比较受控设备和/或控制装置的一个或多个的实 际和仿真操作)的增强的显示可以便利环境操作的调查和/或分析，以例如用 于危机控制和其他目的。如上，可以将这样的实际和/或仿真操作与例如在应 用和/或运行数据库52a-52中和/或与配置数据库52a-52e中和/或与在环境5 之中或周围的摄像机中保持的操作数据相区别。

在图4B中提供了示出例如环境5的实际和仿真操作的比较操作的增强 显示的示例。显示76’示出与图4A的显示76相同的元件，虽然它除了用于 图示在第一组仿真条件下的阀门78和/或致动器80的仿真行为的图表(或其 他图形)82A之外，还包括图示在第二组条件下的阀门和/或致动器的行为的 图表(或其他图形)82B。如上，使用火烟图形83来增加显示，该火烟图形 83指示在描述的条件下的可能危险。通过比较这些图形82A、82B，用户(例 如，工厂人员、紧急最先响应者和/或他人)可以调查和/或分析设备/装置操 作的可能故障(或改善或其他改变)。

上面是举例。如所述，比较操作也可以用于其他目的，诸如培训和计划 (例如，工厂设计)等。而且，可以明白，可以以其他方式来示出比较操作， 该其他方式例如是通过其他叠加的图形和通过看透(或其他改变显示)设备/ 装置等。因此，继续图4B的示例，并且不受限制地，可以通过在显示76’中 看透阀门/致动器的(或其他改变的显示)的显示来示出由环境5的两个不同 模型(来自配置数据库52a-52d)进行的阀门78和/或致动器80的不同操作 模式。

示例

通过参考下面的描述来更完全地明白系统54，其中，在本发明的一个实 施例中实施的系统54或被称为“系统”。

系统提供了适合于以操作员选择的速度(例如，实时或更快)来运行并 且能够对操作员进行有关启动、关断、正常和/或故障操作的培训的高保真、 单元专有的沉浸式培训仿真器。系统包括具有包括过程和控制的参考工厂的 一个完整模型、完全的一组指导者功能以及虚拟工厂环境。系统由工厂仿真、 控制仿真、虚拟工厂环境(又称为虚拟现实环境、仿真计算机硬件、被培训 者硬件站和指导者站构成，如下将更详细描述。

综述

系统包括图形用户界面(GUI)，该GUI是操作和保持完全和充分运作的 沉浸式培训仿真器而无需在建立新的模块连接时重新编译代码所需的。具有 对象形式的系统的3D图形模型的数学模型确定模仿现实的仿真行为，使得 完整的控制室操作员和经存档的操作员交互总是可能的。仿真的故障“在特 性”上是真实的，表示限定的设备故障或其他具体限定的起因的结果。

系统能够执行下述行为：

●连续地复制启动、吞吐量改变和关断。可以以诸如实时或更快的操作 员选择的速度来执行这一点(虽然如果操作员期望，也可以以更慢的速度来 执行这一点)。事实上，在一些实施例中，系统可以以实时速度的三倍和更高 的速度来复制操作员培训仿真。系统模型化故障以及通过来自指导者站或来 自现场操作员的行为启动的系统改变；

●对于系统包括的所有单元，对于从控制室和/或从现场运行并且支持所 有的培训目的所需要的那些设备提供仿真和虚拟工厂交互。

工厂仿真

仿真器(即仿真引擎62)能够再现参考工厂的所有模型化方面。数学模 型基于第一原理，并且产生输出到外部装置所需要的或由其他仿真系统所需 要的全部数据和变量。在仿真的范围内，仿真器在启动、关断或任何正常和 异常操作和故障条件期间真实地响应于控制室操作员行为。

虚拟工厂–虚拟现实引擎(即虚拟现实环境)

虚拟现实引擎的目的是“运行”逼真和详细的环境，该环境具有真实的 “外观和感觉”的物体和照明，但是与仿真引擎62同步地运行，因此，例如， 它可以以操作员选择的速度(例如，实时或更快地)来建立虚拟(或仿真) 环境。实时程序提供了使得用户在环境内自由地移动和交互的可能，而不受 限于对于更传统的非实时呈现的情况下发生的、预先固定的路径或动画。采 用图形来产生和可视化3D实时内容。这样的技术允许每秒60次呈现环境， 而经典的非实时呈现手段仅处理/呈现环境的一个单个帧可能就需要一个小 时。可获得冲突几何形状、交互行为/反应、趋势弹出或透明设备。

控制系统仿真

控制系统仿真提供了在真实工厂中实现的分布式控制系统(DCS)配置、 逻辑和图形的相同表示和功能。

指导者站

基于图形的指导者站提供下面的控制和监控特征：

●    运行/冻结

●    初始化

●    快照

●    返回

●    场景

●    故障启动

●    外部参数和指导者控制的变量

●    远程功能

●    监控的参数

●    趋势

●    被培训者熟练程度查看

●    在虚拟工厂中的操作员位置跟踪

●    跟踪虚拟工厂中的操作员

性能–稳态保真

仿真器的稳态保真涉及在完全生产值和关断条件下将模型预测的性能与 参考工厂数据匹配。对于训练仿真器，参考数据由使用用于关键参数的稳态 仿真器的工厂的稳态仿真构成。当不可从稳态仿真获得时使用用于非关键参 数的工厂测量或设备设计数据。

性能–瞬态保真

系统精确地仿真指导者启动的瞬态，使得操作员不能注意到在此限定的 模型化范围内与实时工厂的显著差别。关键和非关键的计算值对应于指示预 期参数的实际工厂参数，并且不违反物理自然法则。

性能–系统精确度

ITS模型响应的动态精度和沉浸式“接触”使得操作员和过程工程师获 得定量以及定性的过程知识。

系统向被培训者以这样一种方式来提供实际处理单元的很真实的表示从 而在对系统或真实工厂的操作之间没有显著的差别。

通常，可以25cm距离处“人眼视觉”的精度提供有关对象的细节。

性能–故障

系统支持作为标准的大量故障。故障可以影响控制室操作员、现场操作 员或两者。通常，可以选择大约最多5个定制故障来验证，因为对于复杂过 程而言，故障验证会高度耗时。

性能–工厂设计和操作极限

在工厂设计和操作极限之外出现的事件对于系统是可能的。为了避免这 样的事件期间的操作导致的“负”培训，提供了指示以在某些参数超出设计 和操作极限之外时警告指导者。

如上所述的系统和方法的优点包括下面的部分：

1.提高生产量

●由于更好地培训的操作员导致减少工厂停工时间；减少工厂关闸

●减少由受训的工人进行维护所需的预定工厂停工时间；人员知道 在现场预期什么，并且不需要受有关工作的培训。

●来自现场操作员的关于设备状态的实时反馈

2.控制材料成本

●如果这对于维护起作用，则你可以通过更好的计划和培训任务来 减少所需要的建筑材料。

●增强的现实通过下述方式来允许虚拟环境中的操作员看到处理数 据：将图形叠加在受控设备和/或控制装置上，并且/或者，改变设 备/装置的显示以给用户“看”进它们、“看”透它们和/或“观看” 它们周围的印象。所叠加的图形(例如，静止和/或视频图像、图 表和等式等)和/或设备/装置的改变的显示可以基于仿真和/或实 际操作数据和/或固定和/或移动摄像机，由此通过与来自仿真器 (和/或实际工厂)的数据符合的动画来表示处理设备的行为。

3.控制能量成本

4.保持工厂安全和保安

●通过较好培训的操作员、较好培训的承包商、较好培训的来自卖 方的参观者保障所有安全方面

●工厂中的所有人的位置跟踪

●对远程操作区域或很危险/污染区域很有价值的紧急任务组培训

●示出工厂操作员等如何积极地工作以减轻工厂操作和人员安全区 域中的风险

5.保证环境和规章责任

●EHS只有在严重事故后才能学习和培训；VR允许你在安全环境 中就能如此做；就现实中不希望出现的情形进行培训。

这种技术正中客户关心的多个关键方面的要害。

6.降低的培训成本和启动时间

7.例如通过减少与向空气中未经计划的排放和其他环境污染相关联的风 险，降低使用实际或仿真环境造成的环境影响。

如上所述的是满足上述目的的系统和方法。可以明白，在此说明和描述 的实施例仅是本发明的示例，并且包含改变的其他实施例落在其范围内。因 此，通过非限定性示例举例，可以明白，包括由固定和/或移动摄像机获取的 静止和/或视频图像的增强显示可以用这样的照相机或音频获取设备获取的 声音补充或替换。鉴于此，本发明的权利要求如下。