面向大型科技工程、仿真和专家评估的体系效能评估方法

摘要

本发明提出了一种面向大型科技工程、仿真和专家评估的体系效能评估方法，包括：配置大型科技工程体系的仿真模型库，配置管理网络参数并配置研究网络参数，然后根据管理网络参数和研究网络参数，配置资源分配规则；配置运行状态与专家评估数据源；配置实验任务；运行实验；分析仿真结果。本发明建立了面向大型科技工程、能将实际业务信息、静态评估数据纳入仿真模型进行融合计算的方法；使用年度专家评估数据对仿真模型进行实时矫正，使模型具有较强的预测能力。

说明书

技术领域

本发明涉及效能评估技术领域，特别涉及一种面向大型科技工程、仿真和专家评估的体系效能评估方法。

背景技术

(1)现有的效能评估方法主要面向一个单一系统，一般是将该系统划分为多个子模块，然后分别进行评估并汇总结果；大型科技工程的特点是拥有诸多子系统，子系统内部节点互相关联形成复杂网络，整体上，大型科技工程体系虽然有一定的上下级分层结构，但是体系的运行演化更大程度上依赖于复杂网络中节点的相互作用，而非自上而下的行政指挥。因此传统效能评估方法无法应用到对大型科技工程的演化分析与体系效能评估工作上。

(2)目前实践中，对大型科技工程的体系效能评估，主要使用基于专家打分的方法，该方法高度依赖于评估体系与评估指标的构建，而后者也需要通过专家进行设计，评估体系的构建时间长、成本高、调整困难、人为影响因素多。

(3)目前针对这一领域的前沿研究中，主要是用基于仿真模型的评估方法，该方法需要依赖大量的假设条件，在目前对大型科技工程体系的实证研究数据不足的情况下，这些模型假设普遍依赖理想假设，因此仿真模型与实际大型科技工程体系的实际运行数据对接不够紧密，仿真模型的运行结果对实际科技工程管理工作的参考性、指导性不足。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种面向大型科技工程、仿真和专家评估的体系效能评估方法。

为了实现上述目的，本发明的实施例提供一种面向大型科技工程、仿真和专家评估的体系效能评估方法，包括如下步骤：

步骤S1，根据计算工作选择模型，配置管理网络参数并配置研究网络参数，然后根据管理网络参数和研究网络参数，配置资源分配规则；

步骤S2，配置运行状态与专家评估数据源；

步骤S3，配置实验任务；

步骤S4，运行实验；

步骤S5，分析仿真结果。

进一步，所述大型科技工程体系的仿真模型库包括：大型科技工程体系整体演化模型和大型科技工程体系静态评估模型，其中，

所述大型科技工程体系整体演化模型包括：大型科技工程研究网络演化模型、大型科技工程管理网络演化模型和大型科技工程数据校正模型；

所述大型科技工程体系静态评估模型包括：大型科技工程管理能力评估模型和大型科技工程研究能力评估模型。

进一步，在所述步骤S3中，配置实验任务包括：设定所述大型科技工程体系的仿真模型库的多次运行方式、参数取值或参数生成规则、实验运行次数和停止条件。

进一步，在所述步骤S4中，所述运行实验包括：根据实验配置，调用仿真模型产生并存储计算结果。

进一步，在所述步骤S5中，所述分析仿真结果包括：选择大型科技工程体系效能分析模板，对仿真实验结果进行分析。

进一步，所述对仿真实验结果进行分析，包括：对仿真实验结果进行整体分析、研究网络分析、管理网络分析、年度分析和多情境分析。

进一步，对确定的模型参数设定取值区间和取值间隔，产生每个参数的取值，对所有参数取值进行正交，产生N个实验点数据；

利用仿真模型计算出第T年的能力得分仿真效果，计算仿真结果与基于专家打分表求得的能力得分的误差，并得到最小误差值；

如果所述最小误差值未达到预设目标，则进行下一轮实验，重新选取参数取值区间和取值间隔，重新计算误差，直到达到误差目标；

选取误差最小的一组实验参数作为模型预测参数。

进一步，配置管理数据包括：科技工程整体研究计划；管理部门的名称、职能、团队能力评估得分；大型科技工程的规划管理、计划管理、合同管理审批流程；研究团队的研究领域、研究学科、能力指标数据。

进一步，对大型科技工程研究网络演化模型，对研究团队构成的复杂网络演化规律进行仿真实现。

进一步，利用仿真模型计算出第T年的能力得分仿真结果，计算仿真结果与基于专家打分表求得的能力得分的误差，计算出最小误差值，如果所述最小误差值未达到目标，则进行下一轮实验，重新选取参数取值区间和取值间隔，重新计算误差，直到达到误差目标。

进一步，配置大型科技工程体系仿真模型，包括：配置模型输入数据源、输出数据格式。

根据本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法，

(1)建立了面向大型科技工程、能将实际业务信息、静态评估数据纳入仿真模型进行融合计算的方法；

(2)使用年度专家评估数据对仿真模型进行实时矫正，使模型具有较强的预测能力；

(3)在仿真模型中，根据大型科技工程实际特点，建立管理网络、研究网络两个复杂系统功能，降低了模型假设的复杂度、提升了仿真模型运行结果的可解释性。

(4)面向大型科技工程体系整体演化和静态评估的仿真模型库、实验配置功能、实验运行环境、数据存储功能。

(5)大型科技工程体系整体演化模型中的研究网络、管理网络、数据校正功能。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法的流程框图；

图2为根据本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法的流程图；

图3为根据本发明实施例的静态评估和动态演化的示意图；

图4为根据本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法的架构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法，包括如下步骤：

步骤S1，配置大型科技工程体系的仿真模型库，配置管理网络参数并配置研究网络参数，然后根据管理网络参数和研究网络参数，配置资源分配规则。

具体的，配置大型科技工程体系仿真模型，包括：选择静态评估、模型训练、模型预测中的一项，配置模型输入数据源、输出数据格式。

(1)配置输入数据文件：

(2)配置模型运行参数

表1

表2

在本发明的实施例中，大型科技工程体系的仿真模型库包括：大型科技工程体系整体演化模型和大型科技工程体系静态评估模型，其中，

大型科技工程体系整体演化模型包括：大型科技工程研究网络演化模型、大型科技工程管理网络演化模型和大型科技工程数据校正模型；

大型科技工程体系静态评估模型包括：大型科技工程管理能力评估模型和大型科技工程研究能力评估模型。

在本步骤中，配置管理数据包括：科技工程整体研究计划；管理部门的名称、职能、团队能力评估得分；大型科技工程的规划管理、计划管理、合同管理审批流程；研究团队的研究领域、研究学科、能力指标数据。

在本发明中，面向大型科技工程体系的仿真模型库，包括：大型科技工程体系整体演化模型。

导入以下数据：科技工程整体研究计划；管理部门的名称、职能、团队能力评估得分；大型科技工程的规划管理、计划管理、合同管理审批流程；研究团队的研究领域、研究学科、能力指标数据(发表论文数、专利数、获奖数、团队人数(分高级职称、中级职称、初级职称人数))。

本发明可以实现以下功能：

基于研究计划，预测未来每年的合同数量、合同执行周期、合同归属团队、合同得分；预测研究团队能力，管理部门能力；计算科技工程体系效能；大型科技工程研究网络演化模型，对研究团队构成的复杂网络演化规律进行仿真实现。

本发明可以实现对以下方面进行仿真：

预测跨团队合作关系(如果至少有一个同时归属两个团队的成员，则称两个团队存在跨团队合作关系)；基于跨团队合作关系的研究合作网络的结构演化(网络规模、中心度、脆弱性)；大型科技工程管理网络演化模型，对管理体系的业务流程进行仿真实现；预测未来每年各管理部门审批合同的数量和效率；预测未来每年各管理部门管理业务流程的改变。

本发明进一步提供大型科技工程静态评估模块，包含管理能力评估、研究能力评估，可以在仿真模型的任意演化时刻，导出静态评估结果，参考表3。

表3

步骤S2，配置运行状态与专家评估数据源。

配置大型科技工程体系运行状态数据和效能评估数据，建立年度数据与仿真模型的关联关系。

根据静态评估指标的层级、实际意义、数据格式特点，和动态演化模型的变量意义、层次等多种因素综合考虑，使用以下策略进行指标的对应：

人才队伍能力评估的末级指标(团队能力得分)对应动态演化模型的团队agent的能力值，管理能力评估指标的顶层指标(一级和二级指标)对应动态演化模型的各项全局参数(即系统宏观假设)。具体对应关系如表4所示。

表4

步骤S3，配置实验任务。

在本步骤中，配置实验任务包括：设定大型科技工程体系的仿真模型库的多次运行方式(蒙特卡洛、多情境、遗传算法等)、参数取值或参数生成规则、实验运行次数和停止条件等。

步骤S4，运行实验。

在本步骤中，运行实验包括：根据实验配置，调用仿真模型产生并存储计算结果。

在本发明的实施例中，仿真实验运行环境：仿真模型的托管运行环境，能够按照实验设计，对指定的仿真模型进行单次运行、多次运行、或依据前一次运行结果调整参数多次迭代运行。

步骤S5，分析仿真结果。

在本步骤中，分析仿真结果包括：选择大型科技工程体系效能分析模板，对仿真实验结果进行分析。

对仿真实验结果进行分析，包括：对仿真实验结果进行整体分析、研究网络分析、管理网络分析、年度分析和多情境分析。

本发明提供运行结果可视化分析功能：对仿真模型运行结果数据进行抽取和多维度交叉分析，对结果利用线状图、饼图、散点图等可视化方式进行呈现。

此外，本发明可以提供大型科技工程数据校正功能，将专家评价数据输入模型，训练模型参数。数据见附件表3专家打分表。训练方法为：

(1)对待确定的模型参数(主要包括团队能力成长假设、团队合作倾向假设、管理部门能力成长假设、管理流程变化假设)设定取值区间和取值间隔，产生每个参数的取值，对所有参数取值进行正交，产生N个实验(N＝m1*m2*m3…，m1,m2,m3为每个参数的取点数)

(2)利用仿真模型计算出第T年的能力得分仿真结果，计算仿真结果与基于专家打分表求得的能力得分的误差，并得到最小误差值

(3)如果最小误差值未达到目标，进行下一轮实验，重新选取参数取值区间和取值间隔，重新计算误差，直到达到误差目标

(4)取误差最小的一组实验参数作为模型预测参数。

本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法，进一步包括：对大型科技工程研究网络演化模型，对研究团队构成的复杂网络演化规律进行仿真实现。

利用仿真模型计算出第T年的能力得分仿真结果，计算仿真结果与基于专家打分表求得的能力得分的误差，计算出最小误差值，如果最小误差值未达到目标，则进行下一轮实验，重新选取参数取值区间和取值间隔，重新计算误差，直到达到误差目标。

根据本发明实施例的面向大型科技工程、仿真和专家评估的体系效能评估方法，

(1)建立了面向大型科技工程、能将实际业务信息、静态评估数据纳入仿真模型进行融合计算的方法；

(2)使用年度专家评估数据对仿真模型进行实时矫正，使模型具有较强的预测能力；

(3)在仿真模型中，根据大型科技工程实际特点，建立管理网络、研究网络两个复杂系统功能，降低了模型假设的复杂度、提升了仿真模型运行结果的可解释性。

(4)面向大型科技工程体系整体演化和静态评估的仿真模型库、实验配置功能、实验运行环境、数据存储功能。

(5)大型科技工程体系整体演化模型中的研究网络、管理网络、数据校正功能。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。