一种基于组合测试的软硬件混合系统联合试验剖面构造方法

摘要

本发明提出了一种基于组合测试的软硬件混合系统联合试验剖面构造方法，该方法包括：分析软硬件混合系统、确定软硬件混合系统综合任务剖面、确定硬件环境参数、确定每个环境参数对应的测试需求、确定每个测试需求下环境剖面数据表、确定软件每个任务对应的测试需求、确定每个软件测试需求的操作剖面、确定软件应力、确定软硬件混合系统测试参数表、确定软硬件混合系统测试场景以及确定软硬件混合系统可靠性联合试验剖面，共11个步骤。本发明在确定软硬件混合系统测试场景时使用的是两两覆盖的组合测试的方法，不仅可以生成比目前剖面构造方法更少的测试场景，而且可以更加真实的反映软硬件混合系统的实际使用情况。

说明书

技术领域

本发明涉及软硬件混合系统可靠性试验领域，特别是涉及一种软件密集型的软硬件系统的可靠性试验剖面构造方法，适用于软硬件混合系统的可靠性设计与评估技术领域。

背景技术

软硬件混合系统是集软、硬件于一体，可独立工作的计算机系统。和普通的计算机系统相比，这类系统软硬件之间存在大量交互，系统中各个模块按照规定的方式协调工作，可以在相对恶劣的环境下共同完成复杂的系统功能，航空航天领域飞机控制系统系统就是软硬件混合系统的典型例子。随着信息化技术的发展，软硬件混合系统在航空航天、武器装备、交通运输、通讯网络等关键领域的重要设备中的应用越来越广泛，这些领域与生命财产安全息息相关，对可靠性有很高的要求。采用传统的可靠性研究理论对软硬件混合系统进行可靠性评估时，通常假设硬件故障和软件故障时相互独立的。他们的研究中通常单独分析硬件或是软件可靠性，认为软硬件混合系统是硬件组件和软件组件串联分布的结构，通过构建硬件环境应力剖面和软件测试剖面对研究硬件和软件分别单独进行可靠性试验，忽略软件与硬件之间的相互影响，存在重大的安全隐患。然而，导致软硬件混合系统的故障的原因，除了单纯的软件、硬件故障外，还可能是软硬件交互产生的，不能忽视软硬件混合系统复杂的软硬件交互的特点。

阻碍软硬件混合系统可靠性评估技术发展的最大障碍在于软硬件失效机理不同，主要表现在三个方面：(1)硬件存在物理实体，而软件则为逻辑表达，承载形式多变；(2)硬件在生产过程、使用过程中由于材质的变化会导致故障，而软件缺陷均为开发过程的设计缺陷；(3)硬件故障修复后只能保持可靠性，而软件则是能提高。目前解决这一难点的方法主要分为三大类，分别是失效过程融合方法、评价结果融合方法和微观结构融合方法，它们不同程度的解决了软硬件综合可靠性评估的技术难点并给出了如何评估系统可靠性的建模和计算方法。但是随着大规模集成电路及可编程器件的快速发展，产品装备的数字化程度不断提高，这些融合软件与硬件评估的方法需要大量的人工操作，对于工程实现和可靠性试验来说带来了巨大的困难与挑战，因此如何尽可能的减少和合理的生成测试用例是联合试验剖面应解决的问题。

现阶段对于软硬件混合系统联合试验剖面的绘制方法主要是通过分别绘制硬件试验剖面与软件操作剖面然后通过二者对应的硬件任务场景和软件任务场景进行正交，得到的一个软硬件联合任务场景来达到硬件试验剖面与软件操作剖面进行结合。但是会存在很多问题，首先硬件试验剖面的绘制方法本身就是一种针对某种硬件的测试需求而量身定制的过程，分别针对温度条件、湿度条件、震动条件、电磁条件和电压等条件设置不同的情况并选取某种组合条件来组合而成硬件试验剖面，而将这种定制的硬件试验剖面直接与软件的所有测试需求的测试场景进行正交而得到的联合试验剖面就失去的定制的特征，并且会出现很多不存在的软硬件联合任务场景，比如说在地面的硬件任务场景可能会与高空飞行的软件任务场景进行结合。另外，基于正交而得到的联合试验剖面反而增加了最终测试用例的数量，耗费更多的试验资源。最后，这种方法得到的试验剖面也很难考虑软硬件的失效机理，也就是说某个测试用例检测出现故障后很难进行排查，可能还需要专门的去再设计另一种方法去筛查条件来锁定故障位置。

发明内容

本发明针对目前软硬件混合系统可靠性试验过程中，难以综合考虑软硬件之间的交互的问题与目前试验剖面构造技术在针对软件密集型系统开展可靠性试验时会生成很多不必要不合理的测试用例并且难以排查故障的问题，提出了一种基于组合测试的软硬件混合系统联合试验剖面构造方法，完整给出试验剖面构造和排查故障的步骤。

为了实现上述目的，本发明的技术方案如下：一种基于组合测试的软硬件混合系统联合试验剖面构造方法，包括如下步骤：

步骤1)分析软硬件混合系统。确定联合可靠性试验剖面中的研究对象，包括使用人员、被测系统、被测系统所使用的大系统和交联交互系统；

步骤2)确定软硬件混合系统综合任务剖面。对软硬件混合系统进行任务分析，获取软硬件混合系统的任务信息，在这一步骤中通过分别提取出每个任务中的硬件任务和软件任务可以分别绘制硬件任务剖面和软件任务剖面；

步骤3)确定硬件环境参数。分析硬件的工作环境要求文档，并根据步骤2中的硬件任务剖面，描述系统硬件在每个任务下的工作环境参数；

步骤4)确定每个环境参数对应的测试需求。该步骤描述硬件必须具备在某些特定条件下工作的能力；

步骤5)确定每个测试需求下环境剖面数据表。环境剖面数据表是用来绘制硬件试验剖面的，确定了硬件可靠性试验需要的环境应力数据；

步骤6)确定软件每个任务对应的测试需求。该部分为软件任务功能测试需求，主要描述每个任务下需要分别完成哪些功能；

步骤7)确定每个软件测试需求的操作剖面。每个测试需求的操作剖面也就是描述该测试需求对应软件功能所涉及哪些软件操作；

步骤8)确定软件应力。软件应力即为软件部分的测试用例，在这里是通过路径覆盖得到的测试用例，使用特定的需要标识；

步骤9)确定软硬件混合系统测试参数表。测试参数表通过将硬件环境应力与软件应力以及每种应力所包含的测试需求使用参数标识并制表得到；

步骤10)确定软硬件混合系统任务场景。混合系统任务场景即为软硬件混合系统的每种测试场景；

步骤11)确定软硬件混合系统可靠性联合试验剖面。

作为本发明的一种改进，将剖面构造过程需要的软件测试要求与硬件测试标准提取出来，生成互斥的软件测试需求与硬件测试需求，并通过两两覆盖的准则组合软件测试需求与硬件测试需求，从而生成联合测试场景，与目前基于正交方法生成测试场景的方法相比本方法可以用更少的测试用例覆盖软硬件交互相关的测试需求。

作为本发明的一种改进，依据联合测试场景，生成一个个联合试验剖面的切片，因为测试场景是通过组合测试需求生成的，因此试验剖面的数据是依据原始硬件剖面的数据拆分组合成的，组合后需要进行一些不合理的数据处理。

作为本发明的一种改进，步骤3)确定硬件环境参数中，环境剖面中的环境应力确定标准主要参考GJB899A-2009规定的方法或者产品定制方的要求进行和选择。

作为本发明的一种改进，步骤4)确定每个环境参数对应的测试需求中，主要是根据GJB899A-2009提供的综合环境条件规范性附录中确定应力的方法，或产品定制方的测试需求，分别针对温度、湿度、震动、电磁、电压5个环境应力提取出互斥的描述信息作为测试需求。

作为本发明的一种改进，步骤5)确定每个测试需求下环境剖面数据表，环境剖面数据表是用来绘制硬件试验剖面的，确定了硬件可靠性试验需要的环境应力数据，主要是根据GJB899A-2009提供的环境剖面数据表绘制方法，确定环境剖面中环境参数的值以及他们的持续时间，另外，试验过程发现故障需要排查的时候，该剖面需要复用逐一排查测试需求的组合方式，可以更快锁定故障原因。

本发明与现有技术相比，具有以下优点：

(1)本发明提出的基于硬件试验剖面的软硬件混合系统联合试验剖面构造方法，借鉴目前技术比较成熟的硬件可靠性试验剖面的绘制方法，考虑到试验剖面需要针对不同的待测产品而专门定制的特征，直接设计软硬件混合系统可靠性试验剖面。而现有的方法是先分别构造硬件试验剖面与软件操作剖面然后寻找二者的结合点通过正交的方法进行结合。这种方法就无法直接从软硬件结合的角度出发，而是分别独立的设计然后结合，不仅会产生很多重复的测试场景，而且还会破坏试验剖面定制性的特点。因为如果相同的硬件搭载不同的软件利用的却还是使用相同的硬件试验剖面是显然不合理的。因此同时分析硬件与软件的测试需求，然后根据测试需求通过组合的方式生成软硬件混合系统联合试验剖面的方法可以大大减少测试场景的生成，从而减少测试用例，提高效率，并且构造的试验剖面可以更加合理的反应软硬件的特性。

(2)现有的剖面构造技术虽然提出了考虑软硬件失效机理的概念，但是在结合软件剖面和硬件剖面时往往忽略了失效机理这个重要的因素。本发明可以在通过组合测试需求的同时根据软硬件之间的相互影响或是根据失效机理针对性的组合设计测试场景。

(3)在试验过程中若是由故障产生，需要进一步分析故障的原因以定位并排除故障。本发明可以具体有效的根据组合分析快速的进行故障排查。

附图说明

图1是本发明的体系结构。

图2是本发明的硬\软件任务剖面图的一个实例图。

图3是本发明的“完成总线数据采集”功能的操作剖面的一个实例图。

图4是本发明的“完成总线数据采集”功能的软件应力图的一个实例图。

图5是本发明的车载信息采集装备信息采集任务综合试验剖面切片的示例图。

具体实施方式

为了便于相关领域技术人员理解和实施本发明，下面结合附图和实例对本发明作进一步的详细和深入描述。

本发明提出的一种基于组合测试的软硬件混合系统联合试验剖面构造方法与当前存在的构造方法主要不同在于引入了软件测试需求分析与硬件测试需求分析并通过组合的方式构造联合测试场景。其中改进现有通过分别构造软、硬件可靠性试验剖面并结合的联合试验剖面构造方法是通过组合的方式，直接构造软硬件混合系统联合测试场景，在同一个测试场景中包含了硬件的测试需求与软件的测试需求，其中软硬件混合系统联合测试场景的方法是依据组合测试和两两覆盖的原则生成。

实施例：一种基于组合测试的软硬件混合系统联合试验剖面构造方法，包括如下步骤：

步骤1)分析软硬件混合系统。确定联合可靠性试验剖面中的研究对象，包括使用人员、被测系统、被测系统所使用的大系统和交联交互系统。该步骤需要参考被测产品的设计说明书或者是参考软硬件混合系统相关书籍以及查阅相关文件获得；

步骤2)确定软硬件混合系统综合任务剖面。对软硬件混合系统进行任务分析，获取软硬件混合系统的任务信息，在这一步骤中通过分别提取出每个任务中的硬件任务和软件任务可以分别绘制硬件任务剖面和软件任务剖面。该任务剖面主要是根据系统技术要求文档分析，分析得到软硬件相关任务，确定任务剖面；

步骤3)确定硬件环境参数。分析硬件的工作环境要求文档，并根据步骤2中的硬件任务剖面，描述系统硬件在每个任务下的工作环境参数。环境剖面中的环境应力确定标准主要参考GJB899A-2009规定的方法或者产品定制方的要求进行和选择；

步骤4)确定每个环境参数对应的测试需求。该步骤描述硬件必须具备在某些特定条件下工作的能力。主要是根据GJB899A-2009提供的综合环境条件规范性附录中确定应力的方法，或产品定制方的测试需求，分别针对温度、湿度、震动、电磁、电压5个环境应力提取出互斥的描述信息作为测试需求；

步骤5)确定每个测试需求下环境剖面数据表。环境剖面数据表是用来绘制硬件试验剖面的，确定了硬件可靠性试验需要的环境应力数据。主要是根据GJB899A-2009提供的环境剖面数据表绘制方法，确定环境剖面中环境参数的值以及他们的持续时间；

步骤6)确定软件每个任务对应的测试需求。通过分析步骤2)得到的软件任务剖面中每个任务所包含的所有功能，识别所有可能的交联系统或外界用户的交互，这种交互可以称之为操作，确定每个功能所包含的操作集合，每个测试需求也就是测试是否能完成相应功能并且每步操作不发生异常；

步骤7)确定每个软件测试需求的操作剖面。依据软件设计说明书，分析每一个软件功能对应的操作集合并使用流程图加以描述。其中需要确定每个操作所涉及的输入以及输入的取值范围与分布信息。另外，还需确定每步操作转移到另一个操作的概率信息，从而构建一个完整的操作剖面(流程图)；

步骤8)确定软件应力。对于步骤7)中得到的所有软件操作流程，路径覆盖，遍历其中每个初始状态到终止状态的路径并编号，同时根据状态转移概率计算每条路径出现的概率；

步骤9)确定软硬件混合系统测试参数表。为了直接绘制软硬件混合系统联合试验剖面，将步骤3)得到的硬件环境剖面中的5个环境应力与步骤8)中得到的软件应力作为列，每行的内容即为相应的软/硬件测试需求；

步骤10)确定软硬件混合系统任务场景。根据步骤9)得到的软硬件混合系统测试参数表，使用组合测试的方法并以两两组合覆盖原则，生成包含5种硬件环境应力和1种软件应力的所有组合，每一种组合即为软硬件混合系统任务场景；

步骤11)确定软硬件混合系统可靠性试验剖面。软硬件混合系统可靠性试验剖面由多个测试周期组成，周期的数量由产品测试要求而定。每个周期的纵坐标即为5个环境应力与软件应力组成，横轴由步骤10)得到的软硬件混合系统任务场景组成。剖面的数据则根据任务场景中每种应力对应的数据。其中，硬件应力的数据由步骤5)得到的数据确定，每个周期不变；而软件应力的数据根据步骤8)得到路径概率随机选取，该方案在后期试验发现故障时，使用组合测试的方法可以更容易排查哪些个因素的组合容易导致故障，更加适用于软硬件混合系统的可靠性鉴定试验。

具体实施例：

下面通过列举实例来说明本发明的软硬件混合系统联合可靠性试验剖面构造方法的可行性和有效性。以某车载信息采集装备为例，该设备主要用于实时采集并无损存储作战车辆的运行状态信息。其中信息采集装备嵌入式数据解析与管理模块是该设备控制系统核心，运行在嵌入式电子控制器中。该控制器与信息采集硬件协同工作，控制器可以在一些异常状态下比如过压或发动机过热的情况下进行保护控制，采集硬件则反馈采集信息交给控制器进行解析存储。实例系统中的某些参数在此进行了简化处理，针对该设备的联合试验剖面构造过程具体如下：

步骤1、分析软硬件混合系统。

首先被测系统指的是被测软件所在的能够完成软件任务需求的最小嵌入式单元，所以“车载信息管理控制软件”的载体“嵌入式电子控制器”为实例种的被测系统，交联系统为整个作战车辆系统，使用人员为车辆驾驶人员。

步骤2、确定软硬件混合系统综合任务剖面。

通过阅读相关资料，可以知道作战车辆典型的任务包括：侦察、运输和武器牵引。由于被测设备在完成以上任务过程中的任务比较单一，所以在这里无需考虑交联系统的任务剖面。“嵌入式电子控制器”的工作模式主要两种，分别是BIT自检模式以及信息采集模式。在自检模式下主要执行自检任务。在信息采集工作模式下主要完成信息采集和数据管理任务。被测设备的软件任务剖面与硬件任务剖面不尽相同，如图2所示。

步骤3、确定硬件环境参数。

这一步骤主要是为了确定有哪些需要考虑的环境参数，根据定制方的要求以及GJB899A-2009附录B中规定的地面移动设备说明的综合考虑，确定“嵌入式电子控制器”的硬件环境剖面包含温度、湿度、电压、震动与电磁五个参数。

步骤4、确定每个环境参数对应的测试需求。

由步骤2可知该设备主要有两种工作模式，但第一种自检模式是在车辆静止的条件下完成的，基本可以忽略环境的影响，下面主要针对在工作模式2下的信息采集任务进行联合试验剖面构造分析。在确定了5个环境参数后，按照GJB899A-2009附录B中对地面移动设备的相应应力的描述要求，互斥的提取出测试需求，例如其中关于震动应力的描述：“如果缺少随机振动控制设备，可采取对三个轴分别进行正弦扫描，频率范围为5Hz-200Hz，最大幅值为35m/s

表1

步骤5、确定每个测试需求下环境剖面数据表。

环境剖面数据表的制作方法在GJB899A-2009中有详细阐述，这里结合不同的测试需求仅仅是进行一个分类操作，针对温度的测试需求设计的环境剖面数据表如表2所示。

表2

步骤6、确定软件每个任务对应的测试需求。

通过分析步骤2)得到的软件任务剖面中每个任务所包含的所有功能，这些功能组成的集合组成了一个测试需求。步骤2)得到的“嵌入式电子控制器”软件任务剖面包括了自检、采集和数据管理3种任务，其中完成采集任务需要同时考虑三种功能的正常完成，得到的软件测试需求如表3所示，共有5种软件测试需求。

表3

步骤7、确定每个软件测试需求的操作剖面。

依据软件设计说明书，分析每一个软件功能对应的操作集合并使用流程图加以描述。其中需要确定每个操作所涉及的输入以及输入的取值范围与分布信息由软件设计说明书确定。另外，每步操作转移到另一个操作的概率信息凭经验而定，或咨询软件的设计人员。信息采集测功能所涉及的软件操作与输入输出对应表如表4所示，“完成总线数据采集”功能的操作剖面如图3所示，操作剖面中的每一步操作的输入输出内容与表4一一对应。

表4

步骤8、确定软件应力。

对于步骤7)中得到的所有软件操作流程，路径覆盖，遍历其中每个初始状态到终止状态的路径并编号，同时根据状态转移概率计算每条路径出现的概率。例如对图3“完成总线数据采集”功能的操作剖面的基本流首先进行标号TP1，其抽取概率为：

0.9×0.9×0.9×0.9×0.9＝0.59049 (1)

完整的“完成总线数据采集”功能的软件应力图如图4所示。

步骤9、确定软硬件混合系统测试参数表。

为了直接绘制软硬件混合系统联合试验剖面，将步骤3)得到的硬件环境剖面中的5个环境应力与步骤8)中得到的软件应力作为列，每行的内容即为相应的软/硬件测试需求，为了便于说明，测试需求使用字母符号代替文字表达，软硬件混合系统测试参数表如表5所示。

表5

步骤10、确定软硬件混合系统测试场景。

软硬件混合系统的测试场景即既包含软件也包含硬件的综合测试场景，为本发明的核心部分，使用组合测试的方法并以两两组合覆盖原则对步骤9)的参数表进行覆盖，生成包含5种硬件环境应力和1种软件应力的所有组合(ABCDEF)。从表5可知，如果是直接通过正交生成测试场景的话会有2

表6

步骤11)确定软硬件混合系统可靠性联合试验剖面。

由于完整的试验剖面由多个周期组成，且每个周期由多个测试场景构成，这里展示了其中一个测试场景(表6中的测试场景1)的剖面切面构造实例。参照表6和表1，对测试场景1中的编号做出解释。A1对应表1中的冷天测试需求，B1对应湿度变化范围在25％～75％的测试需求，C1对应施加随机振动的测试需求，D1对应上限电压，E2对应存在电磁干扰的测试需求，F1对应软件的基本操作流TP1。选取时间段为35-60min的切片。其中，冷天条件为从-10℃开始变化率为0.5℃/min，湿度条件为一段26％，一段46％，振动条件为两段分别为0.1和0.4(m/s

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。