VV&A仿真系统的校核、验证与验收:现状与未来

仿真系统是利用仿真模型代替被研究的对象, 在计算机或其他仿真设备组成的环境中进行实验的系统。仿真模型是否精确, 计算机软硬件的是否可靠, 其他仿真设备的性能是否满足需要, 仿真系统的实验结果正确性是否能满足决策和分析的需要, 这些都是仿真系统开发者和用户所关心的问题。

这些问题可以归结到仿真系统可信度评估的研究范畴。仿真系统校核、验证与验收(Verification , Validation and Accreditation：VV&A)是可信度评估工作的基础, 它通过仿真系统生命周期中的有关活动, 对各阶段工作及其成果的正确性有效性进行全面的评估, 从而保证仿真系统达到足够高的可信度水平以满足应用目标的需要。

2 .2 　原则

讨论VV&A的原则可以深化对仿真系统VV&A的概念的理解, 对仿真系统的VV&A 理论研究和实践都有重要的指导作用。

美国国防部发表的VV&A建议指导规范归纳总结了普遍适用的12条VV&A基本原则, 用于指导仿真系统VV&A的管理者和工作人员去管理和操作有关的VV&A活动。Osman Balci 等在中总结有关研究资料的基础上提出了仿真模型校核、验证与测试(Verification 、Validation and Testing :VV &T)的15 条原则, 可以作为仿真系统VV&A的重要参考。综合以上有关的研究资料, 对仿真系统VV &A应遵循的主要原则包括：

○ 　相对正确原则:没有绝对正确的仿真系统, 仿真系统的正确性是相对于其应用目的而言的, 一个仿真系统对一个应用目的而言完全正确, 而对另一个应用目的可能是完全不正确;

○ 　全生命周期原则:VV&A是贯穿仿真系统生命周期的一项工作, 仿真系统生命周期中的每个阶段都应该根据其研究内容和对实现应用目标的影响安排适合的VV&A活动, 以发现可能存在的问题和影响, 仿真系统VV&A不能等到仿真系统开发工作基本完成之后再进行, 那样很难真正发挥VV&A应有的作用;

○ 　有限目标原则:仿真系统VV&A的目标应紧紧围绕仿真系统的应用目标和功能需求, 对于应用目标无关的项目, 可以不进行VV&A活动, 以减少VV&A的开支;

○　必要不充分原则:仿真系统的验证不能保证仿真系统应用结果的正确性和可接受性, 即VV&A是必要的但不是充分的, 要尽力避免三类错误:第一类错误是仿真系统是正确的, 但却没有被接受;第二类错误是仿真系统是不正确的,但却被接受;第三类错误是解决了错误的问题;

○　全局性原则:对仿真系统的组成部分的校核与验证不能保证整个仿真系统的正确性, 整个仿真系统的正确性必须从系统整体出发进行校核与验证;

○　程度性原则:对仿真系统的验收得到的不是简单的接受或拒绝的二值逻辑问题, 而是相对仿真系统的应用目标器可接受的程度如何;

○　创造性原则:对仿真系统的VV&A需要评估人员具有足够的洞察力和创造力, 因为仿真本身就是一门创造性很强的科学技术, 对其进行评价更需要足够的创造力, VV &A既是一门科学又是一门艺术;

○　良好计划和记录原则: 仿真系统的校核与验证必须做好计划和记录工作, 良好的计划应选择对提高仿真系统的正确性和仿真结果的可信度最有贡献的活动, 并优化安排其实施过程, 以最大限度地发现问题, 提高仿真系统质量;对每项工作结果都要做认真的记录, 为系统VV &A 的下一步工作和验收提供必要的信息;

○　分析性原则:仿真系统VV&A 不仅要利用系统测试所获得的数据, 更重要的是要充分利用系统分析人员的知识和经验, 对有关问题尤其是无法通过测试来检验的的问题,进行细致深入的分析;

○　相对独立性原则:仿真系统的VV&A 要保证评估工作的一定的独立性, 以避免开发者对VV&A结果的影响, 但VV&A要与开发人员相互配合, 加深对系统的理解, 以利于做好仿真系统的VV&A工作;

○　数据正确性原则:VV&A所需要的数据/数据库必须是经过校核、验证与确认, 证明其正确性和充分性的。

3 .1 　仿真系统的VV&A过程模型

仿真系统的VV&A是仿真系统生命周期中的一项重要活动, VV&A工作必须做好计划和文档记录工作, 这是仿真系统VV&A的一条重要的基本原则。Osman Balci 等将仿真生命周期概括为10个阶段和13个VV &A 过程的模型 ;美国国防部VV&A建议指导规范把仿真系统生命周期中的VV&A 工作划分为确定VV &A需求、VV&A计划设计、概念模型校验、系统设计校验、系统实现校验、系统应用校验、系统验收七个主要阶段。Ms.Simone Youngblood 等提出了分布交互仿真VV&A的9步参考模型。对仿真系统VV&A 过程研究还有DR.Paul Muessig 等进行的SMART(Susceptibility Model Assessment and Range Test)项目研究 ;Ernest H .Page 等进行的采用ALSP 协议的联合作战同盟系统的VV&A过程研究Dale K .Pacedeng 进行的美国海军建模与仿真VV&A过程研究等。在国内, 哈尔滨工业大学仿真技术研究中心进行了分布交互仿真系统的可信度评估方案研究。

下面以分布交互仿真系统VV&A的9 步参考模型为例, 对仿真系统VV&A过程作简要的介绍。分布交互仿真系统VV&A的9步参考模型如图2 所示:

第一步, 设计VV&A计划草案:仿真系统VV&A计划的设计应在分布交互仿真系统开发计划设计和需求分析阶段开始的时候就进行。在这一阶段, 仿真系统VV&A计划和测试计划应概念化并提出草案, VV&A方案的设计应一直持续到第2步和第3步。

第二步, DIS 标准兼容性测试:对将要参加分布交互仿真系统的各分系统(或重要部件)进行标准兼容性测试, 确认他们可以充分利用分布交互仿真协议数据单元(Protocol Data Unit :PDU)进行通信, 与分布交互仿真标准(IEEE1278)兼容保证了各分系统(或重要部件)中的实体可以用“ 共同语言” 进行交互。

第三步, 验证系统概念模型:分布交互仿真系统的概念模型为系统功能提供了一个高层次的表述, 这种表述必须要根据实际的应用需求进行验证, 保证概念模型与系统应用需求之间保持可追溯性。

第四步, 校核系统结构(概要)设计:分布交互仿真系统的结构(概要)设计完成将各分系统(或重要部件)的功能与概念模型的功能要求一一对应起来。分布交互仿真资源库中关于参加该分布交互仿真系统的分系统(或重要部件)的校核验证与验收的历史、精度情况等可以帮助设计者做出决定。系统的结构(概要)设计的结果要根据概念模型加以校核, 以确定所需的功能均已分配给各分系统(或重要部件)。

第五步, 校核系统详细设计:在详细设计阶段, 结构(概要)设计被扩展到更加详细的水平, 将参加的分系统中的仿真实体与功能需求的详细说明一一对应起来。这阶段的校核工作保证系统详细设计是正确和完全的, 并与需求的详细说明保持可追溯性。

第六步, 校核软件系统功能:这一阶段, 分布交互仿真系统的仿真实体的功能同详细设计的要求相比较, 以确定所需的功能能正确实现。

第七步, 验证系统试验结果:这一阶段的主要目的是确认分布交互仿真系统在多大程度上反映了真实作战系统的实际功能、性能、行为, 并具有足够的精度和交互能力以满足应用目标的需要。

第八步, 验收系统:负责系统验收的机构(用户或发起人)要审核分布交互仿真系统校核验证工作的结果, 并对系统的可接受性问题做出验收决定。

第九步, 准备有关文档:VV&A报告要详细记录分布交互仿真系统VV&A工作的各项成果, VV&A报告应保存在分布交互仿真资源库中, 作为对有关系统VV&A工作的证明和未来应用的参考。

图2 　分布交互仿真系统的VV&A9 步参考模型

3 .2 　VV&A过程的优化

由于仿真系统VV&A本身并不直接增加仿真系统的功能和性能, 因此对VV&A的可行性问题经常产生怀疑, 认为VV&A是对开发经费和时间的浪费。事实上, 仿真系统VV&A的真正价值在于可以使仿真系统最大程度地避免开发中发生各种错误和由此造成的损失, 这所包括的经济利益是巨大的。但仿真系统VV&A的过程应该进行优化, 用尽可能小的预算发现尽可能多的错误和风险, 这就要求对仿真系统VV&A过程进行充分的酝酿编排, 根据仿真系统的实际情况制定最有效的VV&A方案。William Jordan等在中对仿真系统VV&A过程优化问题进行了有效的研究, 提出了一套解决的方案。Dr .Paul R.Muessig等在中回答了对仿真系统的校验应做到什么程度以满足验收的需要的问题。对仿真系统VV&A 过程的优化, 要避免两个极端:

(1)要避免过分追求VV&A过程的全面性:仿真系统的VV&A工作的全面性是针对具体的仿真系统的实际情况而言, 不能不顾仿真系统的实际情况而一味套用有关的VV&A规范, 这会造成时间和经费的浪费, 同时增加了VV&A工作的难度。

(2)要避免过分压缩VV&A的工作:对仿真系统进行VV&A要有一定的深度和广度, 以真正发现系统中存在的问题, 走马观花、蜻蜓点水的工作方式做不好VV&A工作,莫不如不作。

#The End #

作者：王子才, 张冰, 杨明

-------------------------------------------------------

本内容来源于互联网,版权归原作者所有,供学习交流使用,严禁商用,如有侵权请联系我们删除。

-------------------------------------------------------

相关文章，在仿真秀官网搜索：

流体力学仿真软件可信度评估与预测能力（下）  /  基于人工智能的 VVA 平台研究  /  你知道有限元分析中存在的几种模量吗？  /  对流体力学贡献突出的牛人们