1
仿真系统是利用仿真模型代替被研究的对象, 在计算机或其他仿真设备组成的环境中进行实验的系统。仿真模型是否精确, 计算机软硬件的是否可靠, 其他仿真设备的性能是否满足需要, 仿真系统的实验结果正确性是否能满足决策和分析的需要, 这些都是仿真系统开发者和用户所关心的问题。
这些问题可以归结到仿真系统可信度评估的研究范畴。仿真系统校核、验证与验收(Verification , Validation and Accreditation:VV&A)是可信度评估工作的基础, 它通过仿真系统生命周期中的有关活动, 对各阶段工作及其成果的正确性有效性进行全面的评估, 从而保证仿真系统达到足够高的可信度水平以满足应用目标的需要。
1
历史回顾和文献综述
对仿真系统的校核、验证与验收(VV&A)研究最早开始于对仿真模型的校验研究, 这可以追溯到本世纪60年代仿真应用的初始时期, 人们对利用模型代替实际系统进行仿真实验的可信度是有怀疑的, 1962年Bigg‘s和Cawthore等就注意到了对“ 警犬”导弹仿真的全面评估。几十年来, 对仿真模型的校验问题的研究一直是系统仿真研究的重点。美国计算机仿真学会于七十年代中期成立了模型可信性技术委员会(Technical Committee on Model Credibility), 其任务是建立与模型校验有关的概念和术语。80年代以来, 每年的夏季计算机仿真会议(SCSC)和冬季仿真会议(WSC)都有关于模型校验的专题讨论。美国军事运筹学会(MORS)自1989年以来召开了多次有关模型校验、验证和验收的小型讨论会。
进入90 年代以来, 以计算机技术、通信技术、智能技术等为代表的信息技术的迅猛发展, 并在仿真系统研究中取得了日益广泛的应用, 使仿真系统的功能和性能都获得了巨大的提高, 但这同时也增加了仿真系统校验的难度, 因此迫切需要建立全面有效的VV&A过程和方法。对仿真系统的VV&A研究的重点从仿真模型的校验方法研究为主转向如何更加全面系统的对仿真系统进行VV&A上来。在西方国家尤其是美国, 随着武器系统规模的日益庞大、部队作战技术化水平的提高、武器系统采购费用的急剧增加, 这与军事开支不断缩减的实际情况产生了巨大的矛盾, 这使美国国防部对仿真系统应用的需求和依赖性大大增加了, 对仿真系统的可信度提出了更高的要求;同时, 更加强调仿真系统的交互性和重用性, 这使VV&A 在仿真系统研制中的作用更加突出, 迫切需要建立规范来指导仿真系统的VV &A 工作。
美国国防部5000系列指令(DoD Directive)提出了关于国防部武器装备采购的新规范和要求, 其中国防部指令5000.59(1994 年1月4日)《关于国防部建模与仿真的管理》,5000.61《国防部建模与仿真VV&A》明确规定了国防部在建模与仿真应用方面的一系列政策, 要求国防部所属的各军兵种制订其建模与仿真 主计划(Modeling and Simulation Master Plan)和仿真系统的VV&A规范, 并在仿真系统开发过程中大力推行应用有关VV&A 的活动, 以提高仿真系统的可信度水平。1996 年, 美国国防部的军用建模与仿真办公室(DMSO)建立了一个军用仿真VV &A 工作技术支持小组负责起草国防部VV&A建议规范(VV&A RecommendedPractice Guides), 这个小组包括了国防部、军事部门、学术团体、工业界的代表, 他们参考了国防部关于建模与仿真及其VV&A方面的指令规范、各种VV&A工作情况总结和大量的学术文章和讨论会的纪要, 1996 年11 月完成了这一建议规范的第一版, 这是目前关于仿真系统的VV&A最为全面的工具书, 目前这个规范的第二版正在制订之中。IEEE也于1997年通过了关于分布交互仿真系统VV &A 的建议标准(IEEE1278-4:Practice for Distributed Interactive Simulation- Verifica tion, Validation , and Accreditation), 这是关于大型复杂仿真系统VV&A的一个比较全面的指导。
2
仿真系统校核、验证与验收的概念与原则
2 .1 概念
对仿真系统的VV&A必须建立在正确的概念基础上。
仿真系统的可信度可以通过有计划的校核与验证工作来加以测量, 并通过验收来正式地加以确认, 可以为某一特定的应用服务, 这个过程就是建模与仿真的校核、验证与验收(VV&A)。
校核是确定仿真系统准确地代表了开发者的概念描述和设计的过程。
验证是从仿真系统应用目的出发, 确定仿真系统代表真实世界的正确程度的过程。验收是官方地正式地接受仿真系统为专门的应用目的服务的过程。
校核(Verification)与验证(Validation)从字面上理解的意义非常接近, 但在仿真系统的VV&A 中, 它们的含义要有一定的区别。校核关心的是“ 是否正确地建立了仿真系统” 的问题, 更详细地说, 校核关心的是设计人员设否按照仿真系统应用目标和功能需求的要求正确地设计出仿真系统的模型, 仿真软件开发人员是否按照设计人员提供的仿真模型正确地实现了模型;而验证关心的是“ 是否建立了正确的仿真系统, 更详细地说, 验证关心的是仿真系统在具体的应用中多大程度地反映了真实世界的情况。仿真系统的验收是在校核验证的基础上, 有仿真系统的主管部门和用户组成的验收小组, 对仿真系统的可接受性和有效性做出正式的确认。校核、验证与验收之间有着十分密切的联系。
可以用图1 表示。校核工作为验收系统的各项功能提供了依据, 验证工作为系统有效性评估提供了依据, 而系统性能的好坏可能是校核与验证都关心的问题。VV &A 的核心问题就是仿真系统的可信度评估, 即建模与仿真的发起者(Proponent)和用户对应用仿真系统解决具体的问题的信心。
2 .2 原则
讨论VV&A的原则可以深化对仿真系统VV&A的概念的理解, 对仿真系统的VV&A 理论研究和实践都有重要的指导作用。
美国国防部发表的VV&A建议指导规范归纳总结了普遍适用的12条VV&A基本原则, 用于指导仿真系统VV&A的管理者和工作人员去管理和操作有关的VV&A活动。Osman Balci 等在中总结有关研究资料的基础上提出了仿真模型校核、验证与测试(Verification 、Validation and Testing :VV &T)的15 条原则, 可以作为仿真系统VV&A的重要参考。综合以上有关的研究资料, 对仿真系统VV &A应遵循的主要原则包括:
○ 相对正确原则:没有绝对正确的仿真系统, 仿真系统的正确性是相对于其应用目的而言的, 一个仿真系统对一个应用目的而言完全正确, 而对另一个应用目的可能是完全不正确;
○ 全生命周期原则:VV&A是贯穿仿真系统生命周期的一项工作, 仿真系统生命周期中的每个阶段都应该根据其研究内容和对实现应用目标的影响安排适合的VV&A活动, 以发现可能存在的问题和影响, 仿真系统VV&A不能等到仿真系统开发工作基本完成之后再进行, 那样很难真正发挥VV&A应有的作用;
○ 有限目标原则:仿真系统VV&A的目标应紧紧围绕仿真系统的应用目标和功能需求, 对于应用目标无关的项目, 可以不进行VV&A活动, 以减少VV&A的开支;
○ 必要不充分原则:仿真系统的验证不能保证仿真系统应用结果的正确性和可接受性, 即VV&A是必要的但不是充分的, 要尽力避免三类错误:第一类错误是仿真系统是正确的, 但却没有被接受;第二类错误是仿真系统是不正确的,但却被接受;第三类错误是解决了错误的问题;
○ 全局性原则:对仿真系统的组成部分的校核与验证不能保证整个仿真系统的正确性, 整个仿真系统的正确性必须从系统整体出发进行校核与验证;
○ 程度性原则:对仿真系统的验收得到的不是简单的接受或拒绝的二值逻辑问题, 而是相对仿真系统的应用目标器可接受的程度如何;
○ 创造性原则:对仿真系统的VV&A需要评估人员具有足够的洞察力和创造力, 因为仿真本身就是一门创造性很强的科学技术, 对其进行评价更需要足够的创造力, VV &A既是一门科学又是一门艺术;
○ 良好计划和记录原则: 仿真系统的校核与验证必须做好计划和记录工作, 良好的计划应选择对提高仿真系统的正确性和仿真结果的可信度最有贡献的活动, 并优化安排其实施过程, 以最大限度地发现问题, 提高仿真系统质量;对每项工作结果都要做认真的记录, 为系统VV &A 的下一步工作和验收提供必要的信息;
○ 分析性原则:仿真系统VV&A 不仅要利用系统测试所获得的数据, 更重要的是要充分利用系统分析人员的知识和经验, 对有关问题尤其是无法通过测试来检验的的问题,进行细致深入的分析;
○ 相对独立性原则:仿真系统的VV&A 要保证评估工作的一定的独立性, 以避免开发者对VV&A结果的影响, 但VV&A要与开发人员相互配合, 加深对系统的理解, 以利于做好仿真系统的VV&A工作;
○ 数据正确性原则:VV&A所需要的数据/数据库必须是经过校核、验证与确认, 证明其正确性和充分性的。
3
仿真系统的VV&A过程
3 .1 仿真系统的VV&A过程模型
仿真系统的VV&A是仿真系统生命周期中的一项重要活动, VV&A工作必须做好计划和文档记录工作, 这是仿真系统VV&A的一条重要的基本原则。Osman Balci 等将仿真生命周期概括为10个阶段和13个VV &A 过程的模型 ;美国国防部VV&A建议指导规范把仿真系统生命周期中的VV&A 工作划分为确定VV &A需求、VV&A计划设计、概念模型校验、系统设计校验、系统实现校验、系统应用校验、系统验收七个主要阶段。Ms.Simone Youngblood 等提出了分布交互仿真VV&A的9步参考模型。对仿真系统VV&A 过程研究还有DR.Paul Muessig 等进行的SMART(Susceptibility Model Assessment and Range Test)项目研究 ;Ernest H .Page 等进行的采用ALSP 协议的联合作战同盟系统的VV&A过程研究Dale K .Pacedeng 进行的美国海军建模与仿真VV&A过程研究等。在国内, 哈尔滨工业大学仿真技术研究中心进行了分布交互仿真系统的可信度评估方案研究。
下面以分布交互仿真系统VV&A的9 步参考模型为例, 对仿真系统VV&A过程作简要的介绍。分布交互仿真系统VV&A的9步参考模型如图2 所示:
第一步, 设计VV&A计划草案:仿真系统VV&A计划的设计应在分布交互仿真系统开发计划设计和需求分析阶段开始的时候就进行。在这一阶段, 仿真系统VV&A计划和测试计划应概念化并提出草案, VV&A方案的设计应一直持续到第2步和第3步。
第二步, DIS 标准兼容性测试:对将要参加分布交互仿真系统的各分系统(或重要部件)进行标准兼容性测试, 确认他们可以充分利用分布交互仿真协议数据单元(Protocol Data Unit :PDU)进行通信, 与分布交互仿真标准(IEEE1278)兼容保证了各分系统(或重要部件)中的实体可以用“ 共同语言” 进行交互。
第三步, 验证系统概念模型:分布交互仿真系统的概念模型为系统功能提供了一个高层次的表述, 这种表述必须要根据实际的应用需求进行验证, 保证概念模型与系统应用需求之间保持可追溯性。
第四步, 校核系统结构(概要)设计:分布交互仿真系统的结构(概要)设计完成将各分系统(或重要部件)的功能与概念模型的功能要求一一对应起来。分布交互仿真资源库中关于参加该分布交互仿真系统的分系统(或重要部件)的校核验证与验收的历史、精度情况等可以帮助设计者做出决定。系统的结构(概要)设计的结果要根据概念模型加以校核, 以确定所需的功能均已分配给各分系统(或重要部件)。
第五步, 校核系统详细设计:在详细设计阶段, 结构(概要)设计被扩展到更加详细的水平, 将参加的分系统中的仿真实体与功能需求的详细说明一一对应起来。这阶段的校核工作保证系统详细设计是正确和完全的, 并与需求的详细说明保持可追溯性。
第六步, 校核软件系统功能:这一阶段, 分布交互仿真系统的仿真实体的功能同详细设计的要求相比较, 以确定所需的功能能正确实现。
第七步, 验证系统试验结果:这一阶段的主要目的是确认分布交互仿真系统在多大程度上反映了真实作战系统的实际功能、性能、行为, 并具有足够的精度和交互能力以满足应用目标的需要。
第八步, 验收系统:负责系统验收的机构(用户或发起人)要审核分布交互仿真系统校核验证工作的结果, 并对系统的可接受性问题做出验收决定。
第九步, 准备有关文档:VV&A报告要详细记录分布交互仿真系统VV&A工作的各项成果, VV&A报告应保存在分布交互仿真资源库中, 作为对有关系统VV&A工作的证明和未来应用的参考。
图2 分布交互仿真系统的VV&A9 步参考模型
3 .2 VV&A过程的优化
由于仿真系统VV&A本身并不直接增加仿真系统的功能和性能, 因此对VV&A的可行性问题经常产生怀疑, 认为VV&A是对开发经费和时间的浪费。事实上, 仿真系统VV&A的真正价值在于可以使仿真系统最大程度地避免开发中发生各种错误和由此造成的损失, 这所包括的经济利益是巨大的。但仿真系统VV&A的过程应该进行优化, 用尽可能小的预算发现尽可能多的错误和风险, 这就要求对仿真系统VV&A过程进行充分的酝酿编排, 根据仿真系统的实际情况制定最有效的VV&A方案。William Jordan等在中对仿真系统VV&A过程优化问题进行了有效的研究, 提出了一套解决的方案。Dr .Paul R.Muessig等在中回答了对仿真系统的校验应做到什么程度以满足验收的需要的问题。对仿真系统VV&A 过程的优化, 要避免两个极端:
(1)要避免过分追求VV&A过程的全面性:仿真系统的VV&A工作的全面性是针对具体的仿真系统的实际情况而言, 不能不顾仿真系统的实际情况而一味套用有关的VV&A规范, 这会造成时间和经费的浪费, 同时增加了VV&A工作的难度。
(2)要避免过分压缩VV&A的工作:对仿真系统进行VV&A要有一定的深度和广度, 以真正发现系统中存在的问题, 走马观花、蜻蜓点水的工作方式做不好VV&A工作,莫不如不作。
4
仿真系统校核与验证方法和VV&A的自动化
4 .1 仿真系统的校核与验证方法
仿真系统的校核与验证方法是在仿真系统VV&A过程中为完成VV&A工作各阶段目的而采用的各种技术、工具、策略等的总称。仿真系统是融合了建模技术、系统科学、软件工程和其他有关专门领域知识的复杂系统, 因此仿真系统的VV&A应该充分吸收有关领域成功的测试与评估方法。
美国国防部公布的VV&A建议规范中归纳总结了76 种校核与验证方法, 分为非正规方法、静态方法、动态方法和正规方法四大类, 其中动态方法中包括了11种统计技术, 为这方面的研究提供了全面的指导(见图3)。Osman Balci在中介绍了45种模型校核与验证方法和它们的应用。Yilmaz等在和中讨论了面向对象建模与仿真与面向过程的仿真的校核与验证方法的区别与联系。随着信息领域的各种新技术在仿真系统中的不断应用, 包括:面向对象技术、人工智能技术、模糊技术、计算机网络技术、虚拟现实/环境技术等等, 这些新技术的应用大大增强了仿真系统的功能和性能, 同时, 也对仿真系统的校核与验证提出了更高的要求, 因此有必要研究仿真系统校核与验证的新方法和新技术, 以满足仿真系统VV&A的需要。
4 .2 仿真系统校核、验证与验收的计算机辅助工具
仿真系统的VV&A工作需要审阅和分析大量的文档、统计分析大量的数据、管理协调复杂的操作过程、记录完整的工作结果, 对于比较简单的仿真系统, 这些工作可以通过人工完成, 对于象分布交互仿真和高层体系仿真结构等大型复杂仿真系统, 其VV&A工作必须由计算机工具辅助VV&A工作人员来完成。
图3 仿真系统的校核与验证方法
以提高VV&A的效率和准确度。Lewis Rober t.O研究了一个VV&A快速计划工具, 可以辅助VV&A计划人员进行VV&A工作的选择、过程模型的定义等工作。M .Graffagnini研究了VV&A文档模板, 为快速生成VV&A计划和有关报告提供了工具。Lewis Robert .O等研究了综合VV&A管理者辅助工具, 可以提供VV&A投资预算、计划编排、时间安排、风险管理、有关指标计算等功能。综合上述VV&A工具的功能和特点, 完整的仿真系统VV&A的计算。
机辅助工具的功能应包括:
○ VV&A过程的设计与管理:能够帮助设计人员完成VV&A计划的设计工作, 辅助VV&A的管理人员进行各阶段工作的管理;
○ VV&A文档生成:包括VV&A计划、VV&A阶段报告、VV&A报告等自动生成, 以减轻人员撰写有关文档的负担;
○ VV&A数据的采集和分析:能够根据需要自动收集和处理VV&A有关的数据, 并提供VV&A所需的分析工具;
○ VV&A配置管理:对系统更改和升级活动的VV&A工作进行管理;
○ 仿真结果可信度评估:支持仿真用户和管理者对仿真系统的结果进行可信度评估;
○ VV&A方法选择:提供VV&A方法的选择指导, 帮助VV&A人员快速进行有关工作的操作。
5
结论与展望
对仿真系统进行全面有效的校核、验证与验收已成为仿真系统开发工作的大势所趋, 大型复杂仿真系统的出现和应用使VV&A工作变得更加必要, 因此, 要对VV&A的概念、原则、方法、过程和自动化问题进行深入的研究, 这是本文的目的之一, 为深入进行仿真系统VV&A研究打下一个坚实基础。
随着仿真系统的规模日益扩大和复杂程度的增加, 使仿真系统的VV&A的难度和要求不断提高, 因此对大型复杂仿真系统的VV&A和可信度评估的研究应成为今后仿真系统VV&A研究的重点, 提高VV&A的有效性和计算机辅助工具的水平是解决大型复杂仿真系统VV&A和可信度评估的关键, 在这些方面应进行更加深入的探索。
#The End #
作者:王子才, 张冰, 杨明
-------------------------------------------------------
本内容来源于互联网,版权归原作者所有,供学习交流使用,严禁商用,如有侵权请联系我们删除。
-------------------------------------------------------
相关文章,在仿真秀官网搜索:
流体力学仿真软件可信度评估与预测能力(下) / 基于人工智能的 VVA 平台研究 / 你知道有限元分析中存在的几种模量吗? / 对流体力学贡献突出的牛人们