仿真VV&A标准和规范研究现状及分析

2年前浏览1562

作者：刘晓平郑利平路强李琳

引言

可信性是系统仿真的关键，缺乏足够可信性的仿真是没有意义的^[1] 。文献^[2]认为系统仿真的基础理论是模型论仿真算法和仿真可信度评估理论更可见仿真可信度评估的意义而VV&A Verification, Validation and Accreditation 是可信度评估工作的基础^[3] ，VV&A 是当前主要研究热点之一。

国外对于VV&A 研究可以追溯到60 年代70 年代到80年代的研究集中于建立与模型可信性相关的概念术语和规范美国计算机仿真学会(SCS)于七十年代中期成立了“模型可信性技术委员会(TCMC)” 这是一个重要的里程碑^[1]进入90 年代后许多政府民间部门和学术机构都成立了相应的组织以制定各自的建模和仿真及其VV&A 规范和标准其中美国国防部DoD,Department of Defense 1996 年完成的VV&A 建议规范则掀起了制订VV&A 标准的热潮。

VV&A 工作贯穿于M&S Modeling and Simulation 的全过程^[4]， VV&A 过程费时,费力但却不可缺少,不恰当的VV&A 工作将给M&S 过程带来巨大的灾难^[5]。如果不进行VV&A 标准化，VV&A 工作各自为政，使得仿真系统的开发者，应用者和管理者在进行仿真系统可信度评估工作过程中无章可循，无法可依^[6]。

文献^[7]指出国外在建模与仿真VV&A 研究方面起步较早，相应的标准和研究成果比较多，对已有成果我们可以采用“拿来主义”，加以消化和吸收；在此基础上，应进行我国建模与仿真VV&A 过程的标准化研究，以便为建模与仿真开发人员，测试评估人员和仿真使用人员或机构提供指导，促进仿真水平和质量的提高，本文正是基于这一主旨，首先介绍当前国外的主要的VV&A 标准/规范，然后对它们进行详细的比较和分析，得出共性的结论。

当前VV&A标准/规范介绍

1.1 DoD 序列规范

（1） DoD VV&A RPG

1996 年美国国防部的国防建模与仿真办公室（DMSO,Defense Modeling and Simulation Office）专门成立了军用仿真VV&A工作技术支持小组（TST, Technical Support Team）负责起草国防部VV&A 建议规范（RPG, Recommended Practice Guides ）,于1996 年11 月完成了这一建议规范的第一版^[8] ,随后，又历经4 年，通过对第一版的修改和完善于2000 年完成了VV&A 建议规范的第二版VV&A RPGBUILD 2 ^[9] 。当前的正在进行中的版本是BUILD 2.5^[10]。

DoD VV&A RPG 根据DoDI 5000.61 《国防部建模与仿真VV&A》对下属的陆军，海军，空军和导弹防御局等起整体指导作用；VV&A RPG 作为一个基础框架，同时也允许下属机构根据自己的具体情况，作相应的调整和变动，例如，可以为特殊的需要定义特殊的VV&A 相关角色。

（2） DoD 各军种VV&A 规范

在 DoD RPG 的指导下,美国各军种制订了适合自己的规范,如陆军AMSO(Army Model & Simulation Office)负责制订的AR 5-11 和DA Pam 5-11 ,空军XIWM Modeling and Simulation Policy Division 负责制订的AFI 16-1001, 海军的SECNAVINST 5200.40 & VV&A Handbook 和导弹防御局MDA （Missile Defense Agency）的MDA Core Model VV&A 规范。

限于篇幅的关系，只对陆军规范进行介绍美国陆军建模仿真^[11]政策和指导章程包括：

(a) AR 5-11 全称为陆军仿真建模管理章程(Management of Army M&S ），于1997 年制订,为美国陆军所有M&S 活动的指导政策和章程，敦促所有陆军M&S 使用VV&A ，并规定VV&A 作为M&S 配置管理的一部分。

(b) DA Pam 5-11 为陆军仿真建模VV&A 章程(VV&A of Army M&S)，于1999 年制订，指导陆军开发，执行和归档等，所有VV&A 行为的进行。DA Pam 5-11 在VV&A 配置管理(CM, Configuration management )和文档管理之间建立一个“三角”关系。

1.2 IEEE VV&A Standard

IEEE1278.4 由IEEE 分布式交互仿真(DIS, Distributed Interactive Simulation )委员会发起，并于1997 年完成，它的全称是“IEEE Trial-Use Recommended Practice for Distributed

Interactive Simulation --Verification, Validation, and Accreditation” ，为DIS VV&A 的指导章程同时IEEE DIS 委员会还制订了1278.1-1995， 1278.1a-1998， 1278.2-1995 和 1278.3-1996 等标准，它们一起形成分布式交互仿真标准族^[12]。

IEEE1278.4 为DIS 仿真用户和开发者提供VV&A 指导方针，它通过对DIS 仿真VV&A 基本原则灵活的定义和应用来满足用户需求，所以仿真目的的不同也将导致完全不同的VV&A 过程。

1.3 THALES JP 11.20 REVVA

THALES JP 11.20(昵称 REVVA )是 WEU ( Western European Union )和( WEAG Western European Armaments Group) 项目^[13-15]，由法国 ,丹麦，意大利,荷兰和瑞典等五国共同承担。该项目目的是为数据，模型和仿真 VV&A 开发一个通用的方法框架。该项目第一阶段从 2003 年 3 月到 2004 年 9 月，项目金额二百万英镑。第二阶段（REVVA2）预计从 2005 年开始。

REVVA 框架的核心是“三支柱”3 pillars 概念：组织Organization ，产品 Products 和过程 Process 。在M&S 和相关的 VV&A 项目的每一个阶段，这三个相互联系的部分必须被考虑和根据具体问题和目的进行平衡。如图1：

1.4 ITOP V&V

ITOP 的全称是 International Test Operations Procedure 其中 Working Group of Experts (WGE) 7.2 工作组由来自法国，德国，英国和美国的专家组成。并于 1998 年开始制订 VV&A 相关的标准。 2004 年5 月发布了 ITOP 01-01-002 “General Procedure for M&S V&V Information Exchange”的第一个版本^[16-17]^。

ITOP V&V 的目的是制订一个高级别标准以支持不同国家之间的 V&V 信息交换，这种通信是必要的^[18-19]。该文档给出了 M&S V&V 过程中的计划，实施，文档管理等行为的程序和指导章程。它使用户找到 M&S 过程数据输入和仿真结果中长处和短处以便能够确定将它使用于新目的的可用性和重用性。

ITOP V&V 不关注 M&S 开发过程 M&S 开发产品和 V&V 过程而是聚焦于 V&V 需要产生的结果，它定义的几个主要概念是：

1） Case：一系列 VV&A 要求形成一个 Case ，如模型 V&V Case 数据 V&V Case 等。

2）CAE：Claim-Arguments -Evidence。CAE采用一种特殊的格式来组织V&V结果。CAE 格式中Claim 为要求,Arguments 将Claim进行分解，形成小的 Claim，而 Evidence 则是支持 Claim 的理由。 CAE 格式建立一种逻辑上的，可定制的结构来规划和记录 V&V 行为，为交换结果提供了很好的途径。

3）文档模板(Documentation Templates )用来统一最后的 V&V 文档报告。

1.5 SISO VV&A Overlay

The Simulation Interoperability Standardization Organization

(SISO)组织的 PDG(Product Development Group)小组制订了一系列关于 M&S 的标准其中"Verification, Validation, andAccreditation of Federations"是关于 VV&A 的标准^{[20] 。}

该文档目的是为联邦 VV&A 实施方法建立一个推荐标准。它为 IEEE 1516.3- Recommended Practices for HLA Federation Development and Execution Process (FEDEP)的后续发展。该指导章程致力于通过建立交互性，提升重用性和保证模块性，作为联邦可信性评估基石。它定义了 27 个 VV&A 行为，并将它们映射到 FEDEP 标准中。到 2004 年底，已经完成了 13 个 VV&A 行为的定义，目前正在进行中。

北约研究与技术组织(NATO Research and Technology Organization)于 2001 年开始代号为 MSG-019/TG-016 的标准制订工作，其全称是 “Verification, Validation And Accreditation (VV&A) Of Federations”^[21]，美国,法国,德国,英国 ,加拿大和瑞典参与了此项工作, 预计 2005 年 10 年底结束，最后将提交一份技术报告。

MSG-019/TG-016 专注于联邦 VV&A 工作。它的工作是先对已经存在的 NATO 和国家的 VV&A 标准的实用性和潜力进行评估，然后通过制订一个 VV&A 基线，将当前存在的标准统一起来，以便于进行联邦 VV&A。

分析和比较

2.1 比较

不同的标准/规范定义各不相同，但是角色和过程定义是最主要的部分。下面对主要的标准/规范进行比较。鉴于 ITOP 和 NATO 工作仅面向 NATO，而 SISO 工作还在进行中。所以我们主要对 DoD RPG ，Army DA Pam 5-11，IEEE 1278.4 和 REVVA 四个项目进行比较。

（1）VV&A 角色定义比较

从下表 1 可以看出,四种 VV&A 标准/规范对角色的定义主要分为三类:M&S 客户,M&S 工作承担角色和 VV&A 工作承担角色。四种标准对其角色都进行了定义，并明确了不同角色拥有的权利和必须承担的义务及责任。从定义粒度上来看，IEEE 1278.4 在定义 M&S 工作承担角色时最细，而在 VV&A 工作承担角色的定义上，REVVA 最细。另外 REVVA 分体(Parties)，职分(Roles)和演员(Actors)三个层次来定义角色，形成组织 Organization支柱。

2） VV&A 过程定义比较

四种 VV&A 标准/规范对VV&A 过程的定义大体可以概括为三个阶段：VV&A 需求和计划的制订，V&V 阶段和确认(Accreditation)阶段，在图2 中分别用实线框，虚线框和点划线框标出。V&V 阶段大都包括对概念模型，设计，实施和结果进行V&V，而确认阶段一般先进行确认计划和确认标准的制订，然后确认并得出结论。在定义VV&A 过程时，DA Pam5-11 最详细，IEEE 1278.4 次之，而REVVA 最粗略；定义确认过程时，IEEE 1278.4 最粗略，REVVA 次之。

3）其他方面比较表

表2 对六种标准/规范主要特点进行比较

可以看出，由于每种标准/规范的目的不大相同，导致侧重点不同，使用的方法论和核心思想也不同，甚至对可信性本身的定义也各不同。

图2 当前VV&A 标准/规范过程定义比较

由于每种标准/规范的目的不大相同，导致侧重点不同，使用的方法论和核心思想也不同甚至对可信性本身的定义也各不同。

2.2 分析

1) 早期成熟标准

DoD RPG 及其各军种VV&A 章程最本质的内容是将VV&A 行为放到M&S 整个开发生命周期中，由此带来了许多优点包括文档记录，易于交互操作等；缺点是在一些方面，比如在联邦中，实施VV&A 是特殊而不通用的^[13]，不能独立应用到一个特殊的M&S 过程中^[22]，而且，它们更象是一个实施VV&A 的管理和教育的教程而不是科学成果^[24]。

DoD RPG 序列今后的发展方向是：适应不同的用户，提供面向用户的指导；适应不同的环境，提供面向环境的指导；建立一个多层次，多维的文档，并不是“放之四海而皆准”的，对于不同的仿真应该有所区别。DoD RPG 版本还在进一步的完善中。

IEEE1278.4 协议主要面向于DIS 协议，同其他的DIS标准族一起建立了一个非常完整的DIS 指导规范。IEEE1278.4 和DoD RPG 是最早建立，目前最为成熟，作为VV&A 标准的领跑者，给VV&A 执行，普及和其他VV&A标准/规范的建立带来了深远的影响。

2）现阶段新兴标准

REVVA， ITOP 和NATO 三个项目都是欧洲项目，而SISO 和它们的关系很密切，所以它们之间有着很大的联系和内在的相同性，表现在

a） REVVA 部分内容借鉴自ITOP SISO 和NATO。

b） SISO 和NATO 项目都是对联邦VV&A 章程，相互借鉴很多，甚至有合并的趋势。

c） REVVA 和SISO 在VV&A 过程模型定义上重叠，思想相同。

d） SISO 和ITOP 互补性非常好。

e） REVVA 和ITOP 都使用CAE 结构组织文档。

正因为如此 2004 年10 月在德国召开的CConVV&A（First Combined Convention on International VV&A Standardization Endeavors ）会议上，这四个标准/规范开始谈论一体化的可能^[23]，方案是V&V 过程定义采用SISO 和NATO 方案，V&V 文档定义采用ITOP 方案，而V&V 评估和接受定义采用REVVA 方案，如图3 所示：

结论

对于当前的 VV&A 标准/规范来说总结如下：

1.主要工作集中在美国和欧洲。美国起步早，欧洲正迎头赶上。

2.名词术语使用比较混乱，当前标准/规范中术语使用较任意，同一个术语在不同的文档中有不同的含义，造成了很大混乱和不便。

3.对于M&S 生命周期和VV& A 角色，过程的定义也是各自为政没有统一的方法。

4.由于国家，语言，文化差别，不同国家和地域的VV&A标准/规范都有自己鲜明的特色。

5.各方已经意识到VV&A 标准/规范的混乱带来的不便，正在作进一步的探讨和努力，包括是否需要一个通用的清晰的术语定义框架，如可信性定义，VV&A 角色定义等，是否需要建立一种洲际乃至国际的VV&A 标准/规范以及可能性等。

6.正在加强VV&A 标准/规范中重用性，交互协同性和人类行为表示(Human Behavior Representation)等方面的建设^[24]。

7.VV&A 标准/规范多由军事组织建立，但已经有向民用推广的势头。

8.应完善VV&A 标准/规范的友好性使之更加易于应用到实际。

9.推动学术界VV&A 技术研究走向实用转化为更好的VV&A 标准/规范^[24]。

10.我国应该及早制订有我国特色的VV&A 标准/规范，以推动我国仿真的全面发展。

VV&A 从根本上来说是方法论，同软件工程相同需要有规范来加以制约和指导。美国国家科学研究委员会(NRC, National Research Council )将VV&A 标准/规范的建立作为应对2020 年制造业重大突破的技术^[25] 。在我国，系统仿真可信性研究也日益得到重视，然而这方面的研究工作还比较粗浅和分散，尚属于起步阶段。我国也应该更多的开展VV&A 及其标准/规范的研究，这不仅是系统仿真技术的重要内容，也是我国国防和军用仿真领域亟待解决的难题，是一项具有重大意义的工作^[6]。

国内的 VV&A 首先应该多借鉴国外的研究成果，从中汲取经验，特别是在思想上确立VV&A 的地位，然后应该根据我国的特点，制订符合国情的VV&A 标准/规范；同时大力对推进军用和民用项目的VV&A 工作，最终促进我国仿真水平和质量的提高。

参考文献

[1] 黄柯棣, 查亚兵. 系统仿真可信性研究综述[J]. 系统仿真学报,1997, 9(1): 4-9.

[2] 王子才. 关于仿真理论的探讨[J]. 系统仿真学报, 2000, 12(6): 604-608.

[3] 王子才, 张冰, 杨明. 仿真系统的校核验证与验收(VV&A): 现状与未来[J]. 系统仿真学报, 1999, 11(5): 321-340.

[4] Balci O. Verification, validation, and accreditation [C]// Simulation Conference Proceedings, 1998. Winter Volume 1, 13-16 Dec. 1998: 41-48.

[5] Robert G. Sargent, validation and verification of simulation models [C]// Proceedings of the 2004 Winter Simulation Conference, 17-28.

[6] 吴晓燕, 许素红, 刘兴堂. 仿真系统VV&A 标准/规范研究的现状与军事需求分析[J]. 系统仿真学报, 2003, 15(8): 1081-1084.

[7] 刘庆鸿, 陈德源, 王子才. 建模与仿真校核验证与确认综述[J].系统仿真学报, 2003, 15(7): 925-930.

[8] Department of Defense. Verification Validation and Accreditation(VV&A) Recommended Practice Guide [K]. 1996.

[9] Department of Defense. Verification Validation and Accreditation(VV&A) Recommended Practice Guides BUILD 2 [K]. 2000.

[10] Department of Defense. Verification Validation and Accreditation(VV&A) Recommended Practice Guides BUILD 2.5 [EB/OL].2005.8. http://vva.dmso.mil/

[11] AMSO. Verification, Validation, & Accreditation Policy [EB/OL].2005.8. http://www.amso.army.mil/vva.

[12] IEEE Std 1278.4. IEEE Trial-Use Recommended Practice for Distributed Interactive Simulation-Verification, Validation and Accreditation [S]. The Institute of Electrical and Electronic Engineers, Inc.

[13] Jacquart R, P Bouc, D Brade. A Common Verification, Validation and Accreditation Framework for Simulations: Project JP11.20, REVVA [C]// Spring Simulation Interoperability Workshop, SISO, Arlington,VA. 2004.

[14] Brade D, M Lemaître. Assessment Criteria and V&V Levels in JP11.20 [C]// Spring Simulation Interoperability Workshop, SISO, Arlington, VA. 2004.

[15] WEAG, THALES JP 11.20 Project [EB/OL]. 2005.8. http://www.jp1120-revva.com/

[16] ITOP, ITOP Verification and Validation of models and simulations [S].

本文来源于互联网，如有侵权请联系版主，我们将第一时间予以撤消。

☀